博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
基于Python的分布式计算平台-DPark
阅读量:6229 次
发布时间:2019-06-21

本文共 594 字,大约阅读时间需要 1 分钟。

hot3.png

来自于:

DPark是一个基于的集群计算框架(cluster computing framework),是的Python实现版本,类似于MapReduce,但是比其更灵活,可以用Python非常方便地进行分布式计算,并且提供了更多的功能以便更好的进行迭代式计算。

DPark的计算模型是基于两个中心思想的:对分布式数据集的并行计算以及一些有限的可以在计算过程中、从不同机器访问的共享变量类型。这个的目标 是为了提供一种类似于global address space programming model的工具,例如OpenMP,但是我们要求共享变量的类型必须是那些很容易在分布式系统当中实现的,当前支持的共享变量类型有只读的数据和支持一 种数据修改方式的累加器(accumulators)。DPark具有的一个很重要的特性:分布式的数据集可以在多个不同的并行循环当中被重复利用。这个 特性将其与其他数据流形式的框架例如Hadoop和Dryad区分开来。

User Guide

  1. 如何下载源代码

  2. 如何安装在mesos上并进行必要的配置

  1. 初识DPark

  2. 如何在本机、多线程、mesos上运行DPark程序

  3. 弹性分布式数据集(RDD)

  4. 共享变量

Developer Guide

1.
2.
3.
4.

转载于:https://my.oschina.net/u/2306127/blog/626892

你可能感兴趣的文章
[转载]MySQL5.6 PERFORMANCE_SCHEMA 说明
查看>>
max_allowed_packet引起同步报错处理
查看>>
006 复杂的数据类型&函数(方法)
查看>>
javascript:getElementsByName td name
查看>>
ASP.NET连接SQL、Access、Excel数据库(二)——连接实例
查看>>
FreeRTOS 特性简介
查看>>
Linux--前后端分离部署
查看>>
java阶段学习目标
查看>>
Azure IoT 技术研究系列2
查看>>
day24-3-2子类继承构造方法
查看>>
我们一起学习WCF 第五篇数据协定和消息协定
查看>>
Linux 与 Windows 文件互传(VMWare)
查看>>
Python学习笔记八 面向对象高级编程(一)
查看>>
Oracle内置函数
查看>>
UVA 1645 Count
查看>>
贪吃蛇程序
查看>>
poj 1419 Graph Coloring
查看>>
node的安装及其运用及相关配置
查看>>
第19篇 2016年计划
查看>>
左连接,右连接,内连接
查看>>