Dask 介绍

Dask是一款用于分析计算的灵活并行计算库。

Dask由两部分组成：

针对计算优化的动态任务调度。这与Airflow，Luigi，Celery或Make类似，但针对交互式计算工作负载进行了优化。

“大数据”集合，像并行数组，数据框和列表一样，它们将通用接口（如NumPy，Pandas或Python迭代器）扩展到大于内存或分布式环境。这些并行集合运行在动态任务调度器之上。

Dask 安装

在配置好 pip 的环境下安装，只需要命令

pip install dask

即可安装完成Dask的核心部分。而且非常小，才 1MB

但是如果需要用到比较多的功能的话，还是建议装完整版本

pip install dask[complete]

这里还要注意一个坑，dask的有一些库要求的python版本 > 2.7.8 或者 3.4——版本过低容易被坑

Dask简单使用:

也可以参考Dask官网文档

Dask用例大致可以分为以下两类：

大型NumPy / Pandas /使用dask.array，dask.dataframe，dask.bag列出来分析具有熟悉技术的大型数据集。这与Databases，Spark或大型数组库类似。
自定义任务计划。您提交了一个相互依赖于自定义工作负载的函数图。这与Luigi，Airflow，Celery或Makefiles类似。

今天的大多数人都认为Dask假设它是一个像Spark这样的框架，它围绕着大量统一形状数据集合的第一个用例而设计。然而，许多更高效和新颖的用例属于第二类，使用Dask来并行化定制工作流程。

Dask计算环境可以分为以下两类：

带有线程或进程的单机并行：Dask单机调度程序利用笔记本电脑或大型工作站的全部CPU功率，并将空间限制从“适合内存”更改为“适合磁盘”。这个调度程序使用简单，没有大多数“大数据”系统的计算或概念开销。
多节点上的分布式集群并行：Dask分布式调度程序协调集群中多台机器的操作。它可以在任何地方从一台机器扩展到一千台机器，但不会超越其他机器。

单机调度程序对更多个人有用（更多人拥有个人笔记本电脑，而不是可以访问群集），并且可能占当前使用Dask的80％以上。分布式机器调度程序对大型机构，研究实验室或私人公司很有用。

Dask里面提供了很多库，可以从最普通的 array中入手

第一个hello world的例子：

dask.array的使用:

import dask.array as da

import numpy as np

# 1.example----- HelloWorld

x = np.arange(1000)

print x

y = da.from_array(x, chunks=(100))

print y

print y.mean()

print y.mean().compute()

第二个例子:

产生随机数:

# 2.example

x = da.random.normal(0, 1, size=(100,100), chunks=(10, 10))

a =  x.mean().compute()

print a

bag 提供了 map, filter, fold, groupby等操作

# 3.

import dask.bag as db

b = db.from_sequence([1, 2, 3, 4, 5, 6])

print b

c = db.from_sequence([1, 2, 3, 4, 5, 6], npartitions=2)

print c

巴特西

Dask教程