再见Numpy，Pandas！又一个数据分析神器横空出现！

知行编程网 2022-05-30 04:00 知行编程网 | 隐藏边栏 | 抢沙发 | 8 0

文章评分 0 次，平均分 0.0 ：

点击上方“菜鸟学Python”，选“星标”

重磅干货，第一时间到达

对于数据分析的工具，想必大家都或多或少的有一定的了解，常见的像是numpy和pandas更是大家日常使用的数据分析工具。但是面对大数据的处理时，像是numpy和pandas的在加载数据时，会看到内存用量的飙升，而dask却可以将这些大的数据进行并行计算。

今天小编就带领大家学习一个并行的计算库——dask。dask可以帮助我们并行化处理pandas的DataFrame和numpy的计算，甚至是并行化处理机器学习算法。

01.dask库的使用介绍

dask库可以很好的兼容pandas的DataFrame数据和numpy的array数据，此外，像是Sklearn、XGBoost等机器学习库，dask也能够支持。dask的官网(https://dask.org/)对于支持的库有一个全面的展示，下图是部分支持库的展示：

dask库的强大之处在于它拥有丰富的已有库的兼容性，而且只需要改动很少的程序，就可以在自己的电脑上使用并行计算。

02.dask的安装

对于dask库的安装，也非常的简单，大家只需要在anaconda环境下运行conda install dask即可安装。

03.dask库的使用介绍

1).Numpy的array数据

dask库对于numpy的array数组操作也非常的简洁。dask是将numpy的数组进行切分，切分成许多的block进行操作，对于小数据来说，可能优势不明显，但是当数据集达到几十G后，就能显示出dask的优势。

上图是利用dask进行array的操作，可以看到dask对于numpy数组的处理与numpy的操作并没有很大的区别，如果对于numpy数组操作熟悉的话，那么上手dask的numpy数组也是非常简单的。

2).Pandas的DataFrame数据

对于DataFrame数据，dask的操作同样与pandas非常的类似。需要注意的是，当求分组的“x"列均值时，dask并没有直接输出结果，而是在运行s的compute()函数后，才得到结果，这是与pandas不同的一点。

04.dask的Delayed

对于dask库，Delayed模块是它进行并行计算的核心，delayed 通过将需要计算的任务记录在计算图中，并在之后，将其并行运行在硬件上得到结果。由于不能立即得到结果，所以该模块被称为delayed。对于delayed模块的使用，如下图所示：

可以看到，通过delayed装饰器来修饰函数，在下一个计算框图中定义z的计算，然后通过visualize函数来查看z的计算图，如上图右侧所示。同时可以看到z的计算图只需要不到1ms的时间即可完成。而z值的计算，同样采用z.compute（）进行计算即可。

05.对于机器学习算法的支持

对于dask机器学习的应用，可以安装Dask-ML，Dask-ML是将Dask与流行的机器学习库（例如sklearn，XGBoost等）进行结合，提供的并行化机器学习处理库。可以利用pip install dask-ml进行安装。

有兴趣的小伙伴可以安装试一下，用惯了Pandas ，也可以试试换个口味了！欢迎在留言区点评，来个三连哦！

<section data-mpa-template="t" mpa-from-tpl="t"><section data-id="94709" mpa-from-tpl="t"><section data-width="100%" mpa-from-tpl="t"><section mpa-from-tpl="t"><section data-autoskip="1" mpa-from-tpl="t"><section><section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="margin-top: -10px;padding-right: 10px;padding-left: 10px;letter-spacing: 0.034em;white-space: normal;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, 'PingFang SC', Cambria, Cochin, Georgia, Times, 'Times New Roman', serif;line-height: 1.6;color: rgb(63, 63, 63);font-size: 16px;"><section data-mpa-template="t" mpa-from-tpl="t"><section data-mid="" mpa-from-tpl="t" style="display: flex;justify-content: center;align-items: center;width: 677px;"><section data-mid="" mpa-from-tpl="t"><section data-mid="" mpa-from-tpl="t" style="width: 258px;height: 24px;"><img data-ratio="0.09302325581395349" data-type="png" data-w="1032"  style="display: block;box-sizing: border-box !important;visibility: visible !important;width: 677px !important;" src="https://www.zkxjob.com/wp-content/uploads/2022/05/wxsync-2022-05-a385ba95a022138a515f1c33e354e961.png"  /></section></section></section></section><p><br  /></p><p><span style="color: rgb(217, 33, 66);"><strong><span style="font-size: 15px;">推荐阅读</span></strong></span></p><ul class="list-paddingleft-2"><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>2021编程语言「后浪」趋势预测：JavaScript、Python热度不减，但崛起最快的却是它</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>955 不加班公司名单：955.WLB</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>抖音创始人张一鸣：10 年面试 2000 人，我发现混的好的人，全都有同一个特质</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>卧槽！没想到，用Python竟能做五仁月饼</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>Python 初学者进阶的九大技能</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>终于，Flask 迎来了真正的对手！</strong><br  /></p></li><li style="font-weight: bold;"><p style="line-height: 2em;"><strong>7个最佳的学习Python编程的开源库</strong><br  /></p></li></ul><p><br  /></p><p><span style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', 'Microsoft YaHei', Arial, sans-serif;letter-spacing: 0.544px;text-size-adjust: auto;font-size: 16px;">每个程序员都是从菜鸟开始成长起来的，没有人生下来就是程序员高手。<strong>菜鸟编程大本营</strong>，专注于分享趣味的编程技巧，不限于Java, Python ,Go, Javascript等语言，让菜鸟爱上编程，进阶成为高手。</span></p><p><br  /></p><p style="text-align: center;"><span style="font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;text-align: justify;"></span><span style="font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;letter-spacing: 0.544px;word-spacing: 1.6px;caret-color: rgb(51, 51, 51);font-weight: 700;"><img class="rich_pages" data-cropselx1="0" data-cropselx2="212" data-cropsely1="0" data-cropsely2="212" data-ratio="1" data-s="300,640" data-type="jpeg" data-w="1280"  style="color: rgba(230, 230, 230, 0.9);font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;letter-spacing: 0.544px;word-spacing: 1.6px;box-shadow: rgb(180, 180, 180) 0em 0em 0.5em 0px;box-sizing: border-box !important;visibility: visible !important;width: 212px !important;" src="https://www.zkxjob.com/wp-content/uploads/2022/05/wxsync-2022-05-b346e7f21a03a3c9960eea03c0612e4b.jpeg"  /></span></p><p><br  /></p><section data-mpa-template="t" mpa-from-tpl="t"><section data-mpa-template="t" mpa-from-tpl="t"><section data-mpa-template="t" mpa-from-tpl="t"><section><section powered-by="xiumi.us"><section data-author="Wxeditor" style="padding-right: 0.5em;padding-left: 0.5em;"><section><section><pre><section data-mpa-template="t" mpa-from-tpl="t" data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(168, 168, 168)" data-darkmode-original-color-15923650965579="rgb(62, 62, 62)" data-style="color: rgb(62, 62, 62); font-size: 15px; letter-spacing: 0.544px; background-color: rgb(255, 255, 255); font-family: monospace; text-align: left; widows: 1; word-spacing: 2px; caret-color: rgb(255, 0, 0); white-space: pre-wrap;" style="font-size: 15px;letter-spacing: 0.544px;color: rgb(62, 62, 62);white-space: pre-wrap;"><section mpa-from-tpl="t" data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(168, 168, 168)" data-darkmode-original-color-15923650965579="rgb(62, 62, 62)"><pre data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(167, 167, 167)" data-darkmode-original-color-15923650965579="rgb(63, 63, 63)" data-style="letter-spacing: 0.544px; font-size: 16px; color: rgb(63, 63, 63); word-spacing: 1px; line-height: inherit;" style="letter-spacing: 0.544px;font-size: 16px;color: rgb(63, 63, 63);word-spacing: 1px;line-height: inherit;"><section data-mpa-template-id="1250" data-mpa-color="#ffffff" data-mpa-category="divider" data-darkmode-bgcolor="rgb(36, 36, 36)" data-darkmode-original-bgcolor="rgb(255, 255, 255)" data-darkmode-color="rgb(230, 230, 230)" data-darkmode-original-color="rgb(0, 0, 0)" data-style="margin-right: 0.5em; margin-left: 0.5em; white-space: normal; font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif; color: rgb(0, 0, 0); letter-spacing: 0px; word-spacing: 2px;" data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(230, 230, 230)" data-darkmode-original-color-15923650965579="rgb(0, 0, 0)" style="margin-right: 0.5em;margin-left: 0.5em;white-space: normal;font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;color: rgb(0, 0, 0);letter-spacing: 0px;word-spacing: 2px;"><pre data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(167, 167, 167)" data-darkmode-original-color-15923650965579="rgb(63, 63, 63)" data-style="letter-spacing: 0.544px; font-size: 16px; color: rgb(63, 63, 63); word-spacing: 1px; line-height: inherit;" style="letter-spacing: 0.544px;color: rgb(63, 63, 63);word-spacing: 1px;line-height: inherit;"><section data-mpa-template-id="1250" data-mpa-color="#ffffff" data-mpa-category="divider" data-darkmode-bgcolor="rgb(36, 36, 36)" data-darkmode-original-bgcolor="rgb(255, 255, 255)" data-darkmode-color="rgb(230, 230, 230)" data-darkmode-original-color="rgb(0, 0, 0)" data-style="margin-right: 0.5em; margin-left: 0.5em; white-space: normal; font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif; color: rgb(0, 0, 0); letter-spacing: 0px; word-spacing: 2px;" data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(230, 230, 230)" data-darkmode-original-color-15923650965579="rgb(0, 0, 0)" style="margin-right: 0.5em;margin-left: 0.5em;white-space: normal;font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;color: rgb(0, 0, 0);letter-spacing: 0px;word-spacing: 2px;"><section powered-by="xiumi.us" data-darkmode-bgcolor="rgb(36, 36, 36)" data-darkmode-original-bgcolor="rgb(255, 255, 255)" data-darkmode-color="rgb(230, 230, 230)" data-darkmode-original-color="rgb(0, 0, 0)" data-darkmode-bgcolor-15923650965579="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15923650965579="rgb(255, 255, 255)" data-darkmode-color-15923650965579="rgb(230, 230, 230)" data-darkmode-original-color-15923650965579="rgb(0, 0, 0)" style="margin-right: 0em;margin-left: 0em;"><section style="margin-right: 0.5em;margin-left: 0.5em;"><section data-tool="mdnice编辑器" data-website="https://www.mdnice.com"><pre data-darkmode-bgcolor="rgb(36, 36, 36)" data-darkmode-original-bgcolor="rgb(255, 255, 255)" data-darkmode-color="rgb(168, 168, 168)" data-darkmode-original-color="rgb(62, 62, 62)" data-style="letter-spacing: 0.544px; font-weight: 700; text-align: -webkit-center; background-color: rgb(255, 255, 255); font-size: 16px; color: rgb(62, 62, 62); widows: 1; word-spacing: 2px;" style="letter-spacing: 0.544px;text-align: center;text-size-adjust: auto;color: rgb(62, 62, 62);font-weight: 700;"><pre style="letter-spacing: 0.544px;color: rgb(63, 63, 63);text-align: start;word-spacing: 1px;line-height: inherit;"><section style="font-family: -apple-system-font, system-ui, 'Helvetica Neue', 'PingFang SC', 'Hiragino Sans GB', 'Microsoft YaHei UI', 'Microsoft YaHei', Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;color: rgb(62, 62, 62);"><section powered-by="xiumi.us" style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section style="text-align: center;"><pre data-darkmode-bgcolor="rgb(36, 36, 36)" data-style="max-width: 100%; background-color: rgb(255, 255, 255); color: rgba(230, 230, 230, 0.9); letter-spacing: 0.544px; font-size: 16px; text-align: center; text-size-adjust: auto; word-spacing: 1.6px; caret-color: rgba(230, 230, 230, 0.9); box-sizing: border-box !important; overflow-wrap: break-word !important;" data-darkmode-color="rgba(230, 230, 230, 0.9)" data-darkmode-original-color="rgba(230, 230, 230, 0.9)" data-darkmode-original-bgcolor="rgb(255, 255, 255)" data-darkmode-bgcolor-15862411819306="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15862411819306="rgb(255, 255, 255)" data-darkmode-color-15862411819306="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15862411819306="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15862671987026="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15862671987026="rgb(255, 255, 255)" data-darkmode-color-15862671987026="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15862671987026="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15864118999603="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15864118999603="rgb(255, 255, 255)" data-darkmode-color-15864118999603="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15864118999603="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15864940858736="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15864940858736="rgb(255, 255, 255)" data-darkmode-color-15864940858736="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15864940858736="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15869584691402="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15869584691402="rgb(255, 255, 255)" data-darkmode-color-15869584691402="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15869584691402="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15869584691739="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15869584691739="rgb(255, 255, 255)" data-darkmode-color-15869584691739="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15869584691739="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15873005456075="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15873005456075="rgb(255, 255, 255)" data-darkmode-color-15873005456075="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15873005456075="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15873005456615="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15873005456615="rgb(255, 255, 255)" data-darkmode-color-15873005456615="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15873005456615="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15886839320558="rgb(36, 36, 36)" data-darkmode-original-bgcolor-15886839320558="rgb(255, 255, 255)" data-darkmode-color-15886839320558="rgba(230, 230, 230, 0.9)" data-darkmode-original-color-15886839320558="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-159576399027510="rgb(25, 25, 25)" data-darkmode-original-bgcolor-159576399027510="rgb(255, 255, 255)" data-darkmode-color-159576399027510="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-159576399027510="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15962880628855="rgb(25, 25, 25)" data-darkmode-original-bgcolor-15962880628855="rgb(255, 255, 255)" data-darkmode-color-15962880628855="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-15962880628855="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15963755570771="rgb(25, 25, 25)" data-darkmode-original-bgcolor-15963755570771="rgb(255, 255, 255)" data-darkmode-color-15963755570771="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-15963755570771="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15967224074977="rgb(25, 25, 25)" data-darkmode-original-bgcolor-15967224074977="rgb(255, 255, 255)" data-darkmode-color-15967224074977="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-15967224074977="rgba(230, 230, 230, 0.9)" data-darkmode-color-15968917432472="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-15968917432472="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15968917432472="rgb(25, 25, 25)" data-darkmode-original-bgcolor-15968917432472="rgb(255, 255, 255)" style="color: rgba(230, 230, 230, 0.9);word-spacing: 1.6px;letter-spacing: 0.544px;text-size-adjust: auto;caret-color: rgba(230, 230, 230, 0.9);"><section data-darkmode-color-15968917432472="rgba(163, 163, 163, 0.9)" data-darkmode-original-color-15968917432472="rgba(230, 230, 230, 0.9)" data-darkmode-bgcolor-15968917432472="rgb(25, 25, 25)" data-darkmode-original-bgcolor-15968917432472="rgb(255, 255, 255)" style="margin-right: 8px;margin-left: 8px;min-height: 1em;"><span style="font-size: 15px;color: rgb(217, 33, 66);">菜鸟编程本营，从菜鸟进阶高手</span><br  /></section>

01.dask库的使用介绍

02.dask的安装

03.dask库的使用介绍

内容反馈

你可能也喜欢

热评文章

发表评论

联系我们

标签云

推广返利

再见Numpy，Pandas！又一个数据分析神器横空出现！

01.dask库的使用介绍

02.dask的安装

03.dask库的使用介绍

分享本文海报

内容反馈

你可能也喜欢

热评文章

发表评论

联系我们

标签云

推广返利