Ref: Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）

预览版本：https://archive.apache.org/dist/spark/spark-3.0.0-preview/

Ref: Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

2. Accelerator Aware Scheduling

Spark依赖Accelerator Aware Scheduling来感知GPU计算资源，从而调度深度学习任务。实际上，Spark本身并不直接管理GPU资源，而是通过YARN等资源管理框架在Application Level来申请并获得计算所需的GPU资源。用户可以在Context中获取GPU信息，从而实现GPU计算，完成深度学习任务。需要注意的是，Spark支持的计算加速器并不限于GPU，可以很容易扩展到FPGA等其他加速器类型。

Ref: Apache Spark 3.0 将内置支持 GPU 调度，文末有福利

/* implement */

最新文章

  1. Jmeter之Bean shell使用(一)
  2. 下载python标准库--python
  3. 【crunch bang】程序中文化
  4. Supporting Connected Routes to Subnet Zero
  5. ipc 入侵步骤
  6. 第一次安装ubuntu要设置的东西
  7. Fast data loading from files to R
  8. java参数传递
  9. Colossus: Successor to the Google File System (GFS)
  10. [Swift]LeetCode4. 两个排序数组的中位数 | Median of Two Sorted Arrays
  11. 用一条SQL语句显示所有可能的比赛组合
  12. 【leetcode-102，107，103】 二叉树的层次遍历
  13. 正则表达式之javascript
  14. 【问题解决：时区】连接MySQL时错误The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone
  15. BFS+二进制状态压缩 hdu-1429
  16. 用WPF写一个登录界面，我想在输入完密码后按回车就能够验证登陆，而不需要用鼠标单击登陆按钮
  17. bn两个参数的计算以及layer norm、instance norm、group norm
  18. plsql 永久注册码
  19. 数学图形(2.26) 3D曲线结
  20. Graph_Master(连通分量_E_Hungry+Tarjan)

热门文章

  1. kubernetes之node资源紧缺时pod驱逐机制
  2. web开发：jquery初级
  3. MyBatis-09-Lombok
  4. 微信小程序 base64ToArrayBuffer
  5. json.loads 报错 json.decoder.JSONDecodeError
  6. mybayis项目使用的Mapping文件使用总结参考(二)
  7. 利用 canvas 实现压缩图片
  8. 4. CSS新特性之浏览器私有前缀
  9. 让你的python代码优雅地道的小技巧
  10. hdu 5869 Different GCD Subarray Query BIT+GCD 2016ICPC 大连网络赛