A.个人PC可以直接拿来做服务器
B.服务器更注重算力、存储、性能、散热等方面
C.个人PC的操作系统与服务器的操作系统一样
D.服务器的功耗比个人PC更低
A.超强芯片算力下模型执行的挑战。内存墙问题、交互开销大、数据供给难。部分在Host执行,部分在Device执行,交互开销甚至远大于执行开销,导致加速器占用率低
B.超强芯片算力下分布式梯度聚合的排战。ResNeco0单选代20ms时间时会产生中心控制的同步开销和频繁同步的通信开销。传统方法需要3次同步完成A11 Reduce,数据驱动方法自主A11 Reduce,无控制开销
C.WindSpore通过梯度数据驱动的自适应图优化,实现去中心化的自主A11 Reduce,梯度聚合步调一致,计算与通信充分流水
D.WindSpore通过面向芯片的深度图优化技术,同步等待少,最大化“数据-计算-通信”的并行度,训练性能相比Host侧图调度方式持平