通过利用普通 PC 的未使用资源来构建分布式深度学习引擎是否可能/实用?

数据挖掘 机器学习 深度学习 阿帕奇火花 地图减少
2022-02-26 22:20:15

我开始在 Apple 新的带有专用神经引擎的桌面 CPU 系列的背景下考虑这个问题。据我所知,这些芯片非常擅长解决深度学习问题(顾名思义)。因为我只能想象普通用户不一定会定期优化成本函数,所以我想知道理论上是否可以使用这些额外资源设置某种类似于 spark 集群的分布式网络,只是如果拥有 5 到 20 个专用系统,您可能会有 200 到 300 个节点,这些节点由用户决定租用的可用资源的任何部分组成。我正在想象一种类似于加密矿池的经济安排,其中每个节点的所有者根据他们的贡献程度获得报酬。

1个回答

我怀疑这是否可行:

  • 这对客户来说并不可靠,因为机器的所有者可以随时关闭它或开始玩一些视频密集型游戏。
  • 为了让它对业主足够有趣,价格必须是可观的,否则它甚至不值得约束。因此,与商业云提供商相比,它不太可能具有竞争力,这是一个竞争相当激烈的市场:这些提供商以最优惠的计算能力购买大型服务器,并且他们拥有非常高效的基础设施。
  • 隐私存在一个明显的问题,因此必须对所有内容进行加密,这会增加处理时间的开销。此外,一些所有者可能会担心潜在的缺陷会让客户破解他们的计算机。