hivemind:一个用于在互联网上训练大型神经网络的库

hivemind:一个用于在互联网上训练大型神经网络的库

训练大型神经网络并不便宜。以前最大的语言模型使用的硬件成本超过2500万美元。针对GPT-3进行的一次训练至少460万美元的云GPU 收入。结果,研究人员无法为最先进的深度学习模型做出贡献,而从业人员也无法在没有大型公司支持的情况下构建应用程序。

Hivemind是一个用于大型神经网络的分散训练的库。它使用来自志愿者或分散参与者的计算能力进行众包深度学习,在具有不同计算,带宽和可靠性的多台服务器上训练神经网络。

Hivemind v0.8处于alpha早期阶段:用于训练去中心化模型的核心功能已经存在,但是接口仍在积极开发中。

详情了解:https://learning-at-home.github.io

你可能感兴趣的文章:

上一篇:

下一篇:


标签