Papers with Code宣布了一种新的开源大型语言模型-Galactica

Papers with Code今天宣布了一种新的开源大型语言模型，称为Galactica。在科学理解和推理方面具有优势。这种语言模型专门研究数学和科学，能够总结科学论文、生成维基文章、回答问题等等。它也是完全开源的。

Galactica的科学理解来自于它训练的数据集的创建工作。使用的数据集是通过将来自各种科学来源的信息标记化为大量标记化信息数据集而创建的。为了确保对发生的各种模式进行最佳学习（例如自然语言与数学公式与分子序列等），采取了特殊的标记化步骤，包括识别数学运算字符或标记不同类型序列的开始和结束。

此外，还实现了一个额外的特殊标记来识别分步推理的部分，这鼓励Galactica应用某种内部工作记忆，否则它将无法做到这一点。获 取 更多前沿科技 研究 进展访问：https://byteclicks.com

在的测试中，研究人员发现他们的模型在许多基准测试中表现优于可比模型（OPT、BLOOM、GPT-3和其他取决于任务的模型），并且在表现不好的地方接近于顶级模型。

有关Galactica的符号化方法如何促进科学理解的更多细节，请查看此处的完整研究论文：https://galactica.org/static/paper.pdf

Galactica由Paper with Code和Meta AI的人员创建，当然是完全开源的。

使用Galactica的步骤也很简单，只需安装一个pip和3行python代码即可加载模型并给出提示。您可以在GitHub存储库中找到如何使用Galactica：https://github.com/paperswithcode/galai

Galactica有5种大小，从2.5亿参数到1200亿参数。你可以根据自身需求下载。