REALM

谷歌已经发布了一种预训练语言模型的新方法，Google的REALM是一种基于知识库的增强语言模型。该方法使用知识检索机制进行增强语言模型，该机制可以从外部Wikipedia语料库中查找现有知识。这使得经过训练的语言模型的输出生成基于事实的信息更加丰富。它使用屏蔽语言建模转换器进行培训，并学会从数百万个Wiki文档中检索参与。