一个开源医学领域语言模型，可提供高性能的医学问答和信息检索服务
PMC-LLaMA：一个开源的医学领域语言模型，可提供高性能的医学问答和信息检索服务。
使用LLaMA 架构，在大约 480 万篇生物医学学术论文上进行了微调。
其主要版本包括 MedLLaMA_13B 和 PMC_LLaMA_13B，其中 MedLLaMA_13B 是在医学文献和书籍上预训练的，而 PMC_LLaMA_13B 是在此基础上进一步微调的。
PMC_LLaMA_13B：
1、模型规模扩大到了 130 亿（13B）参数。
2、在知识注入阶段，添加了 3 万本医学书籍。
3、在一个包含 2.02 亿（202M）标记的大规模数据集上进行了指令调优。
通过在三个生物医学问答数据集（包括PubMedQA、MedMCQA和USMLE）上的初步评估，研究人员发现PMC-LLaMA在问答基准测试上表现出更好的理解和高性能。
该模型的微调过程使用了AdamW优化器和特定的学习率，以及一种名为全分片数据并行（FSDP）的加速策略。模型在大约7天内完成了5个周期的训练。
通过与原始的 LLaMA 模型的比较，研究证明了 PMC-LLaMA 在医学领域具有更高的适用性，尤其是在医学相关句子完成任务上。
GitHub：https://github.com/chaoyi-wu/PMC-LLaMA/
Huggingface：https://huggingface.co/axiong/PMC_LLaMA_13B
数据集：https://huggingface.co/datasets/axiong/pmc_llama_instructions
版权声明：除特殊说明外，本站所有文章均为 字节点击 原创内容，采用 BY-NC-SA 知识共享协议。原文链接：https://byteclicks.com/52483.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有，文章内容仅代表作者独立观点，不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人，只供传递信息之用，非商务用途。如有侵权，请联系 gavin@byteclicks.com。我们将协调给予处理。
