MIRAGE：提升医学问答性能的检索增强生成框架

MIRAGE：一个基于检索增强生成（RAG）的框架，旨在提高医学问答（QA）任务中的性能。

MIRAGE的核心思想是利用最新和可信的文档信息来辅助大语言模型（LLMs），以减少生成错误信息（幻觉现象）并提升回答的准确性和可靠性。

在使用MedRAG后，某些模型的性能提升至与GPT-4相当的水平。

MEDRAG主要功能包括：

1、增强医学问答准确性：通过检索增强生成（RAG）技术，MEDRAG利用最新和可靠的医学文档信息来辅助大型语言模型（LLMs），提高医学问答任务中的准确性和可靠性。这种方法可以减少因模型训练数据限制而产生的过时信息和错误回答。

2、系统性评估医学RAG系统性能：MIRAGE基准为医学问答领域的检索增强生成（RAG）系统提供了一个系统性评估平台。通过包含来自五个医学QA数据集的7,663个问题，它允许研究人员和开发者全面测试和比较不同RAG系统的性能。这种评估有助于识别哪些方法在处理医学信息时最有效，特别是在准确性和可靠性方面。

3、提供医学专用工具包：MEDRAG工具包集成了多种领域特定的语料库、检索器和LLMs，支持研究人员在医学问答任务上进行全面的实验和评估。这些组件包括专门为医学领域设计的文档库、针对医学信息优化的检索算法以及适用于医学问答的LLMs。

4、零样本学习能力：MEDRAG特别关注RAG系统的零样本（zero-shot）学习能力，即在没有给定具体示例的情况下，系统能够解答新的、未见过的医学问题。这对于医学领域尤其重要，因为新的医疗知识和数据持续涌现。通过提高系统的零样本学习能力，可以确保医学问答系统即使在缺乏特定训练数据的情况下也能提供准确的回答。显著提高了系统在实际应用中的灵活性和有效性。

实验结果：

LLMs比较：在CoT设置中，其他后备LLMs的最佳平均得分仅为约61%（GPT-3.5和Mixtral），而通过MedRAG，它们的性能可以显著提高到约70%，与GPT-4（CoT）相当。

这些结果展示了RAG在增强LLMs回答医学问题的零样本能力方面的巨大潜力，这可能是一种比进行更大规模预训练更有效的选择。

根据MIRAGE基准的实验结果，使用MedRAG工具包进行的测试显示：

2、性能提升：在使用MedRAG后，六种不同的大型语言模型（LLMs）在医学问答任务上的准确率提高了高达18%，将某些模型的性能提升至与GPT-4相当的水平。

2、最佳组件组合：实验结果表明，不同医学语料库和检索器的组合能够实现最佳性能。这强调了在构建医学RAG系统时，选择合适的语料库和检索器对于优化性能至关重要。

3、发现新的效应：研究还发现了医学RAG中的对数线性缩放属性和“中间丢失”效应，为理解和优化RAG系统提供了新的见解。

项目介绍：https://teddy-xionggz.github.io/benchmark-medical-rag/

MIRAGE 基准测试： https://github.com/Teddy-XiongGZ/MIRAGE

MedRAG 工具包： https://github.com/Teddy-XiongGZ/MedRAG

数据集：https://huggingface.co/MedRAG