BenTsao：自己训练1个医学模型

冠状病毒

嘿，大家好！第二次传染了新冠，已然过去了4天，但我还没有转阴。今日咱们来聊一聊医学行业的GPT模型吧！

实则，除了ChatGPT，如今医疗行业也有十分快捷的GPT模型可供应用了。医联在5月25日正式公布了一款名为MedGPT的医疗大话语模型，该模型具有1000亿个参数。预训练阶段应用了超越20亿条医学文本信息作为根基。但在微调阶段，它结合了800万条高品质的构造化临床诊断信息，并获得了100多位医师的人工反馈督促。

MedGPT具有覆盖国际疾病与有关健康问题统计分类第十版（ICD-10）中百分之六十的疾病病种的本领。你可以通过输入病情数据与MedGPT进行交互，获得对于本身疾病的有关数据和倡议，就像具有了1个私家医师同样。

假设你有兴致自己训练或者搭造1个相似的MedGPT模型，实际上在GitHub上有1个名为"本草（BenTsao）"的项目可以给你供应考虑。这个项目借用中文医学常识建立了医学常识图谱，并结合GPT3.5 API对LLaMA模型进行了指令微调，以提升在医疗行业的问答成效。

BenTsao GitHub截图

咱们来看看实际的成效吧，以下是许多示例：

腹胀、肝区疼痛

心悸、气促

肝胆管结石

固然，实际的成效能够并非完美，给人一类仿佛答复又仿佛没有答复的感觉。这首要是由于训练信息和轮次不足造成的。期望为项目做奉献的开发者们可能连续尽力，进一步优化和完备这个模型，以供应更确切、有用的答复。

假设你期望在本地布置BenTsao，只要将模型量化压缩为8位，推断流程所需的显存占用会在9GB下列。此外，假设你可以访问Google Colab，可以应用我供应的jupyter notebook文件，我会把链接放在末尾。

对于训练方面，你须要一起24GB显存及以上的显卡，我尝试过16GB显存的显卡会造成显存溢出。