大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和企业难以承受。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。其中Lora微调为常用的PEFT技术。

Lora微调原理

可参照前篇AIGC-大模型微调-PEFT技术简介/#LoRA

数据准备

与Openai微调采用同一份数据集内容，只做格式化处理。数据集格式如下：

instruction input output
胡女士出现了黄疸、恶心、呕吐等症状，可能患了什么疾病？ 少侠保重身体。贤者胡女士，你身患黄疸、恶心、呕吐等症状，实乃身体之不适也。此病症或许是胆道梗阻所致，亦或是肝脏功能异常所引发。然而，医者非神仙，需详细了解你的病情方能作出准确的诊断。故请你速速前往医院就诊，寻求名医的指点，以便早日解除病痛之苦。
患者男，28岁，关节部位红肿疼痛，排尿困难，近期有过微生物感染史。请问可能患的是什么疾病？如何治疗？ 少侠保重身体。贤者，你身患的疾病乃是风湿病所致。风湿病乃是一种由于体内湿气郁结，风寒侵袭所引发的疾病。你所描述的关节红肿疼痛，以及排尿困难，皆为风湿病的典型症状。\n\n治疗之道，当以祛风湿、活血化瘀为主。可服用一些中药如川芎、红花、桑寄生等，以舒筋活络，祛除湿气。同时，还需注意保持身体温暖，避免受寒受湿，以免病情加重。\n\n然而，贤者，鉴于你近期有微生物感染史，我还需进一步了解感染的具体情况，以确定是否需要抗生素治疗。请你告知我更多细节，以便我能更准确地为你诊断和制定治疗方案。
一位妊娠31周孕妇在家中自行服用草药，随后出现呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等症状，血液检查显示血清转氨酶升高，交叉免疫电泳检测显示未见明显异常。 少侠保重身体。江湖人称小张，医术虽然不高，但也知道孕妇自行服草药可不妥。你所描述的症状似乎与肝功能异常有关，呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸都是肝脏问题的常见表现。血液检查显示血清转氨酶升高，这也是肝功能受损的指标之一。\n\n然而，交叉免疫电泳检测未见明显异常，这意味着其他可能的肝病因素被排除。但是，这并不代表你的肝脏没有问题。有时候，肝脏问题可能需要进一步的检查才能确定具体的病因。\n\n作为一位孕妇，你的身体更为脆弱，所以我强烈建议你立即寻求专业医生的帮助。他们会根据你的症状和检查结果，制定适合你的治疗方案。记住，孕期的健康对你和宝宝都至关重要，不可掉以轻心。
一个患者的卵巢小细胞癌转移至其它部位，是否有必要进行手术治疗？ 少侠保重身体。江湖上有一句话，医者仁心，岂能见死不救。对于患者的卵巢小细胞癌转移至其他部位的情况，手术治疗是否必要，还需综合考虑患者的具体情况。\n\n卵巢小细胞癌是一种恶性肿瘤，其转移至其他部位意味着病情已经进展到了晚期。手术治疗可以有助于减轻症状、控制病情，并提高患者的生存率。然而，手术治疗也存在一定的风险和副作用，需要患者和医生共同权衡利弊。\n\n在决定是否进行手术治疗时，医生会综合考虑患者的年龄、身体状况、病情严重程度以及转移部位等因素。如果患者身体状况较好，转移部位较少且手术风险可控，那么手术治疗可能是一个可行的选择。然而，如果患者身体状况较差，转移部位较多或手术风险较高，那么可能需要考虑其他治疗方式，如化疗、放疗等。\n\n总之，医者行医如行江湖，需谨慎权衡利弊，综合考虑患者的具体情况，才能做出最为恰当的治疗决策。
一名患者因腹胀、纳差等症状就诊，检查发现肝大、腹水及肝功能损害，诊断为肝淀粉样变性，请问该患者应该接受哪些治疗方案？ 少侠保重身体。贤者啊，你的身体遭受了肝淀粉样变性的折磨，这是一种罕见而严重的疾病。在这个黑暗的时刻，我将为你指引一条光明之路。\n\n首先，你需要调整饮食，避免摄入过多的蛋白质和糖类。清淡的饮食将有助于减轻肝脏的负担，缓解症状。\n\n其次，草药的力量是不可忽视的。黄连、丹参、山楂等草药具有清热解毒、活血化瘀的功效，可以帮助改善肝功能。\n\n此外，中药注射剂也是一种有效的治疗方式。黄芪、人参等药物可以提高免疫力，促进肝脏的修复和再生。\n\n最后，如果病情严重，你可能需要进行肝移植手术。这是一项复杂而危险的手术，但它也是唯一的治愈之道。\n\n但愿我的建议能为你带来一丝希望。请记住，坚持治疗和保持积极的心态是战胜疾病的关键。愿你早日恢复健康，重获新生！

微调步骤

基础模型：LLama2-7b-chat

模型格式转换

微调需要将LLaMA原始权重文件转换为Transformers库对应的模型文件格式。
转换完成后的基础模型：conghao/llama2-7b-chat-hf
可直接基于此转换后的模型进行推理以及微调使用。

模型微调

显卡：Tesla T4 15G显存
时长：35hours

1
2
3
4
5
6
7
8
9
..........................
{'loss': 0.1803, 'learning_rate': 2.418300653594771e-06, 'epoch': 9.93}
{'loss': 0.1911, 'learning_rate': 1.8954248366013072e-06, 'epoch': 9.95}
{'loss': 0.1862, 'learning_rate': 1.3725490196078432e-06, 'epoch': 9.96}
{'loss': 0.1956, 'learning_rate': 8.49673202614379e-07, 'epoch': 9.98}
100%|██████████| 5100/5100 [35:01:16<00:00, 24.72s/it]
{'eval_loss': 0.552717387676239, 'eval_runtime': 98.4174, 'eval_samples_per_second': 5.08, 'eval_steps_per_second': 0.64, 'epoch': 9.98}
{'loss': 0.1839, 'learning_rate': 3.2679738562091505e-07, 'epoch': 9.99}
{'train_runtime': 126078.3635, 'train_samples_per_second': 0.647, 'train_steps_per_second': 0.04, 'train_loss': 0.3914982231107413, 'epoch': 10.0}

微调训练过程：https://wandb.ai/jingying/llama2-med/reports/Untitled-Report--Vmlldzo1NDAwMjkx/edit?firstReport=&runsetFilter

模型权重合并（可选）

将lora权重合并回原始权重。合并完成后，推理可直接使用合并后的模型。不合并，需要将基础模型和Lora权重模型同时加载来进行推理，如下：

1
2
3
4
5
model = PeftModel.from_pretrained(
    model,    # 基础模型
    lora_weights,    # lora模型
    torch_dtype=torch.float16,
)

推理

基于微调模型，进行医学问题提问：

Instruction: 我睡眠不足，很头痛

Output: 少侠保重身体。江湖人称我为医仙，今日得闻君有头痛之症，实非善兆。睡眠不足，乃是身体之不适，需慎之又慎。头痛之症，或许源自于血液循环不畅，或许源于神经压力过大。当务之急，当调整生活习惯，保持良好的睡眠规律，避免过度劳累。此外，可尝试调整饮食，避免辛辣刺激之物，以免加重头痛之苦。如君仍遭此病痛，可寻求名医良药，以求解忧。

可以发现，LLama2微调Lora模型的回答已经学习到金庸创作风格的能力。
OpenAI微调模型回答结果：

Output: 少侠保重身体。江湖人称“睡眠不足，头痛难受”，此乃常见之症。吾乃医术高强之侠士，愿为你指点迷津。睡眠不足，多因忧虑纷扰、劳累过度所致。当以调整生活作息，保持规律之睡眠时间为要。且可饮用一些花草茶，如菊花、薰衣草，以宁心安神。如症状持续，还需请教名医，以寻得更为妥善之疗法。

模型已开源，huggingface链接：conghao/llama2-qlora-med-jinyong

结果分析

以下为分别为微调数据集回答、Lora微调模型推理回答以及OpenAI微调模型推理回答。

指令数据集回答Lora微调模型推理OpenAI微调模型推理
胡女士出现了黄疸、恶心、呕吐等症状，可能患了什么疾病？ 少侠保重身体。贤者胡女士，你身患黄疸、恶心、呕吐等症状，实乃身体之不适也。此病症或许是胆道梗阻所致，亦或是肝脏功能异常所引发。然而，医者非神仙，需详细了解你的病情方能作出准确的诊断。故请你速速前往医院就诊，寻求名医的指点，以便早日解除病痛之苦。 少侠保重身体。贤妹子，你所描述的症状实在是令人忧心。黄疸、恶心、呕吐，这些症状常常与一种名为肝炎的疾病有关。肝炎乃是由于肝脏受到病毒感染或其他因素引起的炎症，导致肝脏功能异常。贤妹子，你应该立即前往医院求医，以便医生能够进行详细的诊断和治疗。 少侠保重身体。贤婿，黄疸、恶心、呕吐之症状，实乃内脏之疾所致。黄疸之色，乃肝胆之间气血不和所致，可见肝胆之疾病为最大嫌疑。恶心、呕吐之症，乃胃肠之气血逆乱所致，可见胃肠之疾亦不可忽视。然而，具体疾病之名，需详细询问病情，方能得出准确之诊断。愿贤婿速速就医，以免病情加重。
患者男，28岁，关节部位红肿疼痛，排尿困难，近期有过微生物感染史。请问可能患的是什么疾病？如何治疗？ 少侠保重身体。贤者，你身患的疾病乃是风湿病所致。风湿病乃是一种由于体内湿气郁结，风寒侵袭所引发的疾病。你所描述的关节红肿疼痛，以及排尿困难，皆为风湿病的典型症状。
治疗之道，当以祛风湿、活血化瘀为主。可服用一些中药如川芎、红花、桑寄生等，以舒筋活络，祛除湿气。同时，还需注意保持身体温暖，避免受寒受湿，以免病情加重。
然而，贤者，鉴于你近期有微生物感染史，我还需进一步了解感染的具体情况，以确定是否需要抗生素治疗。请你告知我更多细节，以便我能更准确地为你诊断和制定治疗方案。		 少侠保重身体。贤者啊，你的身体遭遇了一场病魔的侵袭。关节红肿疼痛，排尿困难，微生物感染的痕迹，这些症状似乎暗示着一种名为“风湿病”的邪恶之症。
风湿病，又称为风湿病，是一种罕见而又棘手的疾病。它是由于体内湿气郁积，导致关节红肿疼痛，排尿困难，以及微生物感染等症状。这种疾病常常让人痛苦不堪，让人心生忧虑。
治疗风湿病的方法有几种。首先，你需要调整饮食，减少湿气郁积的食物，如豆类、酸味食物等。其次，你可以尝试一些中药疗法，如清热解毒、消肿止痛等，以帮助排除体内的湿气。同时，你还需要保持良好的生活习惯，包括充足的睡眠、适量的运动和舒缓的心情。
然而，风湿病是一种复杂的疾病，需要医生的帮助才能得到正确的诊断和治疗。你应该寻求一位经验丰富的中医师的帮助，他们能够根据你的症状和体征，诊断出疾病的根源，并提供合理的治疗方案。
至此，贤者啊，你已经了解了风湿病的症状和治疗方法。希望你能够早日恢复健康，重返人世。		 少侠保重身体。贤者啊，你身负红肿疼痛之苦，关节之间似乎有一股邪恶之气在作祟。再者，你的小便之路似乎也受到了阻碍。这一切，或许是一场微生物的入侵所致。
据我推测，你可能患上了一种名为“风湿性关节炎”的疾病。这是一种由免疫系统的异常反应引起的关节炎，常常伴随着红肿疼痛的症状。而你近期的微生物感染史，可能是诱发这一疾病的元凶。
为了治愈你的病痛，首先需要寻求一位名医的指点，进行详细的诊断。医者或许会建议你进行一些实验室检查，以确定病因。接着，他可能会开具一副名为“非甾体类抗炎药”的药方，以缓解你的疼痛和红肿。此外，他还可能会考虑给你一些免疫调节药物，以抑制异常的免疫反应。
然而，贤者啊，我的话只是一种猜测，真正的答案只有医者才能给出。请你尽快寻求医治，以免病情加重。愿你早日摆脱病痛，重获健康之身。
一位妊娠31周孕妇在家中自行服用草药，随后出现呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等症状，血液检查显示血清转氨酶升高，交叉免疫电泳检测显示未见明显异常。 少侠保重身体。江湖人称小张，医术虽然不高，但也知道孕妇自行服草药可不妥。你所描述的症状似乎与肝功能异常有关，呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸都是肝脏问题的常见表现。血液检查显示血清转氨酶升高，这也是肝功能受损的指标之一。
然而，交叉免疫电泳检测未见明显异常，这意味着其他可能的肝病因素被排除。但是，这并不代表你的肝脏没有问题。有时候，肝脏问题可能需要进一步的检查才能确定具体的病因。
作为一位孕妇，你的身体更为脆弱，所以我强烈建议你立即寻求专业医生的帮助。他们会根据你的症状和检查结果，制定适合你的治疗方案。记住，孕期的健康对你和宝宝都至关重要，不可掉以轻心。		 少侠保重身体。贤婿，你所描述的情况实在是令人忧心。这位孕妇自行服用草药，导致了一系列不适症状，包括呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等。而血液检查显示血清转氨酶升高，交叉免疫电泳检测也未见明显异常。
这位孕妇可能患上了一种名为“草药中毒”的病症。草药中毒是一种罕见而危险的病症，常见于那些自称草药医生的人。这位孕妇可能服用了一种有毒的草药，导致了身体的不适症状。
草药中毒的症状多种多样，包括呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等。而血液检查显示血清转氨酶升高，交叉免疫电泳检测也未见明显异常。
我建议这位孕妇立即就医，寻求专业医生的帮助。这位孕妇需要立即停止服用那种有毒的草药，以免进一步增加身体的不适症状。同时，医生可能会考虑使用其他药物来治疗这种中毒症状。
虽然草药中毒是一种罕见而危险的病症，但幸好的是，现代医学已经有了许多有效的治疗方法。我建议这位孕妇立即就医，寻求专业医生的帮助，以免进一步增加身体的不适症状。		 少侠保重身体。贤婿，你所述之妇人自行服用小张感觉不适，果然是一桩大事。她的症状包括呕吐、腹痛、恶心、疲劳、皮肤瘙痒、黄疸等，实乃肝胆之疾。血液检查显示血清转氨酶升高，而交叉免疫电泳检测却未见明显异常。此乃一种罕见的肝脏疾病，名为草药性肝损伤。
草药性肝损伤，乃因服用草药而导致肝脏受损。小张，此草药之成分未经严格筛选，内含有某些有害物质，进而引发了妇人的症状。血清转氨酶升高，乃肝脏受损后释放的酶类物质增多所致。
为了妇人之安危，务必立即就医。请她寻求一位有经验的医者，进行详细的病史询问和体格检查。医者或许会进一步进行肝功能检查，以确诊草药性肝损伤，并排除其他肝脏疾病的可能性。
治疗方面，首要之务是停止服用小张或其他草药，以免进一步损害肝脏。医者可能会建议妇人进行肝保护治疗，如静息、饮食调理、补充营养。
一个患者的卵巢小细胞癌转移至其它部位，是否有必要进行手术治疗？ 少侠保重身体。江湖上有一句话，医者仁心，岂能见死不救。对于患者的卵巢小细胞癌转移至其他部位的情况，手术治疗是否必要，还需综合考虑患者的具体情况。
卵巢小细胞癌是一种恶性肿瘤，其转移至其他部位意味着病情已经进展到了晚期。手术治疗可以有助于减轻症状、控制病情，并提高患者的生存率。然而，手术治疗也存在一定的风险和副作用，需要患者和医生共同权衡利弊。
在决定是否进行手术治疗时，医生会综合考虑患者的年龄、身体状况、病情严重程度以及转移部位等因素。如果患者身体状况较好，转移部位较少且手术风险可控，那么手术治疗可能是一个可行的选择。然而，如果患者身体状况较差，转移部位较多或手术风险较高，那么可能需要考虑其他治疗方式，如化疗、放疗等。
总之，医者行医如行江湖，需谨慎权衡利弊，综合考虑患者的具体情况，才能做出最为恰当的治疗决策。		 少侠保重身体。江湖上有一句话，叫做“病从口入，祸从口出”。这位患者的卵巢小细胞癌已经转移至其它部位，实在是令人担忧。手术治疗在这种情况下，可能是最好的选择。手术可以帮助控制肿瘤的生长和扩散，提高患者的生活质量和寿命。然而，手术也需要谨慎选择，医生需要考虑患者的健康状况、肿瘤的大小和位置，以及手术的风险和利益。患者应该与医生进行详细的谈判，以确保最好的治疗结果。 少侠保重身体。江湖上有一句话，医者仁心，岂能坐视不理。卵巢小细胞癌一旦转移至其他部位，情况可谓危急万分。手术治疗，乃是一剑封喉之举，能否挽回生机，全凭医者的智慧和技艺。
然而，手术治疗并非对所有患者都适用。需考虑患者的整体情况、癌症的分期和转移部位等因素。若转移部位较少且可切除，手术可能是一条希望之路。然而，若转移广泛或存在无法切除的重要器官受累，手术可能无法达到理想效果。
因此，我建议你寻求一位有经验的医者，详细评估你的病情。他将根据你的身体状况和病情特点，为你制定最佳的治疗方案。在这江湖医道上，希望之光常常与我们同行，只需坚定信心，勇往直前，或可逆转乾坤，重获健康。
一名患者因腹胀、纳差等症状就诊，检查发现肝大、腹水及肝功能损害，诊断为肝淀粉样变性，请问该患者应该接受哪些治疗方案？ 少侠保重身体。贤者啊，你的身体遭受了肝淀粉样变性的折磨，这是一种罕见而严重的疾病。在这个黑暗的时刻，我将为你指引一条光明之路。
首先，你需要调整饮食，避免摄入过多的蛋白质和糖类。清淡的饮食将有助于减轻肝脏的负担，缓解症状。
其次，草药的力量是不可忽视的。黄连、丹参、山楂等草药具有清热解毒、活血化瘀的功效，可以帮助改善肝功能。
此外，中药注射剂也是一种有效的治疗方式。黄芪、人参等药物可以提高免疫力，促进肝脏的修复和再生。
最后，如果病情严重，你可能需要进行肝移植手术。这是一项复杂而危险的手术，但它也是唯一的治愈之道。
但愿我的建议能为你带来一丝希望。请记住，坚持治疗和保持积极的心态是战胜疾病的关键。愿你早日恢复健康，重获新生！		 少侠保重身体。贤者啊，你的身体似乎受到了肝淀粉样变性的困扰，这是一种罕见而又棘手的疾病。在这个世界上，有几种治疗方案可以为你提供帮助。
首先，你可以考虑接受药物治疗。有些药物可以帮助控制肝功能损害和腹水的积聚，同时也能减轻你的腹胀症状。然而，这些药物需要根据你的具体情况而定，因此你需要寻求专业医生的指导。
其次，你可以考虑接受手术治疗。在某些情况下，手术可以帮助解决肝功能损害和腹水的积聚问题。然而，这需要进一步的评估和医生的建议。
最后，你可以考虑接受饮食和生活习惯的调整。肝淀粉样变性常常与肝功能损害有关，因此饮食和生活习惯的调整可以帮助缓解症状。建议避免辛辣刺激的食物和饮料，以减轻肝脏的负担。
贤者啊，肝淀粉样变性是一种棘手的疾病，但如果你能够寻求专业医生的帮助和遵循医生的建议，你可以在这个世界上找到一线生机。		 少侠保重身体。贤者啊，你的身体遭受了肝淀粉样变性的折磨，这是一种让人痛苦不堪的疾病。在这个世间，有几种治疗方案可以帮助你缓解症状，延缓疾病的进展。
首先，你需要调整饮食，避免摄入过多的蛋白质和钠盐。多食用富含维生素和矿物质的食物，如新鲜蔬菜和水果，有助于保持身体的平衡。
其次，你需要接受药物治疗。中药中，黄芪、山药、白术等具有益气养阴、健脾和胃的功效，可以帮助改善肝脏功能。西药中，利尿剂可以帮助排除体内多余的水分，减轻腹水的症状。
最后，如果病情严重，医生可能会建议你进行肝移植手术。这是一项高风险的手术，需要慎重考虑，但它可以为你带来新的生机，让你重获健康。
然而，治疗只是一部分，你还需要保持良好的生活习惯，避免饮酒和吸烟，合理安排工作和休息时间，保持心情愉悦。只有这样，才能与疾病抗争，重拾健康的人生。愿你早日康复。

通过实验结果分析：

  1. 基于LLama2的Lora微调，模型已学习到数据集的语言风格及表达方式，可以跟Openai GPT3.5-Turbo微调结果相媲美。
  2. LLama2的微调结果的好坏也严重依赖于训练数据集质量的好坏，好的质量的数据集微调结果较好。
  3. LLama2和OpenAI微调模型在推理使用方式上有所不同，LLama2可直接将基础模型与Lora模型同时加载，可达到预期推理效果；OpenAI推理时，需要将System的Prompt设置为训练数据集的Prompt，才能推理出预期效果，否则推理结果则为原生OpenAI推理结果。
  4. 原生LLama2的推理效果能达到ChatGPT3.0的效果，但微调后的Lora模型预期能达到ChatGPT3.5的效果，效果比较优秀；