大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和企业难以承受。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。其中Lora微调为常用的PEFT技术。
通过微调训练，让模型从更多的提示（Prompt）数据中进行少量学习，从而让模型具备特定的任务能力，可改变模型的风格、语调、输出格式等，并提高预期输出结果的可靠性。对模型进行微调后，您将不再需要在提示（prompt）中提供示例。这样可以节省成本并实现更低延迟的请求。
LLama2：meta-llama/Llama-2-7b-chat-hf
基础模型：conghao/llama2-7b-chat-hf
Lora模型：conghao/llama2-qlora-med-zh
基础模型为基于Llama-2-7b-chat-hf将LLama的原始权重文件转换为Transformers库对应的模型文件格式。可基于此模型进行微调。
Lora模型llama2-qlora-med-zh为基于医学数据集训练好的模型权重，损失函数收敛至0.2924。
QLoRA, 它是一种”高效的微调方法”, 以LLama 65B参数模型为例，常规16 bit微调需要超过780GB的GPU内存，而QLoRA可以在保持完整的16 bit微调任务性能的情况下, 将内存使用降低到48GB，即可完成微调。
最近，基于LLama2对垂类领域的数据集做了LoRA微调，在微调过程中，系统学习了下微调方案，并对Fine Tuning方案做了对比总结。
因大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和小企业难以承受（百度、头条花了上百亿购买显卡）。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。 因此PEFT技术在提升大模型效果的同时，缩短模型训练时间和成本。
DeepLabv1是在2015年发表，在此之前，图像分类、目标检测、语义分割等都基于DCNN模型发展，但DCNN会存在重复池化导致分辨率下降；位置信息丢失，难以恢复，分割结果粗糙，丢失细节等问题；故DeepLab系列对DCNN等问题进行改进。
论文：Semantic image segmentation with deep convolutional nets and fully connected CRFs
Mask R-CNN是一个小巧灵活的通用实例级分割框架，对图像进行目标检测，还可对每一个目标给出一个高质量的分割结果。它在Faster R-CNN基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模（object mask）的新分支。具有扩展性强、结构简单、准确度高、容易理解，是图像实例级分割的优秀模型。
论文：Mask R-CNN
U-NetU-Net是2015年发表的用于生物医学图像分割的模型，该模型简单、高效、容易理解、容易定制，能在相对较小的数据集上实现学习。
论文：U-Net: Convolutional Networks for Biomedical Image Segmentation
