通过微调训练，让模型从更多的提示（Prompt）数据中进行少量学习，从而让模型具备特定的任务能力，可改变模型的风格、语调、输出格式等，并提高预期输出结果的可靠性。对模型进行微调后，您将不再需要在提示（prompt）中提供示例。这样可以节省成本并实现更低延迟的请求。

LLama2：meta-llama/Llama-2-7b-chat-hf
基础模型：conghao/llama2-7b-chat-hf
Lora模型：conghao/llama2-qlora-med-zh

基础模型为基于Llama-2-7b-chat-hf将LLama的原始权重文件转换为Transformers库对应的模型文件格式。可基于此模型进行微调。

Lora模型llama2-qlora-med-zh为基于医学数据集训练好的模型权重，损失函数收敛至0.2924。

QLoRA, 它是一种”高效的微调方法”, 以LLama 65B参数模型为例，常规16 bit微调需要超过780GB的GPU内存，而QLoRA可以在保持完整的16 bit微调任务性能的情况下, 将内存使用降低到48GB，即可完成微调。

最近，基于LLama2对垂类领域的数据集做了LoRA微调，在微调过程中，系统学习了下微调方案，并对Fine Tuning方案做了对比总结。

因大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和小企业难以承受（百度、头条花了上百亿购买显卡）。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。 因此PEFT技术在提升大模型效果的同时，缩短模型训练时间和成本。

DeepLabv1是在2015年发表，在此之前，图像分类、目标检测、语义分割等都基于DCNN模型发展，但DCNN会存在重复池化导致分辨率下降；位置信息丢失，难以恢复，分割结果粗糙，丢失细节等问题；故DeepLab系列对DCNN等问题进行改进。

DeepLab v1

论文：Semantic image segmentation with deep convolutional nets and fully connected CRFs

Mask R-CNN是一个小巧灵活的通用实例级分割框架，对图像进行目标检测，还可对每一个目标给出一个高质量的分割结果。它在Faster R-CNN基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模（object mask）的新分支。具有扩展性强、结构简单、准确度高、容易理解，是图像实例级分割的优秀模型。

论文：Mask R-CNN

U-NetU-Net是2015年发表的用于生物医学图像分割的模型，该模型简单、高效、容易理解、容易定制，能在相对较小的数据集上实现学习。

论文：U-Net: Convolutional Networks for Biomedical Image Segmentation

SSD是一种One Stage的检测模型，相比于R-CNN系列模型上要简单许多。其精度与Faster R-CNN相匹敌，而速度达到59FPS，速度上超过Faster R-CNN。

论文：SSD: Single Shot MultiBox Detector

YOLO（You Only Look Once ），创造性的将物体检测任务直接当作回归问题来处理，将候选区和检测两个阶段合二为一。目前YOLO版本已经更新到YOLO7，另外还有许多YOLO变种。

YOLO1

论文：You Only Look Once: Unified, Real-Time Object Detection