LLama2：meta-llama/Llama-2-7b-chat-hf
基础模型：conghao/llama2-7b-chat-hf
Lora模型：conghao/llama2-qlora-med-zh
基础模型为基于Llama-2-7b-chat-hf将LLama的原始权重文件转换为Transformers库对应的模型文件格式。可基于此模型进行微调。
Lora模型llama2-qlora-med-zh为基于医学数据集训练好的模型权重，损失函数收敛至0.2924。
QLoRA, 它是一种”高效的微调方法”, 以LLama 65B参数模型为例，常规16 bit微调需要超过780GB的GPU内存，而QLoRA可以在保持完整的16 bit微调任务性能的情况下, 将内存使用降低到48GB，即可完成微调。
最近，基于LLama2对垂类领域的数据集做了LoRA微调，在微调过程中，系统学习了下微调方案，并对Fine Tuning方案做了对比总结。
因大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和小企业难以承受（百度、头条花了上百亿购买显卡）。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。 因此PEFT技术在提升大模型效果的同时，缩短模型训练时间和成本。
DeepLabv1是在2015年发表，在此之前，图像分类、目标检测、语义分割等都基于DCNN模型发展，但DCNN会存在重复池化导致分辨率下降；位置信息丢失，难以恢复，分割结果粗糙，丢失细节等问题；故DeepLab系列对DCNN等问题进行改进。
论文：Semantic image segmentation with deep convolutional nets and fully connected CRFs
Mask R-CNN是一个小巧灵活的通用实例级分割框架，对图像进行目标检测，还可对每一个目标给出一个高质量的分割结果。它在Faster R-CNN基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模（object mask）的新分支。具有扩展性强、结构简单、准确度高、容易理解，是图像实例级分割的优秀模型。
论文：Mask R-CNN
U-NetU-Net是2015年发表的用于生物医学图像分割的模型，该模型简单、高效、容易理解、容易定制，能在相对较小的数据集上实现学习。
论文：U-Net: Convolutional Networks for Biomedical Image Segmentation
SSD是一种One Stage的检测模型，相比于R-CNN系列模型上要简单许多。其精度与Faster R-CNN相匹敌，而速度达到59FPS，速度上超过Faster R-CNN。
Faster R-CNN结构上将特征抽取，region proposal提取，bbox regression（包围边框回归），分类都整合到了一个网络中，综合性能有较大提高，检测速度提升较大。
论文：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Fast R-CNN基于R-CNN和SPPNets，进行模型改进。不需要再生成2000个候选区域，只需要特征提取一次，使用selective search生成2000个区域候选框，再CNN卷积，Rol池化形成特定长度特征向量，送入全连接FC，Softmax，输出定位信息。速度较R-CNN有提升，但依旧慢。
论文：Fast R-CNN
