LLama3.2调研报告
1B和3B,小模型用于边缘计算的,可以用移动设备推理了。HER时代真要到来了。
最近研究在AGI方面投入精力较多,通过Workflow的方式,做了一些LLM+知识库+Tools的Agent。其中Workflow的实现,一种是通过Prompt来编排,另一种是LangGraph的方式。而Prompt书写质量的好坏,也严重影响了最后的效果。整理了当前主流的Prompt写法。其中包括一些Prompt示例,以及一些Prompting的思想。梳理、总结分析了20篇关于Prompt Engineering的论文。
BERT(Bidirectional Encoder Representations from Transformers)是第一个基于Transformer结构的纯Encoder模型,它在提出时横扫了整个NLP界,在流行的GLUE基准上超过了当时所有的最强模型。随后的一系列工作对BERT的预训练目标和架构进行调整以进一步提高性能。目前,纯Encoder模型依然在NLP行业中占据主导地位。
论文:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
好用的语料设计服务,可一键微调语料设计生成,支持模型:
针对教材内容,设计了多轮对话语料,可以定制风格,并且设计了三种对话能力:
Transformer是2017年Google论文《Attention is All You Need》提出的一种模型结构,颠覆了通过RNN进行序列建模的思路,已被广泛应用于NLP各个领域,如出色的Bert、GPT都是基于Transformer模型。
大模型预训练成本高昂,需要庞大的计算资源和大量的数据资源,一般个人和企业难以承受。为解决这一问题,谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术,旨在通过最小化微调参数的数量和计算复杂度,来提高预训练模型在新任务上的性能,从而缓解大型预训练模型的训练成本。这样一来,即使计算资源受限,也可以利用预训练模型的知识来迅速适应新任务,实现高效的迁移学习。其中Lora微调为常用的PEFT技术。
通过微调训练,让模型从更多的提示(Prompt)数据中进行少量学习,从而让模型具备特定的任务能力,可改变模型的风格、语调、输出格式等,并提高预期输出结果的可靠性。对模型进行微调后,您将不再需要在提示(prompt)中提供示例。这样可以节省成本并实现更低延迟的请求。