黑客马拉松项目，AI雅思先锋

• 支持雅思口语陪练，接入Realtime，实现口语陪练或者模拟考试
• 支持英文作文批改，针对单词、句子、语法、整体逻辑给出优化建议。
• 给出待办事项todo list建议，并提供参考范文
• 支持手写图片的原图批改标注，在原图中通过波浪线，圆角方框等进行位置标注，并在相关位置进行批改建议。

1B和3B，小模型用于边缘计算的，可以用移动设备推理了。HER时代真要到来了。

最近研究在AGI方面投入精力较多，通过Workflow的方式，做了一些LLM+知识库+Tools的Agent。其中Workflow的实现，一种是通过Prompt来编排，另一种是LangGraph的方式。而Prompt书写质量的好坏，也严重影响了最后的效果。整理了当前主流的Prompt写法。其中包括一些Prompt示例，以及一些Prompting的思想。梳理、总结分析了20篇关于Prompt Engineering的论文。

BERT(Bidirectional Encoder Representations from Transformers)是第一个基于Transformer结构的纯Encoder模型，它在提出时横扫了整个NLP界，在流行的GLUE基准上超过了当时所有的最强模型。随后的一系列工作对BERT的预训练目标和架构进行调整以进一步提高性能。目前，纯Encoder模型依然在NLP行业中占据主导地位。

论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

好用的语料设计服务，可一键微调语料设计生成，支持模型：

• OpenAI
• 百度千帆平台
• LLama原生格式

针对教材内容，设计了多轮对话语料，可以定制风格，并且设计了三种对话能力：

• 拉会主题
• 自动纠错
• 单词语法解释

Transformer是2017年Google论文《Attention is All You Need》提出的一种模型结构，颠覆了通过RNN进行序列建模的思路，已被广泛应用于NLP各个领域，如出色的Bert、GPT都是基于Transformer模型。

论文：Attention Is All Your Need

NLP（Nature Language Processing，自然语言处理）是计算机学科及人工智能领域一个重要的子学科，它主要研究计算机如何处理、理解及应用人类语言。所谓自然语言，指人说的话、人写的文章，是人类在长期进化过程中形成的一套复杂的符号系统。

NLP概述

NLP的主要任务

主要可分为两大类：

• 基于现有文本或语料的分析
• 生成新的文本或语料

调研了几种主流的数字人技术，从唇形、表情、动作等方面进行了对比。

将python程序打包为应用程序。pyinstaller将程序代码打包为app，再使用create-dmg将app压缩为磁盘文件，可解压安装。

大模型预训练成本高昂，需要庞大的计算资源和大量的数据资源，一般个人和企业难以承受。为解决这一问题，谷歌率先提出Parameter-Efficient Fine-Tuning (PEFT)技术，旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。其中Lora微调为常用的PEFT技术。