#AI科普# 大语言模型（LLM）在进行文本编码（把文字变成计算机能理解的数字表示）时的三种微调方法。

1. 不微调（No Fine-tuning）

怎么做
直接把句子输入大语言模型，输出最后一层的结果，拿来用就行了。

特点
模型直接用，没有针对你的任务进行优化。只用最后一行结果（其他没用上）。

场景
适合快速试用、简单任务。

2. 微调模型用于调整大小或专用化（Fine-tuning for Resizing or Specialization）

怎么做
先把文本输入模型，得到编码，再加一个 “文本编码头”（text encoding head）把编码变成你需要的格式或大小。

然后呢
用你的任务（比如分类）来训练这个 “文本编码头”，模型会根据你的数据不断调整，让输出更适合你的任务。

特点
可以微调模型，让它对你的任务表现更好。支持自定义输出的大小。

场景
需要模型对某个任务更专业时，比如文本分类。

3. 用 RAG 做问答微调（Fine-tuning for Question Answering with RAG）

怎么做
输入 “问题” 和 “答案” 到模型里，分别得到它们的编码。

然后呢
比较这两个编码的相似度（用点积），让模型输出的编码能把正确的问答配对得更接近。

特点
适合做问答或检索任务。训练过程中让 “相关问题和答案” 编码更接近。

场景
用于智能问答、知识检索等。

总结
1. 不微调： 直接用，简单但不专用。
2. 微调输出或专用化： 适合分类、定制任务。
3. RAG 问答微调： 适合做智能问答，让相关问题和答案更容易匹配。

#AI技术[超话]##模型微调##AI创造营#