
我为 20 种语言的 RAG 微调了 0.8B LLM:准确率从 74% 提升到 94%,CPU 上每题 7 秒
我想要一个能在 CPU 上运行的多语言 RAG 模型:输入一段文章并提问后,它能从文章中作答;如果文章中没有答案,就不瞎编,而是明确说“没有答案”。于是我基于 Qwen3.5 的 0.8B(8 亿参数)进行了微调,覆盖 20 种语言。
先说结论。
- 准确率从 73.8% → 93.8%。 以仅五分之一的体积,逼近了未经微调的 Qwen3-4B(94.7%),只差 1 个百分点
- 最大的改善是修正了“瞎编”。 原始 0.8B 在面对没有答案的长文章时,接近四成情况下仍会编出一个答案
- CPU 上每题 7 秒。 包括阅读约 2,500 token 的文章并作答;4B 则需要 60 秒
- 没能超过 95%。 无论调整学习率、训练轮数还是数据量,结果都停留在 94% 左右;看起来是 0.8B 体量的上限
如何衡量
我从 20 种语言(日语、英语、中文、克罗地亚语、印地语等)的 Wikipedia 中制作了题目。每道题提供 4 种文章,让模型作答。
- 段落:包含答案的短段落
- 长上下文:把包含答案的段落混入无关文章后构成的数千 token 长文
- 无答案(短、长):不包含答案的文章;能明确说“没有答案”即为正确
这四项的平均值称为“准确率”。题目生成与评分使用 Qwen3-32B。为确认评分不会偏向 Qwen,我还用不同系列的 gpt-oss-120b 重新评分,差异在 0.5 分以内。
此外,我也用不同类型的题目进行了验证。
- XQuAD:人工撰写问题的 8 种语言版本
- hr0:此前用另一模型制作的克罗地亚语测试集
因为若只用与训练数据采用相同方式制作的题目,就无法分辨模型究竟是提升了能力,还是仅仅熟悉了这种题型。
原始 0.8B 在没有答案时会编故事
对未经微调的 Qwen3.5-0.8B 测试后,结果如下(20 种语言平均)。
| 段落 | 长上下文 | 无答案短文 | 无答案长文 |
|---|---|---|---|
| 68.9 | 71.0 | 87.9 | 63.2 |
给它一篇没有答案的长文章时,它接近四成情况下仍会给出某种答案。印地语甚至只有 15 分。对于 RAG 来说,这是个大问题。
我尝试的做法
训练使用的是在 vast.ai 租用的 RTX PRO 6000(96GB)。
1. 用 20 种语言的 RAG 数据进行 LoRA
训练数据为 20 种语言 × 每种 500 道题。为每道题配上 4 种文章后,共得到 18,025 个样本。正确答案均为一句话;没有答案时,则使用该语言中表示“没有答案”的固定表达。
使用 LoRA(rank 64)训练 1 轮,耗时 1.7 小时。
| 段落 | 长上下文 | 无答案短文 | 无答案长文 | |
|---|---|---|---|---|
| 原始 0.8B | 68.9 | 71.0 | 87.9 | 63.2 |
| LoRA 后 | 91.7 | 89.0 | 98.4 | 93.4 |
仅此一项就带来了显著提升。无答案长文从 63 → 93,瞎编问题几乎被解决。
顺带一提,我此前先在 2B 上做过测试:即使只用 3 种语言(克罗地亚语、德语、土耳其语)训练,20 种语言的表现全部都有提升。原始模型的弱点似乎不在知识量或阅读理解能力,而在于是否养成了“按指示回答或拒答”的习惯。
2. 面对人工撰写的问题,会过早拒答
用人工撰写问题的 XQuAD 测试时,发现不少明明有答案的题目,模型却回答“没有答案”。
例如,问题问“转子的别称是什么?”,段落里只写着“旋转的圆盘”。这类问题中,提问和段落的措辞不同,模型就会拒答。
原因出在训练数据上。生成问题的 Qwen3-32B 往往直接沿用段落里的措辞,因此模型似乎学成了“找不到相同词语就拒答”。
为此,我让 gpt-oss-120b 为每种语言额外生成 400 道风格不同的数据。
- 与段落措辞不同的问题
- 类似搜索结果、断断续续的片段
- 相关却不含答案的、容易混淆的文章
- 1K~8K token 的长上下文
这样一来,XQuAD 的段落题从 79.6 → 83.6,长上下文题从 75.5 → 79.2。此次真正有效的改进,基本就是这一项。
另外,从这一步开始,我不再使用 LoRA,而是训练全部参数。使用相同数据时,两种方式的结果几乎没有差别。
3. 没有效果的尝试
| 尝试 | 结果 |
|---|---|
| 将学习率提高 3 倍(1e-5 → 3e-5) | 验证 loss 明显恶化,因此提前停止 |
| 训练 2 轮 | 验证 loss 虽然下降,但准确率不变;XQuAD 还略有下降 |
| 将风格不同的数据加倍 | 自制题目 +0.1;XQuAD 和 hr0 反而下降 |
| 加入人工撰写问题(SQuAD、TyDi QA) | 适得其反。 XQuAD 的无答案长文从 99.8 → 91.2 |
原以为人工撰写的问题会有帮助,结果恰恰相反。XQuAD 是从 SQuAD 的段落构建而来,因此用 SQuAD 训练后,模型似乎学成了“像 SQuAD 的段落就一定有答案”。和评测过于接近的数据很危险。
4. Q4 量化会下降 1 分
为了在 CPU 上运行,我将模型转换为 llama.cpp 的 GGUF 格式并量化。
2B 即使使用 Q4_K_M 也几乎没有下降,但 0.8B 大约下降了 1 分。模型越小,对量化越敏感。换用 Q6_K 或 Q8_0 后分数恢复,克罗地亚语题目最高达到 95.4。
结果
我将最终版 0.8B 与原始模型及更大的模型进行了比较。所有结果均为上述 4 种题型的平均值;0.8B 和 2B 均采用适合 CPU 使用的 Q4_K_M 格式。
| 模型 | 体积 | 20 种语言题目 | XQuAD(人工撰写问题) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B(原始) | — | 73.8 | 74.8 | 72.7 |
| 0.8B(微调后) | 0.67GB | 93.8 | 89.9 | 90.0 |
| 2B(以相同方法微调) | 1.56GB | 96.4 | 92.4 | 93.5 |
| Qwen3-4B-Instruct-2507(未经微调) | 2.3GB | 94.7 | 94.0 | 91.2 |
- 0.8B 提升了 20 分,距离 4B 只差 1 分。 使用 2B 则能超过 4B
- 在人工撰写问题(XQuAD)上,仍比 4B 低 4 分。 对不同措辞问题的弱点尚未完全解决
- 0.8B 答错的问题中,有 64% 会被 2B 答对。 剩下的应当是模型体量的限制;若优先追求准确性,应选 2B
速度(笔记本电脑 CPU)
i7-11800H 使用 8 线程测试。由于这台笔记本长时间运行后频率会降至约一半,因此数字偏慢。
| 文章读取(4K token) | 生成 | 每道长上下文题 | |
|---|---|---|---|
| 0.8B | 314 tok/s | 53 tok/s | 约 7 秒 |
| 2B | 97 tok/s | 21 tok/s | 约 25 秒 |
| 4B | 42 tok/s | 11 tok/s | 约 60 秒 |
如果只处理段落,不到 1 秒即可完成。
成本
在 vast.ai 上总共花费约 75 美元,其中也包含 2B 的训练和为评测制作数据的费用。
总结
- 即使是 0.8B,只要针对 RAG 进行微调,准确率也能达到约 94%。尤其是在没有答案时瞎编的问题,几乎可以解决
- 真正有效的是增加训练数据的“类型”;数据量、训练轮数和学习率都没有显著作用
- 追求准确性选 2B,追求速度选 0.8B。我认为两者都比未经微调的 4B 更实用



