少样本学习
少样本学习（Few-Shot Learning）是一种 提示工程 技术，在提示中包含 2 至 5 个"输入 → 期望输出"的示例，让 LLM 模仿这一模式。它无需任何额外训练，仅靠提示设计就能对齐模型行为，是最实用的方法之一。
少样本学习（Few-Shot Learning）是一种 提示工程 技术，在提示中包含 2 至 5 个"输入 → 期望输出"的示例，让 LLM 模仿这一模式。它无需任何额外训练，仅靠提示设计就能对齐模型行为，是最实用的方法之一。
为什么重要
这一技术在 2020 年 GPT-3 论文《语言模型是少样本学习者》中被系统性地提出，它证明了大型 LLM 在仅看到几个示例后，就能完成从未被明确训练过的任务。在同一任务上，少样本相比零样本的准确率平均高出 20% 至 40%。它是在不进行 微调 的前提下，能获得的最廉价而又有意义的质量提升。
零样本 vs 少样本 vs 微调
零样本（Zero-Shot）：只有指令，没有示例。
"把这句话的情感分类为正面/负面/中性：[句子]"
少样本（Few-Shot）：包含 2 至 5 对示例。
"分类为正面、负面或中性。 示例 1：'真的很棒' → 正面 示例 2：'不适合我' → 负面 示例 3：'还行吧' → 中性 待分类的句子：[新句子]"
微调（Fine-Tuning）：用数百到数千个示例更新模型权重。
| 方面 | 零样本 | 少样本 | 微调 |
|---|---|---|---|
| 准备成本 | 无 | 几分钟 | 数小时到数天 |
| 准确率 | 低 | 中 | 高 |
| Token 消耗 | 低 | 中（示例会撑大提示） | 低（训练完成后） |
| 灵活性 | 即时更改 | 即时更改 | 需要重新训练 |
少样本介于两者之间，对于"大多数需要快速提升质量的生产任务"而言，它是最佳平衡点。
设计有效的少样本示例
覆盖多样的情形：包含正面、负面和边界情形，让模型推断出整体分布。
格式一致：每个示例都必须遵循相同的输入 → 输出格式。格式不一致会损害准确率。
棘手的边界情形：容易的示例会让模型在边界上拿不准。要加入像"看似正面、实则中性"这样微妙的情形。
示例的排序：研究表明排序会影响结果。一个常见的经验法则是把最清晰的示例放在前面，较难的放在后面。
示例的数量：对大多数任务而言，3 至 5 个最为合适。再多通常只会增加 token 成本，且收益递减。
适用场景
分类：按类别自动给客户咨询打标签。
格式转换：JSON 转 Markdown，非结构化文本转 结构化数据。
风格模仿：从少数几个示例中学习一种 品牌语调 或作者的文风。
特定领域的抽取：从合同或论文中拉取特定字段。
翻译调优：定制翻译，使其纳入你的术语表。
局限
浪费上下文：长示例会吃掉 token，缩小有效的 上下文窗口。
不如微调稳定：大批量的重复性任务仍然更适合微调。
现代模型在零样本上更强了：Claude Opus 4.6、GPT-5 等前沿模型已经大幅缩小了零样本的差距，因此少样本的优势比过去要小。很多时候零样本就足够了。
示例质量决定输出：糟糕的示例 → 糟糕的输出。示例设计是质量的核心抓手。
Sources: