Apprentissage few-shot
L'apprentissage few-shot est la technique de prompt engineering consistant à inclure 2 à 5 exemples « entrée → sortie souhaitée » dans le prompt pour que le LLM en imite le schéma. Sans entraînement supplémentaire, c'est l'un des moyens les plus pratiques d'aligner le comportement du modèle uniquement par la conception du prompt.
L'apprentissage few-shot est la technique de prompt engineering consistant à inclure 2 à 5 exemples « entrée → sortie souhaitée » dans le prompt pour que le LLM en imite le schéma. Sans entraînement supplémentaire, c'est l'un des moyens les plus pratiques d'aligner le comportement du modèle uniquement par la conception du prompt.
Pourquoi c'est important
Introduite de manière systématique dans l'article de 2020 sur GPT-3, « Language Models are Few-Shot Learners », la technique a démontré que de grands LLM pouvaient accomplir des tâches pour lesquelles ils n'avaient jamais été explicitement entraînés après avoir vu seulement quelques exemples. La précision sur une même tâche est en moyenne 20 à 40 % supérieure en few-shot par rapport au zero-shot. C'est l'amélioration de qualité significative la moins coûteuse disponible sans fine-tuning.
Zero-Shot vs Few-Shot vs Fine-Tuning
Zero-Shot : instructions uniquement, sans exemple.
« Classez le sentiment de cette phrase comme positif/négatif/neutre : [phrase] »
Few-Shot : 2 à 5 paires d'exemples incluses.
« Classez comme positif, négatif ou neutre. Exemple 1 : "C'était vraiment génial" → positif Exemple 2 : "Ce n'est pas pour moi" → négatif Exemple 3 : "C'était correct" → neutre Phrase à classer : [nouvelle phrase] »
Fine-Tuning : mise à jour des poids du modèle avec des centaines à des milliers d'exemples.
| Aspect | Zero-Shot | Few-Shot | Fine-Tuning |
|---|---|---|---|
| Coût de mise en place | Aucun | Quelques minutes | Heures à jours |
| Précision | Faible | Moyenne | Élevée |
| Consommation de tokens | Faible | Moyenne (les exemples gonflent le prompt) | Faible (après entraînement) |
| Flexibilité | Modification instantanée | Modification instantanée | Nécessite un réentraînement |
Le few-shot se situe entre les deux, et c'est le point idéal pour « la plupart des tâches de production qui nécessitent un gain de qualité rapide ».
Concevoir des exemples few-shot efficaces
Couvrez des cas variés : incluez des cas positifs, négatifs et limites pour que le modèle infère la distribution.
Format cohérent : chaque exemple doit suivre le même format entrée → sortie. Des formats incohérents nuisent à la précision.
Cas limites difficiles : les exemples faciles laissent le modèle incertain aux frontières. Incluez des cas subtils comme « semble positif mais est en réalité neutre ».
Ordre des exemples : la recherche montre que l'ordre influe sur les résultats. Une heuristique courante consiste à placer les exemples les plus clairs en premier, puis les plus difficiles.
Nombre d'exemples : 3 à 5 est optimal pour la plupart des tâches. Davantage ajoute généralement un coût en tokens pour des gains décroissants.
Bons cas d'usage
Classification : étiquetage automatique des demandes clients par catégorie.
Conversion de format : JSON vers Markdown, texte non structuré vers données structurées.
Imitation de style : apprendre une voix de marque ou la prose d'un auteur à partir d'une poignée d'exemples.
Extraction propre à un domaine : extraire des champs précis de contrats ou d'articles.
Réglage de la traduction : personnaliser la traduction pour inclure votre glossaire.
Limites
Gaspillage de contexte : les longs exemples consomment des tokens et réduisent la fenêtre de contexte effective.
Moins cohérent que le fine-tuning : les tâches répétitives à fort volume favorisent toujours le fine-tuning.
Les modèles modernes sont meilleurs en zero-shot : Claude Opus 4.6, GPT-5 et autres modèles de pointe comblent une grande partie de l'écart zero-shot, si bien que l'avantage du few-shot est plus faible qu'auparavant. Souvent, le zero-shot suffit.
La qualité des exemples détermine la sortie : de mauvais exemples → de mauvaises sorties. La conception des exemples est le levier de qualité central.
Sources :