Chain-of-Thought
Chain-of-Thought (CoT) ist eine Prompting-Technik, die ein LLM dazu bringt, vor seiner endgültigen Antwort einen schrittweisen Argumentationsprozess zu erzeugen. Von Wei et al. bei Google Research im Jahr 2022 formalisiert, ist sie zur Standardtechnik geworden, um die Genauigkeit von LLMs bei komplexen Argumentationsaufgaben zu steigern.
Chain-of-Thought (CoT) ist eine Prompting-Technik, die ein LLM dazu bringt, vor seiner endgültigen Antwort einen schrittweisen Argumentationsprozess zu erzeugen. Von Wei et al. bei Google Research im Jahr 2022 formalisiert, ist sie zur Standardtechnik geworden, um die Genauigkeit von LLMs bei komplexen Argumentationsaufgaben zu steigern.
Warum es wichtig ist
Frühe LLMs hatten Mühe mit Arithmetik, Logik und mehrstufigem Schlussfolgern. In der ursprünglichen Wei-Arbeit löste PaLM 540B mit einfachem Prompting nur 17,9 % der Aufgaben des Grundschul-Mathematik-Benchmarks GSM8K, mit Chain-of-Thought jedoch 56,9 %. Dasselbe Modell, dieselben Fragen, eine 2- bis 3-mal bessere Genauigkeit, einfach indem man dem Modell "Raum zum Nachdenken" gibt. Seitdem haben Claude, GPT und Gemini CoT alle als zentrales Prompting-Muster verinnerlicht.
Wie es funktioniert
Die Kernidee von CoT besteht darin, das LLM seine Argumentation zuerst ausschreiben und dann die Schlussfolgerung formulieren zu lassen, statt direkt zu einer Antwort zu springen. Da Transformer jedes Token auf die vorherigen Tokens bedingen, bringt das Ausgeben von Zwischenüberlegungen diesen Inhalt in den Kontext und steigert die Qualität der endgültigen Antwort. Mehr "Denk-Tokens" geben dem Modell mehr "Argumentationsraum".
Wichtigste Varianten
Zero-Shot CoT: Fügen Sie eine einzige Zeile wie "Lass uns Schritt für Schritt denken" hinzu, ohne Beispiele. Von Kojima et al. im Jahr 2022 vorgeschlagen, ist es die einfachste und überraschend wirksame Form.
Few-Shot CoT: Nehmen Sie 2 bis 3 Beispielaufgaben mit ihrer schrittweisen Argumentation in den Prompt auf, damit das Modell die Struktur nachahmt.
Self-Consistency: Sampeln Sie mehrere CoT-Antworten zur selben Frage und wählen Sie die häufigste endgültige Schlussfolgerung, also eine "Abstimmung" über Argumentationspfade, genauer als ein einzelnes CoT.
Tree of Thoughts (ToT): Erkunden Sie die Argumentation als Baum statt als Linie und erweitern Sie nur hoch bewertete Zweige. Gut für komplexe Planung und Rätsel.
ReAct: Reasoning + Acting. Kombiniert CoT mit Werkzeugaufrufen in einer Schleife aus "denken → handeln → beobachten → erneut denken". Das Standard-Prompting-Muster für KI-Agenten.
Wann CoT hilft
CoT hilft nicht bei allen Aufgaben gleichermaßen.
Sehr wirksam: Mathematik, Logikrätsel, mehrstufiges Schlussfolgern, komplexe Entscheidungsfindung, Code-Debugging.
Weniger wirksam: Einfache Klassifizierung, Stimmungsanalyse, Zusammenfassung und Übersetzung, bei denen die Antwort bereits unmittelbar vorliegt und CoT meist nur Latenz hinzufügt.
Trend 2026: Spitzenmodelle bringen inzwischen eingebaute "Reasoning-Modi" mit (OpenAI o1, Claude Opus Extended Thinking), die CoT automatisch ausführen, sodass Nutzer keine CoT-Prompts mehr manuell schreiben müssen. Die Aufmerksamkeit verlagert sich auf andere qualitätssteigernde Hinweise.
GEO-Auswirkungen
CoT ist keine Technik, die Content-Autoren direkt anwenden, aber sie prägt, welche Inhalte LLMs am leichtesten zitieren. Wenn ein Blogbeitrag komplexe Konzepte mit ausdrücklicher schrittweiser Logik durchgeht, fällt es LLMs leichter, diesen Abschnitt als Grounding für ihre eigene Argumentation zu verwenden. Erklärungen, die aufschlüsseln, "warum dies folgt", schlagen einzeilige Schlussfolgerungen, wenn die AI-Suche auswählt, was sie zitiert.
Sources: