Guardrails
Guardrails sind die Regeln, Filter und Validierungsschichten, die um ein LLM herum aufgebaut werden, um seine Eingaben und Ausgaben sicher, themenbezogen und richtlinienkonform zu halten. Sie sitzen zwischen dem Nutzer und dem Modell sowie zwischen dem Modell und nachgelagerten Systemen und fangen Probleme ab, die das Modell selbst erzeugen könnte.
Guardrails sind die Regeln, Filter und Validierungsschichten, die um ein LLM herum aufgebaut werden, um seine Eingaben und Ausgaben sicher, themenbezogen und richtlinienkonform zu halten. Sie sitzen zwischen dem Nutzer und dem Modell sowie zwischen dem Modell und nachgelagerten Systemen und fangen Probleme ab, die das Modell selbst erzeugen könnte.
Warum es wichtig ist
Basis-LLMs beantworten bereitwillig themenfremde Fragen, produzieren bei feindseligen Prompts toxische Inhalte, geben Prompt-Anweisungen preis und liefern fehlerhafte Daten. Eine LLM-Funktion ohne Guardrails auszuliefern bedeutet, diese Fehlerquellen an die Nutzer auszuliefern. Jedes produktive LLM-System im großen Maßstab, ChatGPT, Claude, Gemini und Unternehmenseinsätze, betreibt mehrschichtige Guardrails, und Frameworks wie NVIDIA NeMo Guardrails, Guardrails AI und die Constitutional AI von LangChain sind zur Standardinfrastruktur geworden.
Arten von Guardrails
Eingabe-Guardrails: Validieren die Nutzereingabe, bevor sie das Modell erreicht.
- Versuche von Prompt Injection abweisen
- Personenbezogene Daten (PII) blockieren
- Toxische oder themenfremde Fragen filtern
- Rate-Limit pro Nutzer
Ausgabe-Guardrails: Validieren die Modellausgabe, bevor sie zurückgegeben wird.
- Halluzinierte Fakten gegen eine Quelle prüfen
- Unzulässige Inhalte blockieren (Gewalt, Selbstverletzung, illegale Ratschläge)
- Format erzwingen (JSON-Schema, maximale Länge)
- Auf preisgegebenen System-Prompt oder interne Anweisungen scannen
Thematische Guardrails: Halten den Assistenten im vorgesehenen Rahmen.
- Ein Kundensupport-Bot weigert sich, über Politik zu sprechen
- Ein Coding-Assistent weigert sich, Schadsoftware zu schreiben
- Üblicherweise umgesetzt als "bei Themenfremdheit mit einer vorgefertigten Umleitung antworten"
Verhaltens-Guardrails: Stil- und Tonregeln.
- Markenstimme wahren
- Niemals Versprechen machen, die das Produkt nicht halten kann
- In der Sprache des Nutzers antworten
Wie sie umgesetzt werden
Regelbasierte Filter: Regex, Sperrlisten und Klassifikatoren, schnell und deterministisch.
LLM-basierte Klassifikatoren: Ein kleines, schnelles Modell (Claude Haiku, GPT-4o-mini) beurteilt, ob eine bestimmte Eingabe/Ausgabe gegen die Richtlinien verstößt. Höhere Trefferquote als Regex, fügt aber Latenz hinzu.
Strukturierte Ausgabe + Schema-Validierung: Macht bestimmte Fehlerquellen konstruktionsbedingt unmöglich. Siehe den Eintrag zu strukturierter Ausgabe.
Constitutional AI / Selbstkritik: Das Modell überprüft und überarbeitet seine eigene Ausgabe anhand einer schriftlichen Reihe von Prinzipien, bevor es antwortet.
Hybrid: Die meisten produktiven Systeme schichten mehrere Ansätze, zuerst günstiges Regex, dann LLM-Klassifikatoren für mehrdeutige Fälle.
Abwägungen
Latenz: Jeder Guardrail kostet Zeit. Eingabe- plus Ausgabe-Guardrails können die Umlaufzeit verdoppeln.
Falsch positive Ergebnisse: Zu streng eingestellte Guardrails weisen legitime Anfragen ab und frustrieren Nutzer.
Falsch negative Ergebnisse: Zu lax eingestellte Guardrails übersehen echte Richtlinienverstöße.
Kosten: LLM-basierte Guardrails verdoppeln oder verdreifachen die Inferenzkosten für geschützte Endpunkte.
Wartung: Guardrails verlieren an Wirksamkeit, sobald sich Angreifer anpassen. Rechnen Sie mit laufender Feinabstimmung.
Häufige Fehler
Sich nur auf den System-Prompt verlassen: System-Prompts lassen sich per Jailbreak umgehen. Echte Guardrails sitzen außerhalb des Modells.
Nur die Ausgabe absichern: Eingabe-Guardrails fangen Prompt Injection ab, bevor sie das Gespräch vergiftet.
Binäre Ablehnung: "Damit kann ich nicht helfen" zerstört die Nutzererfahrung. Eine gute Ablehnung leitet auf etwas Nützliches um.
Kein Logging: Sie können nicht abstimmen, was Sie nicht sehen. Protokollieren Sie jede Guardrail-Auslösung zur Überprüfung.
Einmalige Feinabstimmung: Bedrohungsmodelle ändern sich monatlich. Guardrails benötigen einen Überprüfungsrhythmus.
Quellen: