Prompts verwalten wie Code: unser Workflow
Versionierung, Reviews, Tests — Prompts sind kritische Geschäftslogik.
von Vernes Perviz
Prompts sind nicht 'Strings'
Ein Prompt entscheidet, wie Ihr Agent klingt, was er darf, wann er eskaliert. Das ist Geschäftslogik. Trotzdem leben Prompts oft als Copy-Paste in einem Notion-Doc oder direkt im Admin-UI hardcoded.
Unser Setup:
1. Prompts in Git
Jeder Agent hat ein eigenes Verzeichnis mit system.md, examples.json, tools.yaml. Änderungen gehen über Pull Request, mit Review.
2. Prompt-Linting
Wir checken automatisch: Länge, Variablen-Kohärenz (alle {customer_name} sind im Schema), keine API-Keys, keine PII-Beispiele.
3. Prompt-Tests
Für jeden Prompt haben wir 20–50 Test-Konversationen. Bei jeder PR laufen die durch und vergleichen gegen Goldstandard-Antworten. LLM-as-Judge bewertet Tonfall + Korrektheit.
4. Canary Deployment
Neue Prompt-Version geht erst auf 10% des Traffics. Quality-Score wird live gemessen. Sinkt er um >5%, automatisches Rollback.
5. A/B-Testing eingebaut
Wir können zwei Prompt-Varianten parallel laufen lassen und Conversion-Metriken (Lead-Qualität, Eskalations-Rate, NPS) vergleichen. Wer gewinnt, bleibt.
Tools
Wir nutzen PromptLayer, aber unser eigenes Setup mit Git + GitHub Actions reicht für die meisten Use Cases. Wenn Sie das selbst aufbauen wollen, schreiben Sie uns — wir teilen das Template.