Evals, die wirklich funktionieren

Ein Eval ist nur eine Funktion: mache aus dem Output des Modells eine Zahl, die du mitteln und trenden kannst.

Halte Goldens klein und scharf#

type Case = { input: string; expected: string; rubric?: (out: string) => Score };

Zehn scharfe Fälle schlagen tausend unscharfe. Ein Fall, der nie ein Run rot oder grün dreht, ist Ballast.

Lass sie bei jedem Commit laufen#

Schnell, deterministisch und im Repo versioniert. Flakys bringen dir bei, Fehler zu ignorieren.

Weiterführend in der AI Engineering for Builders-Serie: dieser Post ist das tl;dr — die tiefe Version mit Eval-Pipeline, AI-as-Judge und Modell-Auswahl steht in Teil 3 — Evaluation First. Starte am Anfang mit Teil 1 — Das AI-Engineering-Mentalmodell.