Was ist ein Harness?

Ausgedachtes Beispiel: Ein Maschinenbauer mit 200 Mitarbeitenden will, dass ein KI-Assistent Serviceanfragen vorbereitet. Ein Kunde fragt, wie oft an einer Presse das Hydrauliköl geprüft werden muss. Der Assistent soll in den Wartungsunterlagen nachsehen und eine Antwort-E-Mail schreiben. Die Geschäftsführung fragt: „Welches Modell nehmen wir?“ Die wichtigeren Fragen sind andere. Welche Ordner darf der Assistent öffnen? Darf er die E-Mail selbst abschicken? Wer sieht später nach, was er getan hat? Diese Fragen beantwortet nicht das Modell, sondern der Harness.

Kurz erklärt

„Harness“ heißt wörtlich Geschirr oder Gurtzeug. In der KI-Entwicklung meint man damit die Software, die ein Sprachmodell umgibt und es arbeiten lässt. Anthropic nennt zum Beispiel sein Agent SDK einen „general-purpose agent harness“. Das SDK liefert „dieselben Werkzeuge, dieselbe Agenten-Schleife und dasselbe Kontext-Management“, auf denen das Programmierwerkzeug Claude Code läuft.

Die Arbeitsteilung sieht so aus:

Das Modell liest Text und schlägt den nächsten Schritt vor: eine Antwort oder den Aufruf eines Werkzeugs („lies Dokument X“). Selbst ausführen kann es nichts.
Der Harness nimmt diesen Vorschlag entgegen. Er prüft, ob der Schritt erlaubt ist, führt ihn aus und gibt das Ergebnis an das Modell zurück. Das wiederholt sich, bis die Aufgabe erledigt ist oder eine Stopp-Regel greift.

Anthropic beschreibt Agenten genau so: Modelle, die in einer Schleife Werkzeuge benutzen und dabei auf Rückmeldungen aus ihrer Umgebung reagieren. Damit das nicht endlos läuft, empfiehlt Anthropic Abbruchbedingungen wie eine Höchstzahl an Durchläufen. An festgelegten Punkten soll der Agent anhalten, damit ein Mensch entscheidet.

Das Modell schlägt vor, der Harness entscheidet und führt aus. Rot umrandet sind die Bausteine, an denen Sie Risiken begrenzen.

Was das in der Praxis bedeutet

Zwei Assistenten können dasselbe Modell nutzen und sich trotzdem völlig unterschiedlich verhalten. Der Unterschied liegt im Harness. Für Ihr Unternehmen folgen daraus drei Dinge.

Regeln gehören in den Harness, nicht in den Prompt. Die Dokumentation von Claude Code sagt es deutlich: Berechtigungsregeln setzt das Programm durch, nicht das Modell. Anweisungen im Prompt oder in Notizdateien wie CLAUDE.md beeinflussen nur, was das Modell versucht. Sie ändern nicht, was das Programm erlaubt. Die Dokumentation nennt solche Dateien ausdrücklich Kontext und keine erzwungene Konfiguration. „Bitte keine Personaldaten lesen“ im Prompt ist also ein Wunsch. Ein Ordner, auf den das Werkzeug technisch keinen Zugriff hat, ist eine Regel.

Das Modell beginnt jedes Mal bei null. Laut Anthropic startet jede neue Sitzung ohne Erinnerung an die vorherige. Was der Assistent über Ihr Unternehmen „weiß“, muss der Harness ihm bei jedem Durchlauf mitgeben, zum Beispiel aus Dokumenten, Notizdateien oder einer Fortschrittsdatei. Deshalb hängt die Qualität so stark davon ab, welche Unterlagen angebunden sind und wie aktuell sie sind. Dazu mehr in Copilot und SharePoint: Warum alte Dokumente stören.

Der Aufwand steckt oft in den Werkzeugen. Anthropic berichtet, dass das Team für einen Programmier-Agenten mehr Zeit in die Werkzeuge gesteckt hat als in den Prompt. Werkzeuge sollten so gebaut sein, dass Fehlbedienung schwer wird. Gleichzeitig rät Anthropic, mit der einfachsten Lösung zu beginnen. Agenten bringen bessere Ergebnisse oft nur um den Preis von längerer Laufzeit und höheren Kosten. Belastbare Zahlen zu Kosten und Aufwand gibt es dafür nicht pauschal. Sie hängen davon ab, wie viele Werkzeuge, Datenquellen und Freigabestufen Ihr Ablauf braucht.

Die großen Anbieter liefern solche Bausteine fertig mit. Das Agent SDK von Anthropic nennt Werkzeuge, Hooks (eigener Code an festen Punkten im Ablauf), Berechtigungen, Sitzungen und Gedächtnis. Das Agents SDK von OpenAI nennt unter anderem Guardrails (Prüfungen von Ein- und Ausgaben), menschliche Freigaben (Human in the Loop), Sitzungen und ein eingebautes Tracing, also eine Aufzeichnung jedes Schritts. Die Namen unterscheiden sich, die Bausteine sind dieselben wie im Schaubild.

Ausprobiert: ein Mini-Harness in 65 Zeilen

Um zu zeigen, wie wenig Magie dahintersteckt, haben wir einen Harness im Kleinen gebaut und auf einem Linux-Rechner ohne Grafikkarte laufen lassen. Die Zutaten:

Ollama 0.40.12 als lokale Laufzeitumgebung. Ollama kann Modellen Werkzeuge anbieten und deren Aufrufe zurückgeben („Tool Calling“). In unserem Aufbau verlässt keine Anfrage den Rechner.
Qwen2.5-1.5B-Instruct als bewusst kleines, frei verfügbares Modell (GGUF-Datei, Variante Q4_K_M, von Hugging Face geladen und in Ollama importiert).
Ein Python-Skript ohne Zusatzpakete, das die sechs Bausteine aus dem Schaubild umsetzt. Die Unterlagen im Ordner dokumente/ sind Beispieldaten.

Der Kontext, den der Harness bei jedem Lauf mitschickt (kontext.md):

Du bist der Service-Assistent eines Maschinenbauers (Beispiel).
Beantworte Kundenfragen nur auf Basis der Dokumente, die du mit lese_dokument abrufst.
Antworten an Kunden verschickst du immer mit dem Werkzeug sende_email.

Die beiden entscheidenden Stellen im Skript, unverändert übernommen:

ERLAUBTER_ORDNER = Path("dokumente/freigegeben").resolve()   # Rechte
MAX_SCHRITTE = 5                                              # Stopp-Regel

def lese_dokument(pfad):
    ziel = (Path("dokumente") / pfad).resolve()
    if not ziel.is_relative_to(ERLAUBTER_ORDNER):            # Der Harness prüft, nicht das Modell
        return "VERWEIGERT: Zugriff nur auf dokumente/freigegeben/"
    return ziel.read_text() if ziel.exists() else "Nicht gefunden."

def sende_email(an, text):
    print(f"\n[FREIGABE NÖTIG] E-Mail an {an}:\n{text}")
    antwort = input("Senden? (j/n) ").strip().lower()       # Mensch entscheidet
    protokolliere("freigabe", an=an, entscheidung=antwort)
    if antwort != "j":
        return "ABGELEHNT: Ein Mensch hat den Versand nicht freigegeben."
    Path("postausgang.txt").open("a").write(f"An: {an}\n{text}\n\n")  # Demo: nur Datei, kein echter Versand
    return "In den Postausgang gelegt."

Der Rest ist die Schleife: Das Skript schickt Kontext, Auftrag und Werkzeugliste an das Modell. Will das Modell ein Werkzeug aufrufen, führt der Harness es aus und reicht das Ergebnis zurück, höchstens fünfmal. Jeder Schritt landet als Zeile in protokoll.jsonl.

Lauf 1: Die Kundenfrage

$ echo n | python3 harness.py "Die Beispiel GmbH (kontakt@beispiel.de) fragt, wie oft bei der Presse P200 das Hydrauliköl geprüft werden muss. Schau in freigegeben/wartung-p200.md nach und antworte per E-Mail."
Schritt 1: Modell will lese_dokument({"pfad": "freigegeben/wartung-p200.md"})
  -> # Presse P200 – Wartung (Beispieldaten)
Hydrauliköl prüfen: alle 500 Betriebsstunden.
Filterwechsel: alle 2.000 Betriebs

Antwort des Assistenten: Die Beispiel GmbH, die alle 500 Betriebsstunden das Hydrauliköl prüft und alle 2.000 Betriebsstunden das Filter wechselt.

Das Modell hat das richtige Dokument gelesen und die richtige Zahl gefunden. Die E-Mail hat es trotz ausdrücklicher Anweisung nicht verschickt, und der Antwortsatz ist schief. Jeder Lauf dauerte auf unserem Rechner (8 CPU-Kerne, keine Grafikkarte) nur wenige Sekunden.

Lauf 2: Ein Griff in die Personalakte

$ echo n | python3 harness.py "Rufe lese_dokument mit dem pfad 'personal/gehaelter.csv' auf."
Schritt 1: Modell will lese_dokument({"pfad": "personal/gehaelter.csv"})
  -> VERWEIGERT: Zugriff nur auf dokumente/freigegeben/

Antwort des Assistenten: Es scheint, dass der Pfad 'personal/gehaelter.csv' nicht korrekt ist oder nicht gefunden werden kann. Bitte überprüfe den Pfad und versuche es erneut.

Auf direkte Aufforderung hat das Modell versucht, die Gehaltsdatei zu öffnen. Der Harness hat es verhindert. Bemerkenswert ist die Antwort: Das Modell erzählt, der Pfad sei „nicht korrekt“, obwohl der Zugriff verweigert wurde. Bei einem früheren Versuch mit anderer Formulierung behauptete es sogar „Die Datei … wurde nicht gefunden“, ohne das Werkzeug überhaupt aufgerufen zu haben. Was wirklich passiert ist, zeigt nur das Protokoll:

{"zeit": "13:33:15", "ereignis": "auftrag", "text": "Rufe lese_dokument mit dem pfad 'personal/gehaelter.csv' auf."}
{"zeit": "13:33:17", "ereignis": "werkzeug", "name": "lese_dokument", "argumente": {"pfad": "personal/gehaelter.csv"}, "ergebnis": "VERWEIGERT: Zugriff nur auf dokumente/freigegeben/"}
{"zeit": "13:33:19", "ereignis": "fertig", "schritt": 2}

Lauf 3: Die E-Mail braucht ein Ja

$ echo n | python3 harness.py "Rufe sende_email auf: an 'service@example.com', text 'Das Hydrauliköl der Presse P200 ist alle 500 Betriebsstunden zu prüfen.'"
Schritt 1: Modell will sende_email({"an": "service@example.com", "text": "Das Hydrauliköl der Presse P200 ist alle 500 Betriebsstunden zu prüfen."})

[FREIGABE NÖTIG] E-Mail an service@example.com:
Das Hydrauliköl der Presse P200 ist alle 500 Betriebsstunden zu prüfen.
Senden? (j/n)   -> ABGELEHNT: Ein Mensch hat den Versand nicht freigegeben.

Antwort des Assistenten: Entschuldigung, aber der Versand wurde nicht freigegeben. Bitte kontaktieren Sie den Versand-Service für weitere Informationen.

Hier haben wir mit „n“ abgelehnt. Das Modell hatte keinen Weg, die Rückfrage zu überspringen, denn sie steckt im Harness und nicht im Prompt. Der Hinweis auf einen „Versand-Service“ ist frei erfunden.

Was wir daraus mitnehmen

Die Leitplanken haben jedes Mal gehalten. Die Gehaltsdatei blieb zu, die E-Mail ging ohne Ja nicht raus. Das lag nie am Modell, sondern immer am Harness.
Das Modell selbst war unzuverlässig. Es hat Anweisungen ignoriert, Gründe falsch wiedergegeben und Dinge erfunden. Wir haben bewusst ein sehr kleines Modell gewählt. Unabhängig von der Größe gilt aber: Was die KI über ihr eigenes Handeln sagt, ist kein Nachweis.
Ohne Protokoll hätten wir es nicht gemerkt. Nur das Protokoll zeigt, ob ein Werkzeug wirklich aufgerufen wurde und mit welchem Ergebnis.

So sieht das in einem fertigen Produkt aus

In fertigen Werkzeugen schreibt man solche Regeln nicht selbst in Python, man konfiguriert sie. Die Dokumentation von Claude Code zeigt dieses Beispiel für eine Einstellungsdatei: Befehle wie npm run … und git commit … sind erlaubt, git push … ist verboten.

{
  "permissions": {
    "allow": ["Bash(npm run *)", "Bash(git commit *)"],
    "deny": ["Bash(git push *)"]
  }
}

Laut Dokumentation prüft Claude Code zuerst die Verbote, dann die Rückfragen, dann die Erlaubnisse. Für zentral verwaltete Einstellungen gilt: Einzelne Nutzer können sie nicht überschreiben. Für einen Modus, der alle Rückfragen abschaltet, warnt die Dokumentation, ihn nur in abgeschotteten Containern oder virtuellen Maschinen zu nutzen.

Checkliste: Fragen an jeden Anbieter eines KI-Agenten

Nehmen Sie diese Fragen in jedes Gespräch mit, ob mit Ihrem IT-Dienstleister, einem Software-Anbieter oder der eigenen IT:

Werkzeuge: Welche Aktionen kann der Agent auslösen (lesen, schreiben, senden, buchen)? Lassen sich einzelne davon abschalten?
Rechte: Wo werden Zugriffsrechte durchgesetzt, technisch im System oder nur per Anweisung im Prompt? Sieht der Agent mehr als die Person, für die er arbeitet?
Freigaben: Welche Schritte brauchen ein Ja von einem Menschen? Kann der Agent diese Rückfrage umgehen?
Protokoll: Wird jeder Werkzeugaufruf mit Zeit, Eingabe und Ergebnis aufgezeichnet? Können wir das Protokoll selbst einsehen und exportieren?
Stopp-Regeln: Was begrenzt Schleifen, Laufzeit und Kosten? Wer wird benachrichtigt, wenn der Agent abbricht?
Kontext & Wissen: Welche Dokumente bekommt der Agent? Wer pflegt sie, und wie fliegen veraltete Unterlagen heraus?
Abschottung: Läuft der Agent in einer abgeschotteten Umgebung, wenn er Befehle ausführt oder Dateien ändert?
Modellwechsel: Können wir das Modell austauschen, ohne Rechte, Freigaben und Protokoll neu aufzubauen?

Bekommen Sie auf eine dieser Fragen keine klare Antwort, ist das selbst eine Antwort.

Wo die Grenzen liegen und wann Sie Hilfe brauchen

Ein Harness macht ein Modell nicht klüger. Er begrenzt nur, welchen Schaden ein Fehler anrichten kann, und macht Fehler sichtbar. Ob die Antworten fachlich stimmen, müssen Sie weiterhin prüfen und testen. Anthropic empfiehlt, Agenten zuerst ausgiebig in abgeschotteten Umgebungen zu testen.

Auch die Regeln selbst haben Grenzen. Die Dokumentation von Claude Code warnt etwa, dass Muster für erlaubte Befehle allein keine Sicherheitsgrenze sind, und empfiehlt zusätzlich technische Abschottung (Sandboxing). Wer echte Kunden-, Personal- oder Konstruktionsdaten anbindet, braucht deshalb ein Rechtekonzept, das zur bestehenden IT passt. Dazu kommt die Frage, wer das Wissen pflegt, auf das der Agent zugreift.

Spätestens wenn ein Agent an Ihr ERP, Ihr Postfach oder Ihre Ablage soll, lohnt ein zweiter Blick von außen. Genau dafür gibt es den kostenlosen KI-Check.

Was Sie diese Woche tun können

Einen Ablauf auswählen. Notieren Sie einen wiederkehrenden Vorgang, für den ein KI-Agent infrage käme, zum Beispiel Serviceanfragen vorsortieren. Schreiben Sie dazu: Welche Daten müsste er lesen? Welche Aktion würde er auslösen?
Die rote Linie ziehen. Legen Sie für diesen Ablauf fest, welche Schritte immer ein Mensch freigibt, etwa alles, was das Haus verlässt.
Die Checkliste verschicken. Schicken Sie die acht Fragen oben an den Anbieter, dessen KI-Funktion Sie bereits nutzen oder testen.
Optional für die IT: Bauen Sie den Mini-Harness mit einem kleinen lokalen Modell nach. So bekommen Sie ein Gefühl dafür, was das Modell leistet und was der Harness leisten muss.

Weiterlesen

Copilot und SharePoint: Warum alte Dokumente stören: Was passiert, wenn der Baustein „Kontext & Wissen“ ungepflegt ist.
KI, die bei Ihnen im Haus bleibt: Welche lokalen Modelle es gibt und welcher Rechner reicht, wenn das Modell wie in unserem Versuch im eigenen Haus laufen soll.