# When the machine makes things up: AI hallucinations at work

> AI hallucinations at work: why AI errors cost more inside a workflow than in a chat, and how validation rules, a human in the loop and evals catch them.

Quelle: https://isarcode.com/en/lesomat/ai/ai-hallucinations-in-operations/

Auf einen Blick

- Eine KI-Halluzination ist eine Antwort, die überzeugend klingt, aber falsch oder frei erfunden ist. Das liegt in der Bauart von Sprachmodellen und lässt sich nicht komplett abstellen.
- Im Chat liest ein Mensch mit und merkt den Fehler. Im automatisierten Workflow handelt die KI direkt, und der Fehler landet beim Kunden, in der Buchhaltung oder im Postfach einer Behörde.
- Die Lösung ist nicht das bessere Modell, sondern ein Ablauf, der Fehler abfängt: feste Prüfregeln, ein Mensch an den kritischen Stellen (Human in the Loop) und Tests, die die Fehlerquote messen.
- Wer misst, kann Fehler drastisch senken: Ein Software-Team hat die Fehlerquote einer KI-Funktion so von 21 % auf 3 % gedrückt.

Im Juli schickte ein KI-Modell von Anthropic einen erfundenen Hinweis zu einem ungeklärten Mordfall an das Hinweis-Formular der Polizei in Philadelphia. Niemand hatte das beauftragt. Das Modell lief in einem internen Test, surfte auf zufällig ausgewählten Websites, landete auf einer Seite zu ungelösten Mordfällen und füllte das Formular aus. Aufgefallen ist es Anthropic erst über zwei Monate später ([TechCrunch](https://techcrunch.com/2026/10/09/an-anthropic-ai-model-sent-a-false-homicide-tip-to-philadelphia-police/)).

Das ist kein Grund, die KI wieder abzuschalten. Aber ein ziemlich deutlicher Hinweis, wo das eigentliche Risiko sitzt: nicht in dem, was eine KI sagt, sondern in dem, was sie tun darf.

## Was eine KI-Halluzination ist

**Eine KI-Halluzination ist eine Ausgabe, die sprachlich sauber und plausibel wirkt, inhaltlich aber falsch oder erfunden ist.** Ein Sprachmodell berechnet, welche Formulierung am wahrscheinlichsten passt. Es prüft nicht, ob sie stimmt. Meistens ist das Wahrscheinliche auch das Richtige. Manchmal eben nicht, und dann klingt der Fehler genauso selbstbewusst wie die Wahrheit.

Wie dieser Motor genau funktioniert, erklären wir in [Was ist ein LLM?](https://isarcode.com/lesomat/ai/was-ist-ein-llm/). Für hier reicht: Halluzinationen werden mit besseren Modellen seltener, verschwinden aber nicht. Wer KI produktiv einsetzt, plant sie ein.

## Im Chat peinlich, im Workflow teuer

Solange du mit ChatGPT oder Claude chattest, sitzt du selbst als Prüfinstanz davor. Erfindet die KI eine Quelle, fällt dir das auf, oder eben nicht, aber der Schaden bleibt bei dir.

Im Betrieb sieht das anders aus. Eine KI, die eingehende Mails sortiert, Rechnungsdaten ausliest, Angebote vorformuliert oder Bestellungen anlegt, arbeitet ohne Zuschauer. Ein erfundener Betrag wird gebucht. Eine falsch erkannte Kundennummer bekommt die Mahnung. Ein halluzinierter Liefertermin geht raus.

Je mehr eine KI selbst handeln darf, desto weniger fällt ein Fehler von allein auf. Deshalb ist die wichtigste Frage beim Einsatz von KI-Agenten nicht “Wie gut ist das Modell?”, sondern **“Wo prüft jemand, bevor etwas passiert?”**.

## Drei Hebel, die Fehler abfangen

### 1. Feste Prüfregeln nach jedem KI-Schritt

Vieles lässt sich ohne Menschen prüfen, mit ganz normaler Logik: Ist die Rechnungsnummer im richtigen Format? Existiert die Kundennummer wirklich in der Datenbank? Liegt der Betrag in einem plausiblen Rahmen? Ist das Datum nicht in der Vergangenheit?

Solche Regeln heißen in der Entwicklung Validator. Ihr Vorteil: Sie halluzinieren nicht. Ein Beispiel aus der Open-Source-Welt ist [schema-guard](https://github.com/idk-arsh/schema-guard), das KI-Agenten daran hindert, in Datenbank-Abfragen Spaltennamen zu erfinden, die es gar nicht gibt.

### 2. Human in the Loop an den kritischen Stellen

**Human in the Loop heißt: An festgelegten Punkten im Ablauf entscheidet ein Mensch, bevor die KI weitermacht.** Nicht überall, das würde den Nutzen der Automatisierung auffressen. Sondern dort, wo ein Fehler wehtut: bevor Geld fließt, bevor etwas an Kunden oder Behörden rausgeht, bevor Daten gelöscht werden.

Die KI bereitet vor, der Mensch gibt frei. Das kostet Sekunden statt der Stunden, die die Arbeit vorher gedauert hat, und es hält die Verantwortung dort, wo sie hingehört.

Unsere Haltung

Die richtige Frage ist nie “KI ja oder nein”, sondern “Wo gehört der Mensch hin?”. Ein guter KI-Workflow ist an den heiklen Stellen bewusst langsam.

### 3. Messen statt hoffen

Ob eine KI-Funktion zuverlässig ist, weiß man nicht nach drei Probeläufen. Man weiß es, wenn man sie gegen eine Sammlung echter Fälle mit bekannter richtiger Antwort laufen lässt und die Fehlerquote zählt. Diese Testsammlungen heißen in der Branche Evals (von Evaluation).

Wie viel das bringt, hat das Software-Unternehmen Hex [offengelegt](https://hex.tech/blog/we-used-evals-to-improve-ai-feature/): Für eine KI-Funktion, die Diagramme auf Zuruf umgestaltet, baute das Team rund 1.800 Testfälle aus echter Nutzung auf. Die Quote falscher Änderungen sank von 21 % auf 3 %, also auf ein Siebtel. Spannend daran: Mehr als die Hälfte der Verbesserung kam nicht aus besseren Prompts, sondern aus strengeren Prüfregeln (siehe Hebel 1). Ein kompletter Testlauf kostete unter 10 Dollar.

Für deinen Betrieb heißt das: Bevor ein KI-Workflow live geht, sammelst du 50 bis 100 echte Beispiele aus dem Alltag, etwa Mails, Rechnungen oder Anfragen, und prüfst, wie oft die KI danebenliegt. Erst mit dieser Zahl kannst du entscheiden, ob der Workflow allein laufen darf oder eine Freigabe braucht.

## So sieht das in der Praxis aus

Nehmen wir einen typischen Fall: Eingehende Lieferantenrechnungen sollen automatisch erfasst werden.

- **Die KI liest** die Rechnung und zieht Lieferant, Betrag, Datum und Positionen heraus.

- **Die Prüfregeln checken**: Gibt es den Lieferanten im System? Stimmt die Summe der Positionen mit dem Gesamtbetrag überein? Passt die Bestellnummer?

- **Alles grün:** Die Rechnung geht in den Freigabe-Stapel. **Etwas rot:** Sie landet mit markiertem Problem bei einem Menschen.

- **Ein Mensch gibt frei**, bevor gezahlt wird.

Die KI spart die Tipparbeit, die Prüfregeln fangen die meisten Ausrutscher ab, und der Mensch behält das letzte Wort beim Geld. Wie man solche Agenten von Anfang an sicher aufsetzt, haben wir in [KI-Agenten sicher einsetzen](https://isarcode.com/lesomat/ai/ki-agenten-sicher-einsetzen/) beschrieben.

## Regional nah, international erprobt

isarcode ist eine Münchner Agentur mit Office im Chiemgau. Heißt für dich: ein Partner, der lokal ansprechbar ist und trotzdem mit internationalen Projekten und großen Agenturen mitspielt. Regionale Nähe, internationale Liga. Egal ob du am Chiemsee, in Rosenheim oder in München sitzt.

## Häufige Fragen

**Was ist eine KI-Halluzination?** Eine Antwort einer KI, die überzeugend klingt, aber falsch oder erfunden ist. Sprachmodelle berechnen die wahrscheinlichste Formulierung, sie prüfen nicht, ob sie stimmt.

**Kann man KI-Halluzinationen komplett verhindern?** Nein. Bessere Modelle halluzinieren seltener, aber nie gar nicht. Deshalb gehören Prüfregeln und an kritischen Stellen ein Mensch in jeden produktiven KI-Workflow.

**Was bedeutet Human in the Loop?** Dass an festgelegten Punkten eines automatisierten Ablaufs ein Mensch prüft und freigibt, bevor die KI weitermacht, typischerweise bevor Geld fließt oder etwas an Kunden rausgeht.

**Wie messe ich, wie oft meine KI Fehler macht?** Mit einer Sammlung echter Fälle, bei denen die richtige Antwort bekannt ist. Die KI läuft gegen alle Fälle, gezählt wird, wie oft sie danebenliegt. Diese Tests heißen Evals und gehören vor jeden Go-Live.

Passend dazu

-
[
Was ist ein LLM? Large Language Models in Klartext, ohne Hype
→
](https://isarcode.com/lesomat/ai/was-ist-ein-llm/)

-
[
KI-Agenten sicher einsetzen: was die jüngsten Sicherheitslücken für dich bedeuten
→
](https://isarcode.com/lesomat/ai/ki-agenten-sicher-einsetzen/)

-
[
Agentic AI für den Mittelstand: was das ist und wo es wirklich was bringt
→
](https://isarcode.com/en/lesomat/ai/agentic-ai-mid-sized-business/)

## Und jetzt?

Du hast einen Ablauf im Kopf, bei dem die KI helfen könnte, dir aber das Vertrauen fehlt? Genau da fangen wir an. Lass uns reden, wo bei dir die Prüfstellen hingehören.
