KI-Klartext · Demo und Betrieb

Die Demo lief. Das sagt über den Betrieb wenig.

Fast jede KI-Demo an Dokumenten gelingt. Genau das macht sie zu einer schlechten Entscheidungsgrundlage.

Die verbreitete Annahme

Was in fast jedem Projekt vorausgesetzt wird.

Angenommen wird

„Wenn ein Modell zehn Beispiele richtig liest, liest es auch zehntausend richtig. Der Rest ist Fleißarbeit."

Warum das naheliegt

Die Annahme ist nachvollziehbar: Bei klassischer Software gilt sie. Was einmal funktioniert, funktioniert immer — dieselbe Eingabe erzeugt dieselbe Ausgabe.

Was im Betrieb passiert

Bei Sprachmodellen gilt sie nicht. Die Demo läuft mit ausgewählten Dokumenten, im Betrieb kommt der ganze Bestand. Und dort entscheidet nicht die Trefferquote, sondern was mit den übrigen Fällen passiert.

Im Einzelnen

Fünf Punkte, die den Unterschied ausmachen.

01 Die Demo zeigt den Normalfall Für eine Vorführung wählt man saubere Dokumente. Im Betrieb kommen Scans mit Knick, Tabellen über zwei Seiten, Sprachen im Wechsel und Formate, die es zur Entwurfszeit nicht gab.
02 Fehler multiplizieren sich über Schritte Bei 95 Prozent Zuverlässigkeit je Schritt liegt die Erfolgsquote nach zwanzig Schritten bei etwa 36 Prozent. Eine Demo hat drei Schritte, ein Ablauf im Betrieb hat zwanzig.
03 Stille Fehler bleiben unbemerkt Ein fehlender Wert fällt auf. Ein falscher, aber plausibler Wert wird gebucht und taucht Monate später als Differenz auf. Das ist die Kennzahl, die zählt — und die keine Demo zeigt.
04 Modelle und Dokumente ändern sich Anbieter aktualisieren Modelle, Lieferanten ändern Layouts. Was heute misst, misst in drei Monaten anders. Ohne laufende Messung merkt es niemand.
05 Der Ausnahmekorb ist das eigentliche Produkt Die Frage lautet nicht, wie viel automatisch läuft, sondern was mit dem Rest passiert: Wer bekommt ihn vorgelegt, mit welcher Begründung, in welchem System.
Was wir stattdessen tun

Der Weg, der sich im Betrieb bewährt hat.

36 %Erfolg nach 20 Schritten bei 95 % je Schritt
84–92 %realistisch ohne Rückfrage
feldweisestatt Gesamteindruck

Wir messen vor dem Bauen. Im Machbarkeitscheck läuft die Lösung gegen einen Vergleichssatz aus echten, geprüften Vorgängen — mit Ergebnissen je Feld, nicht als Gesamteindruck. Was dabei herauskommt, ist eine Zahl, an der man eine Entscheidung festmachen kann.

Weitere Annahmen

Was sonst noch selten hinterfragt wird.

Demo und Betrieb Vollautomatik Datenqualität Agenten Alle Punkte aus der Praxis
Nächster Schritt

Prüfen wir das an Ihren Vorgängen.

45 Minuten, kostenfrei. Bringen Sie einen Anwendungsfall mit — wir sagen offen, ob er sich eignet.

Machbarkeitscheck ab 3.500 € Erstgespräch vereinbaren