Whisper Halluzinationen: warum Whisper Wörter tippt, die niemand gesagt hat, und wie du es stoppst
Von Ryleigh Newman · Veröffentlicht am
Whisper Halluzinationen sind Wörter in einem Transkript, die niemand gesagt hat: ein Satz, der sich immer wieder wiederholt, ein Abspann wie „Thank you for watching“ über Stille oder ein ganzer erfundener Satz. Sie entstehen, weil Whisper Text ähnlich wie ein Sprachmodell schreibt, und wenn das Audio still, verrauscht oder undeutlich ist, kann sein Gespür dafür, was normalerweise als Nächstes kommt, schwerer wiegen als das, was es wirklich gehört hat.
Die Modellkarte von OpenAI warnt selbst davor, und eine Studie von 2024 fand erfundene Sätze in etwa 1 % der getesteten Transkriptionen. Ich habe YapToText entwickelt, eine kostenlose Diktier-App für den Mac, die Whisper auf deinem Mac ausführt, weil mir das Tippen schwerfällt und ich jeden Tag diktiere, und ein guter Teil der Arbeit rund um das Modell ging genau in das Abfangen dieses Problems. Unten steht: wie Halluzinationen aussehen, warum sie entstehen, was die Forschung fand, was YapToText dagegen tut und was du mit jedem Whisper-Aufbau tun kannst, auch mit whisper.cpp.
Kostenlos laden. Kein Konto, nichts gesperrt, für macOS 14 oder neuer auf einem Mac mit Apple Chip. Quellcode auf GitHub.
Diese Anleitung in anderen Sprachen: English, Čeština, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Português, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文
Auf dieser Seite: 14 Abschnitte
- Schritte
- Wie eine Whisper-Halluzination aussieht
- Warum Whisper halluziniert
- Was die Studie Careless Whisper fand
- Wie YapToText sich dagegen schützt
- Sehen, was Whisper tatsächlich gehört hat
- Halluzinationen in jeder Whisper-App verhindern
- Tipps für Nutzer von whisper.cpp
- Was kein Schutz versprechen kann
- Kurz gesagt
- Anleitungen
- Weitere Anleitungen, auf Englisch
- Quellen
- Fragen
Schritte
- Beende die Aufnahme, sobald du aufhörst zu sprechen, oder schalte auf der Seite <span lang="en">Dictation</span> <span lang="en">Auto-stop after silence</span> ein.
- Drücke <span lang="en">Space</span> (die Leertaste), um bei einer langen Denkpause zu pausieren, statt die Stille aufzunehmen.
- Wähle die Sprache, in der du sprichst, in der Auswahl <span lang="en">Language</span> auf der Seite <span lang="en">AI Models</span>.
- Schneide vor dem Transkribieren einer Datei lange Stillen und Musik ab und konvertiere sie in 16-Bit-WAV, wenn du whisper-cli nutzt.
- Klicke in <span lang="en">History</span> auf <span lang="en">Show pipeline details</span> und lies das rohe Transkript, oder drücke beim Sprechen <span lang="en">2</span> für <span lang="en">Raw Transcription</span>.
Wie eine Whisper-Halluzination aussieht
Das Whisper-Paper von OpenAI nennt die Fehlerarten in klaren Worten: in Wiederholungsschleifen hängen bleiben, die ersten oder letzten Wörter eines Audiosegments nicht transkribieren und die vollständige Halluzination, bei der das Modell ein Transkript ausgibt, das mit dem tatsächlichen Audio nichts zu tun hat. In der Praxis zeigen sie sich in vier Mustern. Eine Halluzination ist kein falsch verstandenes Wort. Es ist ein Wort, hinter dem überhaupt kein Klang steht.
- Wiederholungsschleifen. Derselbe Satz, dieselbe Wendung oder dasselbe Wort immer wieder, oft am Ende einer Aufnahme, die in Stille ausläuft. Die Modellkarte von OpenAI sagt, die Sequenz-zu-Sequenz-Architektur mache das Modell anfällig dafür, wiederholten Text zu erzeugen, was Beam Search und Temperatur-Planung bis zu einem gewissen Grad abmildern können, aber nicht vollkommen.
- Text aus Stille. Im Diskussionsfaden des Whisper-Repositorys mit dem Titel „Share your hallucinations here“ berichten Nutzer von Zeilen wie „Thank you for watching“ und Untertitel-Abspännen, die über Stille, Musik oder Geräuschen erscheinen, wo niemand sprach.
- Erfundene Sätze. Ganze Wendungen, die nie gesagt wurden. Der Bericht der Cornell University über die Studie Careless Whisper sagt, Whisper erfinde gelegentlich ganze Wendungen und Sätze, manchmal mit gewalttätiger Sprache, erfundenen persönlichen Angaben und falschen Websites.
- Labels und Regieanweisungen. Text, der wie ein Drehbuch klingt statt wie Sprache. Die Versionshinweise zu YapToText 1.4 verzeichnen eine Korrektur für halluzinierte Sprecherlabels wie „Male speaker:“, die in Transkripten auftauchten.
Der umgekehrte Fehler, ausgelassene Wörter am Anfang oder Ende, ist verwandt, und deshalb können ein fehlendes erstes Wort und eine erfundene letzte Zeile aus derselben Aufnahme stammen. Gewöhnlich falsch verstandene Wörter sind ein anderes Problem mit anderen Lösungen, die der Leitfaden zu Whisper für den Mac behandelt.
Warum Whisper halluziniert
OpenAI erklärt die Ursache in seiner Modellkarte. Weil die Modelle mit schwach überwachtem Lernen auf großen, verrauschten Datenmengen trainiert wurden, können ihre Vorhersagen Text enthalten, der im Audio gar nicht gesprochen wird. Die Modellkarte vermutet, dass das passiert, weil das Modell zwei Dinge verbindet: das nächste Wort vorherzusagen und das Audio selbst zu transkribieren. Außerdem sagt sie, das Verhalten könne in Sprachen mit weniger Ressourcen oder geringerer Auffindbarkeit schlimmer sein. Gibt es wenig Klang, auf den es sich stützen kann, übernimmt die ratende Hälfte des Modells mehr von der Arbeit.
Daraus ergeben sich die Bedingungen, die es begünstigen:
- Stille und lange Pausen. Die Studie Careless Whisper fand, dass Halluzinationen überproportional bei Menschen auftreten, die mit größeren Anteilen stimmloser Zeit sprechen, also mit längeren Pausen.
- Musik und Geräusche. Die Berichte im Whisper-Repository häufen sich bei Abschnitten ohne Sprache.
- Ein verrauschtes oder leises Signal. Weniger klare Sprache gibt dem Modell weniger, woran es jedes Wort festmachen kann.
- Die Sprache. OpenAI sagt, die Leistung schwanke je nach Sprache stark, und laut Modellkarte kann die Halluzination in Sprachen mit weniger Ressourcen schlimmer sein.
Ein weiteres Detail hilft beim Erkennen. Die Studie fand, dass die Halluzinationen der Whisper-API von OpenAI nicht deterministisch waren und bei jedem Durchlauf anderen zufälligen Text lieferten, und sie nutzte Unterschiede zwischen zwei Durchläufen desselben Audios, um sie zu finden. Liefert dein Werkzeug für dasselbe Audio bei zwei Durchläufen unterschiedlichen Text, verdient der Teil, der sich geändert hat, einen zweiten Blick.
Was die Studie Careless Whisper fand
Die Studie heißt „Careless Whisper: Speech-to-Text Hallucination Harms“ und stammt von Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann und Mona Sloane. Sie wurde auf der ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024, vorgestellt. Die Rate ist klein. Der Schaden in einem einzigen erfundenen Satz kann groß sein.
Geprüft am 5. Oktober 2026, im Paper auf arXiv und in der ACM Digital Library sowie im Nachrichtenbeitrag der Cornell University.
- Was sie testeten. Fast 40 Stunden Audio aus AphasiaBank, 13.140 Segmente, von Sprechern mit Aphasie und einer Kontrollgruppe, im Jahr 2023 an die Whisper-API von OpenAI geschickt.
- Wie oft. Etwa 1 % der Transkriptionen enthielt ganze halluzinierte Wendungen oder Sätze, die in keiner Form im zugrunde liegenden Audio existierten.
- Wie schlimm. 38 % der Halluzinationen enthielten ausdrückliche Schäden, etwa das Fortschreiben von Gewalt, das Erfinden falscher Zusammenhänge oder das Vortäuschen falscher Autorität.
- Bei wem. Sprecher mit Aphasie bekamen mehr Halluzinationen als die Kontrollgruppe, und Segmente mit mehr stimmloser Zeit brachten sie eher hervor.
- Im Lauf der Zeit. Als die Autoren das Audio im Dezember 2023 erneut verarbeiteten, waren viele Beispiele behoben, aber 12 von 187 Audiosegmenten lieferten noch Halluzinationen.
Zwei Dinge solltest du beim Lesen dieser Zahlen auseinanderhalten. Sie beschreiben die gehostete API von OpenAI an dieser Stichprobe im Jahr 2023, nicht whisper.cpp, nicht Whisper Large v3 Turbo und nicht YapToText, sie sind also keine Vorhersage für dein eigenes Diktat. Und sie sind kein Grund zur Panik: Sie sind ein Grund, zu lesen, was du diktiert hast, was ohnehin gute Praxis ist. Gehören lange Pausen zu deiner Art zu sprechen, sagt Diktieren nach Beeinträchtigung ehrlich, wo YapToText womöglich zu kurz greift.
Wie YapToText sich dagegen schützt
YapToText führt die unveränderte Datei Whisper Large v3 Turbo (Q5) über whisper.cpp aus. Ich habe das Modell nicht neu trainiert. Gebaut habe ich eine Verarbeitungskette darum herum, und ein Teil dieser Kette hält Wörter, die niemand gesagt hat, aus deinem Dokument fern. Das Modell ist unverändert. Die Schutzmaßnahmen darum herum sind der Ort, wo die Arbeit hinging.
Bevor Whisper etwas hört
- Lange Stillen werden verdichtet, bevor transkribiert wird, damit das Modell nicht abdriftet.
- Rauschen wird bei jedem Diktat gemessen, und gleichmäßiges Rauschen wird nur abgezogen, wenn das Verhältnis es verlangt. Eine leise Stimme wird gegenüber dem Raum angehoben.
- Verrauschte Clips bekommen eine tiefere Suche. Die Dekodierung wechselt von Greedy zu Beam Search, wenn der Clip als verrauscht gemessen wird.
- Die halbe Sekunde vor dem Tastendruck bleibt erhalten, damit die ersten Wörter nicht abgeschnitten werden.

Nachdem das Transkript zurückkommt
- Wiederholungsschleifen werden erkannt und entfernt. Ein Schutz fasst die Schleifen zusammen, in die Whisper bei stillen Enden gerät, und seit 1.4 wiederholt ein langes Diktat, das in Stille endet, nicht mehr seinen letzten Satz immer wieder.
- Erfundene Sprecherlabels werden entfernt, ebenso Regieanweisungen. Vor der Korrektur in 1.4 konnte ein Label wie „Male speaker:“ sogar als Vokabular gelernt werden.
- Aus Stille halluzinierte Höflichkeitsfloskeln werden erkannt und entfernt.
- Stille tippt nichts. War ein Diktat nur Stille, sagt YapToText „Didn't catch that“, und es wird nichts transkribiert.
- Ein kurzes Transkript bekommt einen zweiten Durchgang. Kommt der Text kürzer zurück als die Sprache, die hineinging, läuft ein Rettungsdurchgang.
Wenn das Bereinigungsmodell Unsinn macht
Jeder Modus außer Raw Transcription gibt das Transkript an ein kleines Bereinigungsmodell auf deinem Mac weiter, und auch ein Sprachmodell kann erfinden. Die App prüft seine Arbeit: Liest sich das Ergebnis wie die Antwort eines Assistenten, wächst es deutlich über das hinaus, was du gesagt hast, wiederholt es den Referenztext oder erfindet es Auslassungspunkte, wird es verworfen, und stattdessen wird das rohe Transkript getippt. Dem Bereinigungsmodell wird außerdem gesagt, nie einen Satz wegzulassen oder etwas hinzuzufügen, was du nicht gesagt hast. Die Seite zum KI-Diktat behandelt diese Regeln.
Jede dieser Änderungen wird vor der Veröffentlichung an einem Prüfstand aus meinen eigenen echten Diktaten gemessen. Das sind die Aufnahmen einer einzelnen Person, kein Benchmark, und erkannt und entfernt heißt nicht niemals: Eine neue Art von Halluzination kann trotzdem durchrutschen.
Sehen, was Whisper tatsächlich gehört hat
Am schnellsten unterscheidest du eine Halluzination von einem Fehler der Bereinigung, indem du ansiehst, was Whisper ausgegeben hat, bevor etwas anderes daran ging. Steht der erfundene Text im rohen Transkript, hat Whisper ihn geschrieben. Wenn nicht, war es die Bereinigung.
Schritt 1: Das Diktat in History öffnen
- Du: Öffne History, such das Diktat und klicke auf Show pipeline details (Details der Verarbeitung anzeigen).
- YapToText: Zeigt das rohe Transkript über dem endgültigen Text, darunter den Modus, die Sprache und die Zeiten.
- Prüfen: Lies das rohe Transkript und vergleiche es mit dem, was du zu sagen meinst.

Schritt 2: Das nächste Diktat roh aufnehmen
- Du: Drücke beim Sprechen 2, bei Auto mode in der Standardreihenfolge Raw Transcription.
- YapToText: Tippt die Wörter von Whisper mit einfacher Zeichensetzung und ohne KI-Modell, für dieses eine Diktat.
- Prüfen: Was landet, ist das, was Whisper gehört hat. Willst du jedes Diktat roh halten, schalte Post-transcription analysis auf der Seite Home aus.
Copy Raw Transcript im Exportmenü jedes Eintrags in History legt die Fassung vor der Bereinigung in die Zwischenablage. Und willst du jedes lange Diktat lesen, bevor es landet, schalte Review before inserting unter Settings, Advanced, Text output ein. Die Anleitung zu den Modi erklärt, was jeder Modus ändern darf.
Halluzinationen in jeder Whisper-App verhindern
Die meisten Halluzinationen wachsen aus Stille, die beste Vorbeugung ist also, Whisper weniger davon zu geben. Das funktioniert mit jeder Whisper-App, und die Einstellungen von YapToText sind dort genannt, wo sie gelten. Je weniger Stille hineingeht, desto weniger erfundene Wörter kommen heraus.
- Hör auf, wenn du fertig bist. Tippe die Taste, sobald du aufhörst zu sprechen, statt die Aufnahme laufen zu lassen. In YapToText beendet Auto-stop after silence, standardmäßig aus, in der Karte Recording auf der Seite Dictation, ein Diktat nach 0,5 bis 5 Sekunden Ruhe.
- Pausiere mit Absicht. Für eine lange Denkpause in der Mitte drücke Space (die Leertaste), um das Diktat zu pausieren, und noch einmal, um fortzufahren. Das Leerzeichen wird nie getippt.
- Lege die Sprache fest. Wähle die Sprache, in der du sprichst, in der Auswahl Language auf der Seite AI Models, statt Whisper sie selbst herausfinden zu lassen. Die Seite zu den Sprachen listet alle 29 auf.
- Gib ihm ein sauberes Signal. Mikrofon nah, Raum ruhig, Musik aus. Pause music and video while dictating in YapToText, standardmäßig an, pausiert die Wiedergabe, solange du sprichst.
- Schneide Aufnahmen vorher zu. Bevor du eine Datei transkribierst, schneide lange stille Abschnitte und Musik am Anfang und Ende in einem beliebigen Audioeditor ab.
- Lies, bevor es zählt. Lies das rohe Transkript bei allem, was versendet, abgelegt oder zitiert wird.

Die Seite zu Tasten und Kurzbefehlen behandelt Space, esc und den Rest.
Tipps für Nutzer von whisper.cpp
Wenn du Whisper selbst über whisper.cpp ausführst, kontrollierst du das Audio, das hineingeht, und dort liegt der Großteil der Vorbeugung. Sauberes, zugeschnittenes Audio ist die billigste Abhilfe gegen Halluzinationen.
- Richtig konvertieren. Die README von whisper.cpp sagt, whisper-cli laufe derzeit nur mit 16-Bit-WAV-Dateien, und gibt einen ffmpeg-Befehl zum Umwandeln von allem anderen an.
- Zuerst zuschneiden. Schneide lange Stillen und Musik vor dem Konvertieren ab, damit das Modell sie nie sieht.
- Lege die Sprache fest, wenn du kannst. Sieh in der Hilfeausgabe von whisper-cli nach einer Sprachoption, statt dich auf die Erkennung zu verlassen.
- Probiere eine andere Modellgröße. Sprichst du nur Englisch und ist der Speicher knapp, sagt OpenAI, dass die rein englischen .en-Modelle für Englisch tendenziell besser sind, vor allem bei tiny und base.
- Wisse, was der Live-Modus ist. whisper-stream tastet das Mikrofon alle halbe Sekunde ab und transkribiert laufend, und die README nennt es ein naives Beispiel.
Terminal: Wandle eine zugeschnittene Aufnahme mit dem Befehl aus der README in das WAV-Format um, das whisper-cli liest.
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wavWas passiert: ffmpeg schreibt output.wav als Audio mit 16 kHz, mono und 16 Bit, das du dann whisper-cli nach -f übergibst.
Eine Modelldatei, die du für whisper.cpp heruntergeladen hast, funktioniert auch in YapToText: Unter Your own models auf der Seite AI Models nimmt Add Model jede whisper.cpp-GGML-Datei mit der Endung .bin. Der Leitfaden zu lokalem Whisper hat die vollständige Einrichtung, die Modellgrößen und die Speicherwerte.
Was kein Schutz versprechen kann
- Jede Halluzination. Die Schutzmaßnahmen erwischen die Muster, die ich gesehen und getestet habe. Ein neues kann durchkommen, deshalb ist das rohe Transkript immer einen Klick entfernt.
- Nie gehörte Wörter. Kein Schutz kann Sprache zurückholen, die das Mikrofon nicht erfasst hat, und das Entfernen erfundenen Texts hinterlässt eine Lücke, nicht die echten Wörter.
- Eine eigene Rate. Ich habe weder für YapToText noch für irgendein Modell eine Halluzinationsrate gemessen, deshalb nennt diese Seite nur die veröffentlichte Studie mit ihren Grenzen.
- Extras bei der Dateitranskription. Dateien kommen als reiner Text zurück, ohne Zeitstempel, es gibt also keinen Sprung von einer verdächtigen Zeile zu ihrer Stelle im Audio. Die Seite zur Audiodatei behandelt diese Funktion.
- Lange Pausen als Sprechstil. Whisper ist ein Modell für allgemeine Zwecke, und nichts in YapToText ändert, wie es mit Sprache mit langen Pausen umgeht, außer dass die Stille verdichtet wird.
- Ein Intel-Mac. YapToText braucht einen Mac mit Apple Silicon und macOS 14 oder neuer.
Schutzmaßnahmen senken die Wahrscheinlichkeit. Zu lesen, was du diktiert hast, bleibt die letzte Kontrolle.
Kurz gesagt
- Was es ist. Es ist Text, hinter dem keine Sprache steht: Schleifen, Abspänne über Stille, erfundene Sätze und Labels.
- Warum. Whisper sagt voraus und transkribiert, und Stille, Pausen, Musik und Rauschen geben der Vorhersage Raum.
- In YapToText. Lange Stillen werden verdichtet. Wiederholungsschleifen, Sprecherlabels und Höflichkeitsfloskeln aus Stille werden entfernt. Eine ausgeuferte Bereinigung wird verworfen.
- Für alle. Hör auf, wenn du fertig bist, schneide Stille ab, lege die Sprache fest und lies das rohe Transkript.
YapToText ist im Mac App Store kostenlos, und Whisper läuft auf deinem Mac.
Gib Whisper weniger Stille und prüfe, was es geschrieben hat. Tippt YapToText einmal etwas, was du nicht gesagt hast, eröffne ein Issue auf GitHub mit dem rohen Transkript aus History. Ich lese jedes.
Kostenlos laden. Kein Konto, nichts gesperrt, für macOS 14 oder neuer auf einem Mac mit Apple Chip. Quellcode auf GitHub.
Anleitungen
Weitere Anleitungen, auf Englisch
Quellen
- https://arxiv.org/abs/2402.08021 (geprüft am 5. Oktober 2026)
- https://dl.acm.org/doi/10.1145/3630106.3658996 (geprüft am 5. Oktober 2026)
- https://news.cornell.edu/stories/2024/06/ai-speech-text-can-hallucinate-violent-language (geprüft am 5. Oktober 2026)
- https://github.com/openai/whisper/blob/main/model-card.md (geprüft am 5. Oktober 2026)
- https://cdn.openai.com/papers/whisper.pdf (geprüft am 5. Oktober 2026)
- https://github.com/openai/whisper/discussions/1873 (geprüft am 5. Oktober 2026)
- https://github.com/openai/whisper (geprüft am 3. Oktober 2026)
- https://github.com/ggml-org/whisper.cpp (geprüft am 3. Oktober 2026)
- https://github.com/ryleighnewman/YapToText (geprüft am 3. Oktober 2026)
- https://apps.apple.com/us/app/yaptotext/id6786382289 (geprüft am 3. Oktober 2026)
Fragen
Warum halluziniert Whisper?
Die Modellkarte von OpenAI sagt, Whisper wurde auf großen, verrauschten Datenmengen trainiert und kann Text ausgeben, der nicht gesprochen wurde, wahrscheinlich weil es das nächste Wort vorhersagt und zugleich transkribiert. Stille, lange Pausen, Musik und Rauschen geben dieser Vorhersage mehr Raum.
Warum schreibt Whisper „thank you for watching“?
Das ist eine bekannte Art von Halluzination über Stille oder Musik. Nutzer im Faden „Share your hallucinations here“ des Whisper-Repositorys berichten davon, zusammen mit Untertitel-Abspännen. Die Aufnahme zu beenden, wenn du fertig bist, und Stille abzuschneiden, geben ihm weniger Raum.
Warum wiederholt Whisper immer wieder denselben Text?
Das Paper von OpenAI nennt das Hängenbleiben in Wiederholungsschleifen als Fehlerart, und seine Modellkarte sagt, die Architektur neige zu wiederholtem Text. Schleifen erscheinen oft an einem stillen Ende, das der Schutz von YapToText zusammenfasst.
Wie häufig sind Whisper-Halluzinationen?
Die Studie Careless Whisper fand, dass etwa 1 % der Transkriptionen der Whisper-API von OpenAI in ihrer Stichprobe von 2023 erfundene Wendungen oder Sätze enthielt. Deine eigene Rate hängt von deinem Audio, deinem Modell und deiner App ab.
Wie behebe ich Whisper-Halluzinationen?
Gib ihm weniger Stille: Hör auf, wenn du fertig bist, pausiere mit Absicht und schneide Aufnahmen zu. Lege die Sprache fest, nutze ein sauberes Mikrofonsignal und lies das rohe Transkript, damit du siehst, was Whisper tatsächlich geschrieben hat.
Halluziniert YapToText?
Es führt Whisper aus, also kann es das. Es verdichtet lange Stillen, entfernt Wiederholungsschleifen, erfundene Sprecherlabels und aus Stille halluzinierte Höflichkeitsfloskeln und verwirft eine Bereinigung, die deutlich über das hinauswächst, was du gesagt hast. History zeigt das rohe Transkript.