Hallucinaties van Whisper: waarom Whisper woorden typt die niemand zei, en hoe je dat stopt
Door Ryleigh Newman · Gepubliceerd op
Hallucinaties van Whisper zijn woorden in een transcript die niemand heeft gezegd: een zin die steeds weer wordt herhaald, een afsluiter zoals "Thank you for watching" over stilte, of een hele verzonnen zin. Ze ontstaan doordat Whisper tekst schrijft ongeveer zoals een taalmodel dat doet, en als de audio stil, rumoerig of onduidelijk is, kan het gevoel voor wat er meestal komt zwaarder wegen dan wat het echt heeft gehoord.
Het eigen modelkaartje van OpenAI waarschuwt ervoor, en een onderzoek uit 2024 vond verzonnen zinnen in ongeveer 1% van de transcripties die het testte. Ik heb YapToText gemaakt, een gratis dicteerapp voor de Mac die Whisper op je Mac draait, omdat typen voor mij moeilijk is en ik elke dag dicteer, en een flink deel van het werk rond het model ging naar het opvangen van precies dit. Hieronder staat hoe hallucinaties eruitzien, waarom ze ontstaan, wat het onderzoek vond, wat YapToText ertegen doet en wat je kunt doen met elke Whisper-opstelling, whisper.cpp inbegrepen.
Gratis te downloaden. Geen account, niets op slot, voor macOS 14 of nieuwer op een Mac met Apple chip. Broncode op GitHub.
Deze handleiding in andere talen: English, Čeština, Deutsch, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Polski, Português, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文
Op deze pagina: 14 onderdelen
- Stappen
- Hoe een hallucinatie van Whisper eruitziet
- Waarom Whisper hallucineert
- Wat het onderzoek Careless Whisper vond
- Hoe YapToText zich ertegen beschermt
- Zien wat Whisper echt hoorde
- Hallucinaties voorkomen in elke Whisper-app
- Tips voor gebruikers van whisper.cpp
- Wat geen beveiliging kan beloven
- Kort samengevat
- Handleidingen
- Meer handleidingen, in het Engels
- Bronnen
- Vragen
Stappen
- Stop de opname zodra je klaar bent met praten, of zet <span lang="en">Auto-stop after silence</span> aan op de pagina <span lang="en">Dictation</span>.
- Druk op Space om te pauzeren tijdens een lange denkpauze in plaats van de stilte op te nemen.
- Kies de taal die je spreekt in de kiezer <span lang="en">Language</span> op de pagina <span lang="en">AI Models</span>.
- Knip voordat je een bestand transcribeert lange stiltes en muziek weg, en zet het om naar 16-bit WAV als je whisper-cli gebruikt.
- Klik in <span lang="en">History</span> op <span lang="en">Show pipeline details</span> en lees het ruwe transcript, of druk tijdens het praten op 2 voor <span lang="en">Raw Transcription</span>.
Hoe een hallucinatie van Whisper eruitziet
Het artikel van OpenAI over Whisper noemt de manieren waarop het misgaat in gewone woorden: vastlopen in herhaallussen, de eerste of laatste woorden van een stuk audio niet transcriberen, en volledige hallucinatie, waarbij het model een transcript uitvoert dat niets te maken heeft met de echte audio. In de praktijk komen ze in vier patronen voor. Een hallucinatie is geen verkeerd verstaan woord. Het is een woord zonder enig geluid erachter.
- Herhaallussen. Dezelfde zin, frase of hetzelfde woord steeds opnieuw, vaak aan het eind van een opname die uitloopt in stilte. Het modelkaartje van OpenAI zegt dat de sequence-to-sequence-architectuur het model gevoelig maakt voor het genereren van herhalende tekst, wat beam search en temperatuurplanning tot op zekere hoogte kunnen verminderen, maar niet volmaakt.
- Tekst uit stilte. In de discussiedraad van de repository van Whisper zelf, met de titel "Share your hallucinations here", melden gebruikers regels zoals "Thank you for watching" en ondertitelcredits die verschijnen over stilte, muziek of geluidseffecten, waar niemand sprak.
- Verzonnen zinnen. Hele zinnen die nooit zijn gezegd. Het artikel van Cornell over het onderzoek Careless Whisper zegt dat Whisper af en toe complete zinnen verzint, soms met gewelddadige taal, verzonnen persoonlijke gegevens en nepwebsites.
- Labels en regieaanwijzingen. Tekst die leest als een script in plaats van spraak. De release notes van YapToText 1.4 noemen een oplossing voor verzonnen labels voor sprekers zoals "Male speaker:" in transcripten.
De omgekeerde fout, weggevallen woorden aan het begin of eind, hangt hiermee samen, en daarom kunnen een ontbrekend eerste woord en een verzonnen laatste regel uit dezelfde opname komen. Gewone verkeerd verstane woorden zijn een ander probleem met andere oplossingen, behandeld in de gids over Whisper voor de Mac.
Waarom Whisper hallucineert
OpenAI legt de oorzaak uit in het modelkaartje. Omdat de modellen op een zwak gesuperviseerde manier zijn getraind op grote hoeveelheden rumoerige data, kunnen hun voorspellingen tekst bevatten die niet echt in de audio wordt gesproken. Het modelkaartje suggereert dat dit gebeurt omdat het model het voorspellen van het volgende woord combineert met het transcriberen van de audio zelf, en het zegt dat het gedrag erger kan zijn in talen met minder bronnen of die moeilijker te vinden zijn. Als er weinig geluid is om op af te gaan, doet het gokkende deel van het model meer van het werk.
Dat wijst op de omstandigheden die het uitlokken:
- Stilte en lange pauzes. Het onderzoek Careless Whisper vond dat hallucinaties onevenredig vaak voorkomen bij mensen die spreken met een groter aandeel tijd zonder stem, met andere woorden langere pauzes.
- Muziek en geluidseffecten. De meldingen in de repository van Whisper clusteren rond stukken zonder spraak.
- Een rumoerig of zwak signaal. Minder duidelijke spraak geeft het model minder om elk woord aan vast te knopen.
- De taal. OpenAI zegt dat de prestaties sterk verschillen per taal, en het modelkaartje zegt dat hallucinatie erger kan zijn in talen met minder bronnen.
Nog een detail helpt bij het herkennen. Het onderzoek vond dat hallucinaties van de Whisper-API van OpenAI niet deterministisch waren en bij elke keer andere willekeurige tekst opleverden, en gebruikte verschillen tussen twee keer dezelfde audio om ze te vinden. Geeft je tool bij dezelfde audio twee keer verschillende tekst, dan verdient het deel dat veranderde een tweede blik.
Wat het onderzoek Careless Whisper vond
Het onderzoek is "Careless Whisper: Speech-to-Text Hallucination Harms", van Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann en Mona Sloane, gepresenteerd op de ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024. Het percentage is klein. De schade van één verzonnen zin kan groot zijn.
Gecontroleerd op 5 oktober 2026, in het artikel op arXiv en de ACM Digital Library, en in het nieuwsbericht van Cornell.
- Wat ze testten. Bijna 40 uur audio van AphasiaBank, 13.140 fragmenten, van sprekers met afasie en een controlegroep, in 2023 naar de Whisper-API van OpenAI gestuurd.
- Hoe vaak. Ongeveer 1% van de transcripties bevatte complete gehallucineerde zinnen die in geen enkele vorm in de onderliggende audio bestonden.
- Hoe erg. 38% van de hallucinaties bevatte uitdrukkelijke schade, zoals het in stand houden van geweld, het verzinnen van onjuiste verbanden of het suggereren van valse autoriteit.
- Wie. Sprekers met afasie kregen meer hallucinaties dan de controlegroep, en fragmenten met meer tijd zonder stem leverden ze vaker op.
- In de loop van de tijd. Toen de auteurs de audio in december 2023 opnieuw lieten lopen, waren veel voorbeelden opgelost, maar 12 van de 187 audiofragmenten leverden nog steeds hallucinaties op.
Houd twee dingen uit elkaar als je die getallen leest. Ze beschrijven de gehoste API van OpenAI op die steekproef in 2023, niet whisper.cpp, niet Whisper Large v3 Turbo en niet YapToText, dus ze zijn geen voorspelling voor je eigen dictaten. En ze zijn geen reden tot paniek: ze zijn een reden om te lezen wat je hebt gedicteerd, wat sowieso een goede gewoonte is. Horen lange pauzes bij hoe je spreekt, dan zegt dicteren per aandoening eerlijk waar YapToText tekort kan schieten.
Hoe YapToText zich ertegen beschermt
YapToText draait het standaardbestand Whisper Large v3 Turbo (Q5) via whisper.cpp. Ik heb het model niet opnieuw getraind. Wat ik wel heb gebouwd is een pijplijn eromheen, en een deel daarvan bestaat om woorden die niemand zei uit je document te houden. Het model is standaard. De beveiligingen eromheen zijn waar het werk naartoe ging.
Voordat Whisper iets hoort
- Lange stiltes worden samengedrukt voordat er wordt getranscribeerd, zodat het model niet afdwaalt.
- Ruis wordt bij elk dictaat gemeten, en constante ruis wordt alleen afgetrokken als de verhouding erom vraagt. Een zachte stem wordt opgetild ten opzichte van de ruimte.
- Rumoerige fragmenten krijgen een diepere zoektocht. Het decoderen schakelt van greedy over op beam search als het fragment als rumoerig wordt gemeten.
- De halve seconde voordat je de toets indrukt blijft bewaard, zodat eerste woorden niet worden afgekapt.
Nadat het transcript terugkomt
- Herhaallussen worden opgevangen en verwijderd. Een beveiliging vouwt de lussen samen waarin Whisper valt bij stille staarten, en sinds 1.4 herhaalt een lang dictaat dat eindigt in stilte zijn laatste zin niet meer steeds opnieuw.
- Verzonnen labels voor sprekers worden verwijderd, samen met regieaanwijzingen. Voor de oplossing in 1.4 kon een label als "Male speaker:" zelfs als woordenschat worden aangeleerd.
- Beleefdheidsfrasen die uit stilte zijn gehallucineerd worden opgevangen en verwijderd.
- Stilte typt niets. Was een dictaat alleen stilte, dan zegt YapToText "Didn't catch that" en wordt er niets getranscribeerd.
- Een kort transcript krijgt een tweede ronde. Komt de tekst korter terug dan de spraak die erin ging, dan draait een reddingsronde.
Als het model voor opschonen zich misdraagt
Elke modus behalve Raw Transcription geeft het transcript aan een klein model voor opschonen op je Mac, en een taalmodel kan ook dingen verzinnen. De app controleert zijn werk: leest het resultaat als het antwoord van een assistent, groeit het ruim voorbij wat je zei, herhaalt het de referentietekst of verzint het een weglatingsteken, dan wordt het weggegooid en wordt het ruwe transcript getypt. Het opschonen krijgt ook de opdracht nooit een zin weg te laten en niets toe te voegen wat je niet zei. De pagina over dicteren met AI behandelt die regels.
Elk van deze wijzigingen wordt gemeten aan een testopstelling met mijn eigen echte dictaten voordat die uitkomt. Dat zijn de opnames van één persoon, geen benchmark, en opgevangen en verwijderd is niet hetzelfde als nooit: een nieuw soort hallucinatie kan er nog doorheen glippen.
Zien wat Whisper echt hoorde
De snelste manier om een hallucinatie te onderscheiden van een fout bij het opschonen is kijken naar wat Whisper opleverde voordat iets anders eraan zat. Staat de verzonnen tekst in het ruwe transcript, dan schreef Whisper die. Zo niet, dan deed het opschonen dat.
Stap 1: Open het dictaat in History
- Jij: Open History, zoek het dictaat en klik op Show pipeline details.
- YapToText: Toont het ruwe transcript boven de definitieve tekst, met de modus, de taal en de tijden eronder.
- Controle: Lees het ruwe transcript naast wat je je herinnert gezegd te hebben.
Stap 2: Dicteer het volgende ruw
- Jij: Druk tijdens het praten op 2, Raw Transcription in de standaardvolgorde met Auto mode aan.
- YapToText: Typt de woorden van Whisper met eenvoudige leestekens en zonder AI-model, voor dat ene dictaat.
- Controle: Wat er landt is wat Whisper hoorde. Wil je elk dictaat ruw houden, zet dan Post-transcription analysis uit op de pagina Home.
Copy Raw Transcript, in het exportmenu van elk item in History, zet de versie van voor het opschonen op het klembord. En wil je elk lang dictaat lezen voordat het landt, zet dan Review before inserting aan bij Settings, Advanced, Text output. De gids over modi legt uit wat elke modus mag veranderen.
Hallucinaties voorkomen in elke Whisper-app
De meeste hallucinaties groeien uit stilte, dus de beste voorkoming is Whisper er minder van geven. Dit werkt met elke Whisper-app, en de instellingen van YapToText worden genoemd waar ze van toepassing zijn. Hoe minder stilte erin gaat, hoe minder verzonnen woorden eruit komen.
- Stop als je klaar bent. Tik op de toets zodra je klaar bent met praten, in plaats van de opname te laten doorlopen. In YapToText beëindigt Auto-stop after silence, standaard uit, op de kaart Recording op de pagina Dictation, een dictaat na 0,5 tot 5 seconden stilte.
- Pauzeer met opzet. Druk voor een lange denkpauze tussendoor op Space om het dictaat te pauzeren en nog een keer om te hervatten. De spatie wordt nooit getypt.
- Stel de taal in. Kies de taal die je spreekt in de kiezer Language op de pagina AI Models in plaats van Whisper het te laten uitzoeken. De pagina over talen noemt alle 29.
- Geef een schoon signaal. Microfoon dichtbij, ruimte stil, muziek uit. Pause music and video while dictating van YapToText, standaard aan, pauzeert het afspelen terwijl je praat.
- Knip opnames eerst bij. Snijd voordat je een bestand transcribeert lange stille stukken en muziek aan het begin en eind weg in een willekeurige audio-editor.
- Lees voordat het ertoe doet. Lees het ruwe transcript van alles wat wordt verstuurd, opgeslagen of geciteerd.
De pagina over toetsen en sneltoetsen behandelt Space, Esc en de rest.
Tips voor gebruikers van whisper.cpp
Draai je Whisper zelf via whisper.cpp, dan bepaal je de audio die erin gaat, en daar zit het meeste van de voorkoming. Schone, bijgeknipte audio is de goedkoopste oplossing tegen hallucinaties die er is.
- Zet goed om. De README van whisper.cpp zegt dat whisper-cli op dit moment alleen werkt met 16-bit WAV-bestanden, en geeft een ffmpeg-commando om al het andere om te zetten.
- Knip eerst bij. Snijd lange stiltes en muziek weg voordat je omzet, zodat het model ze nooit ziet.
- Stel de taal in als het kan. Kijk in de helpuitvoer van whisper-cli naar een taaloptie in plaats van op detectie te vertrouwen.
- Probeer een andere modelgrootte. Spreek je alleen Engels en is het geheugen krap, dan zegt OpenAI dat de modellen .en die alleen Engels kennen vaak beter presteren voor Engels, vooral bij tiny en base.
- Weet wat de livemodus is. whisper-stream neemt elke halve seconde een steekproef van de microfoon en transcribeert doorlopend, en de README noemt het een naïef voorbeeld.
Terminal: Zet een bijgeknipte opname om naar het WAV-formaat dat whisper-cli leest, met het eigen commando uit de README.
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wavWat er gebeurt: ffmpeg schrijft output.wav als audio van 16 kHz, mono en 16-bit, die je daarna na -f aan whisper-cli geeft.
Een modelbestand dat je voor whisper.cpp hebt gedownload werkt ook in YapToText: onder Your own models op de pagina AI Models neemt Add Model elk GGML-bestand .bin van whisper.cpp aan. De gids over lokaal Whisper heeft de volledige installatie, modelgroottes en cijfers voor het geheugen.
Wat geen beveiliging kan beloven
- Elke hallucinatie. De beveiligingen vangen de patronen op die ik heb gezien en getest. Een nieuw patroon kan erdoor komen, en daarom is het ruwe transcript altijd één klik weg.
- Woorden die nooit zijn gehoord. Geen beveiliging kan spraak terughalen die de microfoon niet heeft opgevangen, en het verwijderen van verzonnen tekst laat een gat achter, niet de echte woorden.
- Een eigen percentage. Ik heb geen percentage hallucinaties gemeten voor YapToText of voor een ander model, dus deze pagina citeert alleen het gepubliceerde onderzoek, met zijn grenzen.
- Extra's bij het transcriberen van bestanden. Bestanden komen terug als platte tekst, zonder tijdcodes, dus je kunt niet van een verdachte regel naar de plek in de audio springen. De pagina over audiobestanden behandelt die functie.
- Lange pauzes als manier van spreken. Whisper is een algemeen model, en niets in YapToText verandert hoe het spraak met lange pauzes verwerkt, behalve het samendrukken van de stilte.
- Een Intel-Mac. YapToText heeft een Mac met Apple chip en macOS 14 of nieuwer nodig.
Beveiligingen verkleinen de kans. Lezen wat je hebt gedicteerd blijft de laatste controle.
Kort samengevat
- Wat het is. Tekst zonder spraak erachter: lussen, afsluiters over stilte, verzonnen zinnen en labels.
- Waarom. Whisper voorspelt en transcribeert, en stilte, pauzes, muziek en ruis geven de voorspelling ruimte.
- In YapToText. Lange stiltes worden samengedrukt. Herhaallussen, labels voor sprekers en beleefdheidsfrasen uit stilte worden verwijderd. Een uitgegroeid resultaat van het opschonen wordt weggegooid.
- Voor iedereen. Stop als je klaar bent, knip stilte weg, stel de taal in en lees het ruwe transcript.
YapToText is gratis in de Mac App Store, en Whisper draait op je Mac.
Geef Whisper minder stilte en controleer wat het schreef. Typt YapToText ooit iets wat je niet zei, open dan een issue op GitHub met het ruwe transcript uit History. Ik lees ze allemaal.
Gratis te downloaden. Geen account, niets op slot, voor macOS 14 of nieuwer op een Mac met Apple chip. Broncode op GitHub.
Handleidingen
Meer handleidingen, in het Engels
Bronnen
- https://arxiv.org/abs/2402.08021 (bekeken op 5 oktober 2026)
- https://dl.acm.org/doi/10.1145/3630106.3658996 (bekeken op 5 oktober 2026)
- https://news.cornell.edu/stories/2024/06/ai-speech-text-can-hallucinate-violent-language (bekeken op 5 oktober 2026)
- https://github.com/openai/whisper/blob/main/model-card.md (bekeken op 5 oktober 2026)
- https://cdn.openai.com/papers/whisper.pdf (bekeken op 5 oktober 2026)
- https://github.com/openai/whisper/discussions/1873 (bekeken op 5 oktober 2026)
- https://github.com/openai/whisper (bekeken op 3 oktober 2026)
- https://github.com/ggml-org/whisper.cpp (bekeken op 3 oktober 2026)
- https://github.com/ryleighnewman/YapToText (bekeken op 3 oktober 2026)
- https://apps.apple.com/us/app/yaptotext/id6786382289 (bekeken op 3 oktober 2026)
Vragen
Waarom hallucineert Whisper?
Het modelkaartje van OpenAI zegt dat Whisper is getraind op grote hoeveelheden rumoerige data en tekst kan uitvoeren die niet is gesproken, waarschijnlijk omdat het het volgende woord voorspelt en tegelijk transcribeert. Stilte, lange pauzes, muziek en ruis geven die voorspelling meer ruimte.
Waarom schrijft Whisper "thank you for watching"?
Het is een bekend soort hallucinatie over stilte of muziek. Gebruikers in de draad "Share your hallucinations here" in de repository van Whisper melden het samen met ondertitelcredits. De opname stoppen als je klaar bent met praten en stilte wegknippen geeft het minder ruimte.
Waarom blijft Whisper dezelfde tekst herhalen?
Het artikel van OpenAI noemt vastlopen in herhaallussen als een manier waarop het misgaat, en het modelkaartje zegt dat de architectuur gevoelig is voor herhalende tekst. Lussen verschijnen vaak aan een stille staart, die de beveiliging van YapToText samenvouwt.
Hoe vaak komen hallucinaties van Whisper voor?
Het onderzoek Careless Whisper vond dat ongeveer 1% van de transcripties van de Whisper-API van OpenAI in de steekproef van 2023 verzonnen zinnen bevatte. Jouw eigen percentage hangt af van je audio, je model en je app.
Hoe los ik hallucinaties van Whisper op?
Geef het minder stilte: stop als je klaar bent, pauzeer met opzet en knip opnames bij. Stel de taal in, gebruik een schoon microfoonsignaal en lees het ruwe transcript zodat je kunt zien wat Whisper echt schreef.
Hallucineert YapToText?
De app draait Whisper, dus het kan. Het drukt lange stiltes samen, verwijdert herhaallussen, verzonnen labels voor sprekers en beleefdheidsfrasen die uit stilte zijn gehallucineerd, en gooit een resultaat van het opschonen weg dat ruim voorbij wat je zei groeit. History toont het ruwe transcript.