Les hallucinations de Whisper : pourquoi Whisper écrit des mots que personne n'a dits, et comment l'éviter

Les hallucinations de Whisper sont des mots d'une transcription que personne n'a dits : une phrase répétée encore et encore, une formule de fin comme « Thank you for watching » sur du silence, ou une phrase entière inventée. Elles arrivent parce que Whisper écrit du texte un peu comme le fait un modèle de langage, et quand l'audio est silencieux, bruyant ou peu clair, son idée de ce qui vient d'habitude après peut peser plus que ce qu'il a réellement entendu.

La fiche du modèle d'OpenAI le signale elle-même, et une étude de 2024 a trouvé des phrases inventées dans environ 1 % des transcriptions qu'elle a testées. Je crée YapToText, une app de dictée gratuite pour Mac qui exécute Whisper sur votre Mac, parce que taper au clavier m'est difficile et que je dicte tous les jours, et une bonne part du travail autour du modèle a servi à repérer exactement cela. Voici ce qui suit : à quoi ressemblent les hallucinations, pourquoi elles arrivent, ce qu'a trouvé la recherche, ce que YapToText fait contre elles, et ce que vous pouvez faire avec n'importe quelle installation de Whisper, whisper.cpp compris.

Télécharger YapToText dans le Mac App StoreTéléchargement gratuit. Sans compte, sans rien de verrouillé, pour macOS 14 ou ultérieur sur un Mac avec puce Apple. Code source sur GitHub.

Sur cette page : 13 sections
  1. Étapes
  2. À quoi ressemble une hallucination de Whisper
  3. Pourquoi Whisper hallucine
  4. Ce qu'a trouvé l'étude Careless Whisper
  5. Comment YapToText s'en protège
    1. Avant que Whisper entende quoi que ce soit
    2. Après le retour de la transcription
    3. Quand le modèle de mise au propre se trompe
  6. Voir ce que Whisper a réellement entendu
    1. Étape 1 : ouvrir la dictée dans History
    2. Étape 2 : dicter la suivante en brut
  7. Éviter les hallucinations dans n'importe quelle app Whisper
  8. Conseils pour les utilisateurs de whisper.cpp
  9. Ce qu'aucun garde-fou ne peut promettre
  10. En bref
  11. Guides
  12. Autres guides, en anglais
  13. Questions

Étapes

  1. Arrêtez l'enregistrement dès que vous avez fini de parler, ou activez Auto-stop after silence sur la page Dictation.
  2. Appuyez sur Space pour faire une pause pendant une longue réflexion au lieu d'enregistrer le silence.
  3. Choisissez la langue que vous parlez dans le sélecteur Language de la page AI Models.
  4. Avant de transcrire un fichier, coupez les longs silences et la musique, et convertissez-le en WAV 16 bits si vous utilisez whisper-cli.
  5. Dans History, cliquez sur Show pipeline details et lisez la transcription brute, ou appuyez sur 2 pendant que vous parlez pour Raw Transcription.

À quoi ressemble une hallucination de Whisper

L'article d'OpenAI sur Whisper énumère les modes de défaillance en termes simples : rester bloqué dans des boucles de répétition, ne pas transcrire les premiers ou derniers mots d'un segment audio, et l'hallucination complète, où le modèle produit une transcription sans aucun rapport avec l'audio réel. En pratique, elles prennent quatre formes. Une hallucination n'est pas un mot mal entendu. C'est un mot qui n'a aucun son derrière lui.

  • Les boucles de répétition. La même phrase, le même groupe de mots ou le même mot, encore et encore, souvent à la fin d'un enregistrement qui s'éteint dans le silence. La fiche du modèle d'OpenAI dit que l'architecture séquence à séquence rend le modèle sujet à la génération de texte répétitif, ce que la recherche par faisceau et la planification de la température peuvent atténuer dans une certaine mesure, mais pas parfaitement.
  • Du texte sorti du silence. Dans le fil de discussion du dépôt de Whisper intitulé « Share your hallucinations here », des utilisateurs signalent des lignes comme « Thank you for watching » et des génériques de sous-titres qui apparaissent sur du silence, de la musique ou des bruitages, là où personne ne parlait.
  • Des phrases inventées. Des phrases entières qui n'ont jamais été dites. Le compte rendu de Cornell sur l'étude Careless Whisper dit que Whisper invente parfois des phrases entières, avec parfois un langage violent, de fausses informations personnelles et de faux sites web.
  • Des étiquettes et des indications de mise en scène. Du texte qui se lit comme un scénario plutôt que comme de la parole. Les notes de version 1.4 de YapToText mentionnent la correction d'étiquettes d'interlocuteur hallucinées, comme « Male speaker: », qui apparaissaient dans les transcriptions.

La défaillance inverse, des mots perdus au début ou à la fin, est liée, et c'est pourquoi un premier mot manquant et une dernière ligne inventée peuvent venir du même enregistrement. Les mots simplement mal entendus sont un autre problème avec d'autres remèdes, traités dans le guide de Whisper pour Mac.

Pourquoi Whisper hallucine

OpenAI explique la cause dans la fiche de son modèle. Comme les modèles ont été entraînés de façon faiblement supervisée sur des données bruitées à grande échelle, leurs prédictions peuvent inclure du texte qui n'est pas réellement prononcé dans l'audio. La fiche du modèle suggère que cela vient du fait que le modèle combine la prédiction du mot suivant et la transcription de l'audio lui-même, et elle dit que le comportement peut être pire dans les langues moins bien dotées ou moins faciles à repérer. Quand il y a peu de son sur quoi s'appuyer, la moitié devinante du modèle fait une plus grande part du travail.

Cela indique les conditions qui l'invitent :

  • Le silence et les longues pauses. L'étude Careless Whisper a trouvé que les hallucinations surviennent de façon disproportionnée chez les personnes dont les paroles comportent une plus grande part de temps sans voix, autrement dit des pauses plus longues.
  • La musique et les bruitages. Les signalements dans le dépôt de Whisper se concentrent sur des passages sans parole.
  • Un signal bruyant ou faible. Une parole moins claire donne au modèle moins de points d'appui pour chaque mot.
  • La langue. OpenAI dit que les performances varient beaucoup selon la langue, et la fiche du modèle dit que l'hallucination peut être pire dans les langues moins bien dotées.

Un autre détail compte pour les repérer. L'étude a trouvé que les hallucinations de l'API Whisper d'OpenAI n'étaient pas déterministes, avec un texte aléatoire différent à chaque passage, et elle a utilisé les différences entre deux passages du même audio pour les trouver. Si votre outil donne un texte différent pour le même audio sur deux passages, la partie qui a changé mérite un second regard.

Ce qu'a trouvé l'étude Careless Whisper

L'étude s'intitule « Careless Whisper: Speech-to-Text Hallucination Harms », par Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann et Mona Sloane, présentée à l'ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024. Le taux est faible. Le tort d'une seule phrase inventée peut être grand.

Vérifié le 5 octobre 2026 dans l'article sur arXiv et dans l'ACM Digital Library, et dans le reportage de Cornell.

  • Ce qu'ils ont testé. Près de 40 heures d'audio d'AphasiaBank, 13 140 segments, de personnes atteintes d'aphasie et d'un groupe témoin, envoyées à l'API Whisper d'OpenAI en 2023.
  • Combien de fois. Environ 1 % des transcriptions contenaient des phrases ou des groupes de phrases entiers hallucinés, qui n'existaient sous aucune forme dans l'audio d'origine.
  • À quel point c'est grave. 38 % des hallucinations comportaient des préjudices explicites, comme perpétuer la violence, inventer des associations inexactes ou suggérer une fausse autorité.
  • Pour qui. Les personnes atteintes d'aphasie ont eu plus d'hallucinations que le groupe témoin, et les segments comportant plus de temps sans voix en produisaient plus volontiers.
  • Avec le temps. Quand les auteurs ont repassé l'audio en décembre 2023, beaucoup d'exemples étaient résolus, mais 12 segments audio sur 187 produisaient encore des hallucinations.

Deux choses à garder en tête en lisant ces chiffres. Ils décrivent l'API hébergée d'OpenAI sur cet échantillon en 2023, pas whisper.cpp, pas Whisper Large v3 Turbo et pas YapToText, donc ils ne prédisent rien pour votre propre dictée. Et ils ne sont pas une raison de s'alarmer : ils sont une raison de relire ce que vous avez dicté, ce qui est de toute façon une bonne pratique. Si de longues pauses font partie de votre façon de parler, la dictée selon la situation dit honnêtement où YapToText peut être en défaut.

Comment YapToText s'en protège

YapToText exécute le fichier Whisper Large v3 Turbo (Q5) d'origine avec whisper.cpp. Je n'ai pas réentraîné le modèle. Ce que j'ai construit, c'est un traitement autour de lui, et une partie de ce traitement sert à tenir hors de votre document les mots que personne n'a dits. Le modèle est celui d'origine. Les garde-fous autour de lui concentrent le travail.

Avant que Whisper entende quoi que ce soit

  • Les longs silences sont comprimés avant la transcription, pour que le modèle ne dérive pas.
  • Le bruit est mesuré à chaque dictée, et un bruit constant n'est retranché que lorsque le rapport l'exige. Une voix faible est relevée par rapport à la pièce.
  • Les enregistrements bruyants reçoivent une recherche plus profonde. Le décodage passe de la recherche gloutonne à la recherche par faisceau quand l'enregistrement est mesuré comme bruyant.
  • La demi-seconde avant votre appui sur la touche est conservée, pour que les premiers mots ne soient pas coupés.
Affiche de l'App Store intitulée It hears you through anything, qui liste les étapes audio au-dessus du panneau d'enregistrement déployé.
Figure 1. Les étapes autour du modèle d'origine, de la suppression du bruit de fond à la compréhension du silence. L'essentiel de la protection contre les hallucinations se joue ici et juste après le retour de la transcription.

Après le retour de la transcription

  • Les boucles de répétition sont repérées et supprimées. Un garde-fou réduit les boucles dans lesquelles Whisper tombe sur les fins silencieuses, et depuis la version 1.4, une longue dictée qui se termine dans le silence ne répète plus sa dernière phrase à l'infini.
  • Les étiquettes d'interlocuteur inventées sont supprimées, ainsi que les indications de mise en scène. Avant la correction de la version 1.4, une étiquette comme « Male speaker: » pouvait même être apprise comme du vocabulaire.
  • Les formules de politesse hallucinées à partir du silence sont repérées et supprimées.
  • Le silence ne tape rien. Si une dictée n'était que du silence, YapToText dit « Didn't catch that » et rien n'est transcrit.
  • Une transcription courte reçoit un second passage. Si le texte revient plus court que la parole entrée, un passage de rattrapage s'exécute.

Quand le modèle de mise au propre se trompe

Tous les modes sauf Raw Transcription confient la transcription à un petit modèle de mise au propre sur votre Mac, et un modèle de langage peut aussi inventer. L'app vérifie son travail : si le résultat se lit comme la réponse d'un assistant, dépasse largement ce que vous avez dit, répète le texte de référence ou invente des points de suspension, il est jeté et la transcription brute est tapée à la place. On dit aussi au modèle de mise au propre de ne jamais supprimer une phrase ni d'ajouter quoi que ce soit que vous n'avez pas dit. La page sur la dictée par IA présente ces règles.

Chacun de ces changements est mesuré sur un banc de mes propres dictées réelles avant sa publication. Ce sont les enregistrements d'une seule personne, pas un banc d'essai de référence, et repéré et supprimé ne veut pas dire jamais : un nouveau type d'hallucination peut encore passer.

Voir ce que Whisper a réellement entendu

Le moyen le plus rapide de distinguer une hallucination d'une erreur de mise au propre est de regarder ce que Whisper a produit avant que quoi que ce soit d'autre y touche. Si le texte inventé figure dans la transcription brute, c'est Whisper qui l'a écrit. Sinon, c'est la mise au propre.

Étape 1 : ouvrir la dictée dans History

  • Vous : Ouvrez History, trouvez la dictée et cliquez sur Show pipeline details.
  • YapToText : Affiche la transcription brute au-dessus du texte final, avec le mode, la langue et les durées en dessous.
  • Vérifiez : Lisez la transcription brute en la comparant à ce dont vous vous souvenez avoir dit.
Une entrée de History de YapToText avec les détails du traitement ouverts : transcription brute, transcription mise au propre, mode, remise, app cible et durées.
Figure 2. La transcription brute se trouve au-dessus du texte mis au propre, donc une ligne que personne n'a dite peut être attribuée à Whisper ou à la mise au propre.

Étape 2 : dicter la suivante en brut

  • Vous : Pendant que vous parlez, appuyez sur 2, Raw Transcription dans l'ordre par défaut avec le mode Auto activé.
  • YapToText : Tape les mots de Whisper avec la ponctuation de base et sans modèle d'IA, pour cette seule dictée.
  • Vérifiez : Ce qui arrive est ce que Whisper a entendu. Pour garder chaque dictée brute, désactivez Post-transcription analysis sur la page Home.

Copy Raw Transcript, dans le menu d'export de chaque entrée de History, place sur le presse-papiers la version d'avant la mise au propre. Et si vous voulez relire chaque longue dictée avant qu'elle arrive, activez Review before inserting dans Settings, Advanced, Text output. Le guide des modes explique ce que chaque mode a le droit de changer.

Éviter les hallucinations dans n'importe quelle app Whisper

La plupart des hallucinations naissent du silence, donc la meilleure prévention est de donner moins de silence à Whisper. Ces conseils valent pour toute app Whisper, et les réglages de YapToText sont nommés là où ils s'appliquent. Moins il entre de silence, moins il sort de mots inventés.

  1. Arrêtez quand vous avez fini. Appuyez sur la touche dès que vous avez fini de parler, au lieu de laisser l'enregistrement tourner. Dans YapToText, Auto-stop after silence, désactivé par défaut, dans la carte Recording de la page Dictation, met fin à une dictée après 0,5 à 5 secondes de calme.
  2. Faites une pause volontaire. Pour une longue réflexion au milieu, appuyez sur Space pour mettre la dictée en pause et de nouveau pour reprendre. L'espace n'est jamais tapé.
  3. Réglez la langue. Choisissez la langue que vous parlez dans le sélecteur Language de la page AI Models au lieu de laisser Whisper la deviner. La page des langues liste les 29.
  4. Donnez un signal propre. Micro près de la bouche, pièce calme, musique coupée. Dans YapToText, Pause music and video while dictating, activé par défaut, met la lecture en pause pendant que vous parlez.
  5. Coupez d'abord les enregistrements. Avant de transcrire un fichier, retirez les longs passages silencieux et la musique du début et de la fin dans n'importe quel éditeur audio.
  6. Relisez quand cela compte. Relisez la transcription brute pour tout ce qui sera envoyé, classé ou cité.
La page de réglages Dictation de YapToText sur un Mac : les cartes Keys, Recording, Microphone et Delivery.
Figure 3. Auto-stop after silence se trouve dans la carte Recording de la page Dictation, désactivé par défaut. Activez-le pour mettre fin à une dictée quand vous cessez de parler.

La page des touches et des raccourcis présente Space, Esc et le reste.

Conseils pour les utilisateurs de whisper.cpp

Si vous exécutez Whisper vous-même avec whisper.cpp, vous contrôlez l'audio qui entre, et c'est là que se joue l'essentiel de la prévention. Un audio propre et coupé est le remède le moins cher qui existe contre les hallucinations.

  • Convertissez correctement. Le README de whisper.cpp dit que whisper-cli ne fonctionne actuellement qu'avec des fichiers WAV 16 bits, et donne une commande ffmpeg pour convertir tout le reste.
  • Coupez d'abord. Retirez les longs silences et la musique avant de convertir, pour que le modèle ne les voie jamais.
  • Réglez la langue si vous le pouvez. Regardez la sortie d'aide de whisper-cli pour une option de langue plutôt que de vous fier à la détection.
  • Essayez une autre taille de modèle. Si vous ne parlez qu'anglais et que la mémoire est juste, OpenAI dit que les modèles .en, réservés à l'anglais, ont tendance à mieux faire pour l'anglais, surtout en tiny et base.
  • Sachez ce qu'est le mode en direct. whisper-stream échantillonne le micro toutes les demi-secondes et transcrit en continu, et le README l'appelle un exemple naïf.

Terminal : Convertissez un enregistrement coupé au format WAV que lit whisper-cli, avec la commande du README.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Ce qui se passe : ffmpeg écrit output.wav en audio 16 kHz, mono, 16 bits, que vous donnez ensuite à whisper-cli après -f.

Un fichier de modèle téléchargé pour whisper.cpp fonctionne aussi dans YapToText : sous Your own models sur la page AI Models, Add Model accepte n'importe quel fichier .bin GGML de whisper.cpp. Le guide de Whisper en local donne la configuration complète, les tailles de modèle et les chiffres de mémoire.

Ce qu'aucun garde-fou ne peut promettre

  • Toutes les hallucinations. Les garde-fous attrapent les formes que j'ai vues et testées. Une nouvelle peut passer, et c'est pourquoi la transcription brute est toujours à un clic.
  • Les mots jamais entendus. Aucun garde-fou ne peut retrouver une parole que le micro n'a pas captée, et supprimer un texte inventé laisse un trou, pas les vrais mots.
  • Un taux qui m'appartienne. Je n'ai mesuré aucun taux d'hallucination pour YapToText ni pour aucun modèle, donc cette page ne cite que l'étude publiée, avec ses limites.
  • Les extras de la transcription de fichiers. Les fichiers reviennent en texte brut, sans horodatage, donc on ne peut pas sauter d'une ligne suspecte à sa place dans l'audio. La page du fichier audio présente cette fonction.
  • De longues pauses comme façon de parler. Whisper est un modèle généraliste, et rien dans YapToText ne change sa façon de traiter une parole à longues pauses, au-delà de la compression du silence.
  • Un Mac Intel. YapToText demande un Mac avec puce Apple et macOS 14 ou ultérieur.

Les garde-fous réduisent les risques. Relire ce que vous avez dicté reste la dernière vérification.

En bref

  • Ce que c'est. Du texte sans parole derrière : boucles, formules de fin sur du silence, phrases et étiquettes inventées.
  • Pourquoi. Whisper prédit autant qu'il transcrit, et le silence, les pauses, la musique et le bruit laissent de la place à la prédiction.
  • Dans YapToText. Les longs silences sont comprimés. Les boucles de répétition, les étiquettes d'interlocuteur et les formules de politesse issues du silence sont supprimées. Une mise au propre qui déborde est jetée.
  • Pour tout le monde. Arrêtez quand vous avez fini, coupez le silence, réglez la langue et lisez la transcription brute.

YapToText est gratuit sur le Mac App Store, et Whisper s'exécute sur votre Mac.

Donnez moins de silence à Whisper, et vérifiez ce qu'il a écrit. Si YapToText tape un jour quelque chose que vous n'avez pas dit, ouvrez une issue sur GitHub avec la transcription brute de History. Je les lis toutes.

Télécharger YapToText dans le Mac App StoreTéléchargement gratuit. Sans compte, sans rien de verrouillé, pour macOS 14 ou ultérieur sur un Mac avec puce Apple. Code source sur GitHub.

Qui écrit. Ryleigh Newman développe des logiciels, a du mal à taper au clavier et dicte tous les jours avec YapToText, l'app que ce site décrit. Cette page est traduite de l'anglais. L'interface de l'app et le reste du site sont en anglais. En savoir plus sur le projet, en anglais.

Guides

Autres guides, en anglais

Sources

Questions

Pourquoi Whisper hallucine-t-il ?

La fiche du modèle d'OpenAI dit que Whisper a été entraîné sur des données bruitées à grande échelle et peut produire du texte qui n'a pas été prononcé, probablement parce qu'il prédit le mot suivant en même temps qu'il transcrit. Le silence, les longues pauses, la musique et le bruit laissent plus de place à cette prédiction.

Pourquoi Whisper écrit-il « thank you for watching » ?

C'est un type d'hallucination connu sur du silence ou de la musique. Des utilisateurs du fil « Share your hallucinations here » du dépôt de Whisper le signalent, avec des génériques de sous-titres. Arrêter l'enregistrement quand vous avez fini de parler et couper le silence lui laisse moins de place.

Pourquoi Whisper répète-t-il sans cesse le même texte ?

L'article d'OpenAI cite le blocage dans des boucles de répétition comme un mode de défaillance, et la fiche du modèle dit que l'architecture est sujette au texte répétitif. Les boucles apparaissent souvent sur une fin silencieuse, que le garde-fou de YapToText réduit.

Les hallucinations de Whisper sont-elles fréquentes ?

L'étude Careless Whisper a trouvé qu'environ 1 % des transcriptions de l'API Whisper d'OpenAI, dans son échantillon de 2023, contenaient des phrases ou des groupes de phrases inventés. Votre propre taux dépend de votre audio, de votre modèle et de votre app.

Comment corriger les hallucinations de Whisper ?

Donnez-lui moins de silence : arrêtez quand vous avez fini, faites des pauses volontaires et coupez les enregistrements. Réglez la langue, utilisez un signal de micro propre, et lisez la transcription brute pour voir ce que Whisper a réellement écrit.

YapToText hallucine-t-il ?

Il exécute Whisper, donc il le peut. Il comprime les longs silences, supprime les boucles de répétition, les étiquettes d'interlocuteur inventées et les formules de politesse hallucinées à partir du silence, et jette une mise au propre qui dépasse largement ce que vous avez dit. History montre la transcription brute.