Alucinações do Whisper: por que ele escreve palavras que ninguém disse e como evitar

Por · Publicado em

As alucinações do Whisper são palavras em uma transcrição que ninguém disse: uma frase repetida sem parar, uma despedida como "Thank you for watching" sobre o silêncio, ou uma frase inteira inventada. Elas acontecem porque o Whisper escreve texto de um jeito parecido com o de um modelo de linguagem, e, quando o áudio está silencioso, ruidoso ou pouco claro, a noção dele do que costuma vir a seguir pode pesar mais do que o que ele de fato ouviu.

O próprio cartão do modelo da OpenAI avisa sobre isso, e um estudo de 2024 encontrou frases inventadas em cerca de 1% das transcrições que testou. Eu criei o YapToText, um app gratuito de ditado para Mac que roda o Whisper no seu Mac, porque tenho dificuldade para digitar e dito todo dia, e boa parte do trabalho em volta do modelo foi dedicada a pegar exatamente isso. A seguir: como as alucinações aparecem, por que acontecem, o que a pesquisa encontrou, o que o YapToText faz a respeito e o que você pode fazer com qualquer configuração do Whisper, incluindo o whisper.cpp.

Baixar o YapToText na Mac App StoreDownload gratuito. Sem conta e sem nada bloqueado, para macOS 14 ou posterior em um Mac com chip da Apple. Código-fonte no GitHub.

Este guia em outros idiomas: English, Čeština, Deutsch, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文

Nesta página: 14 seções
  1. Passos
  2. Como é uma alucinação do Whisper
  3. Por que o Whisper alucina
  4. O que o estudo Careless Whisper encontrou
  5. Como o YapToText se protege
    1. Antes de o Whisper ouvir qualquer coisa
    2. Depois que a transcrição volta
    3. Quando o modelo de limpeza erra
  6. Veja o que o Whisper realmente ouviu
    1. Passo 1: abra o ditado no History
    2. Passo 2: dite o próximo em modo bruto
  7. Evite alucinações em qualquer app com Whisper
  8. Dicas para quem usa o whisper.cpp
  9. O que nenhuma proteção promete
  10. Resumindo
  11. Guias
  12. Mais guias, em inglês
  13. Fontes
  14. Perguntas

Passos

  1. Pare a gravação assim que terminar de falar, ou ative <span lang="en">Auto-stop after silence</span> na página <span lang="en">Dictation</span>.
  2. Pressione <span lang="en">Space</span> para pausar durante uma pausa longa para pensar, em vez de gravar o silêncio.
  3. Escolha o idioma em que você fala no seletor <span lang="en">Language</span> da página <span lang="en">AI Models</span>.
  4. Antes de transcrever um arquivo, apare os silêncios longos e a música e converta-o para WAV de 16 bits se usar o whisper-cli.
  5. No <span lang="en">History</span>, clique em <span lang="en">Show pipeline details</span> e leia a transcrição bruta, ou pressione <span lang="en">2</span> enquanto fala para usar <span lang="en">Raw Transcription</span>.

Como é uma alucinação do Whisper

O artigo do Whisper, da OpenAI, lista os modos de falha em palavras simples: ficar preso em laços de repetição, não transcrever as primeiras ou as últimas palavras de um trecho de áudio e a alucinação completa, em que o modelo produz uma transcrição sem relação alguma com o áudio real. Na prática elas aparecem em quatro padrões. Uma alucinação não é uma palavra ouvida errado. É uma palavra sem som nenhum por trás.

  • Laços de repetição. A mesma frase, expressão ou palavra de novo e de novo, muitas vezes no fim de uma gravação que se perde no silêncio. O cartão do modelo da OpenAI diz que a arquitetura sequência a sequência deixa o modelo propenso a gerar texto repetitivo, o que a busca em feixe e o ajuste de temperatura podem atenuar até certo ponto, mas não perfeitamente.
  • Texto saído do silêncio. No tópico de discussão do próprio repositório do Whisper, intitulado "Share your hallucinations here", usuários relatam linhas como "Thank you for watching" e créditos de legendas aparecendo sobre silêncio, música ou efeitos sonoros, onde ninguém falava.
  • Frases inventadas. Frases inteiras que nunca foram ditas. O texto da Cornell sobre o estudo Careless Whisper diz que o Whisper às vezes inventa frases e sentenças inteiras, em alguns casos com linguagem violenta, informações pessoais inventadas e sites falsos.
  • Rótulos e rubricas. Texto que parece roteiro, e não fala. As notas da versão 1.4 do YapToText registram a correção de rótulos de quem fala alucinados, como "Male speaker:", que apareciam nas transcrições.

A falha oposta, palavras perdidas no começo ou no fim, é parente dessa, e por isso uma primeira palavra que falta e uma última linha inventada podem vir da mesma gravação. Palavras comuns ouvidas errado são outro problema, com outras correções, tratado no guia do Whisper para Mac.

Por que o Whisper alucina

A OpenAI explica a causa no cartão do modelo. Como os modelos foram treinados de forma fracamente supervisionada com dados ruidosos em grande escala, as previsões deles podem incluir texto que não foi realmente falado no áudio. O cartão do modelo sugere que isso acontece porque o modelo combina a tentativa de prever a próxima palavra com a de transcrever o próprio áudio, e diz que o comportamento pode ser pior em idiomas com menos recursos ou menos visibilidade. Quando há pouco som para se apoiar, a metade do modelo que adivinha faz mais do trabalho.

Isso aponta para as condições que favorecem o problema:

  • Silêncio e pausas longas. O estudo Careless Whisper concluiu que as alucinações ocorrem de forma desproporcional com pessoas que falam com parcelas maiores de tempo sem voz, ou seja, pausas mais longas.
  • Música e efeitos sonoros. Os relatos no repositório do Whisper se concentram em trechos sem fala.
  • Um sinal ruidoso ou fraco. Uma fala menos clara dá ao modelo menos em que ancorar cada palavra.
  • O idioma. A OpenAI diz que o desempenho varia muito conforme o idioma, e o cartão do modelo diz que a alucinação pode ser pior em idiomas com menos recursos.

Mais um detalhe ajuda a identificá-las. O estudo concluiu que as alucinações da API do Whisper da OpenAI eram não determinísticas, gerando texto aleatório diferente a cada execução, e usou as diferenças entre duas execuções do mesmo áudio para encontrá-las. Se a sua ferramenta dá textos diferentes para o mesmo áudio em duas execuções, vale olhar de novo a parte que mudou.

O que o estudo Careless Whisper encontrou

O estudo é "Careless Whisper: Speech-to-Text Hallucination Harms", de Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann e Mona Sloane, apresentado na ACM Conference on Fairness, Accountability, and Transparency, a FAccT 2024. A taxa é pequena. O dano de uma única frase inventada pode ser grande.

Consultado em 5 de outubro de 2026, no artigo no arXiv e na ACM Digital Library, e na reportagem da Cornell.

  • O que testaram. Quase 40 horas de áudio do AphasiaBank, 13.140 trechos, de pessoas com afasia e de um grupo de controle, enviados à API do Whisper da OpenAI em 2023.
  • Com que frequência. Cerca de 1% das transcrições continha frases ou sentenças inteiras alucinadas que não existiam de forma alguma no áudio original.
  • Quão grave. 38% das alucinações incluíam danos explícitos, como perpetuar violência, criar associações imprecisas ou sugerir uma autoridade falsa.
  • Com quem. Pessoas com afasia tiveram mais alucinações do que o grupo de controle, e trechos com mais tempo sem voz tinham mais chance de produzi-las.
  • Com o tempo. Quando os autores rodaram o áudio de novo em dezembro de 2023, muitos exemplos estavam resolvidos, mas 12 de 187 trechos de áudio ainda produziam alucinações.

Duas coisas para não confundir ao ler esses números. Eles descrevem a API hospedada da OpenAI naquela amostra em 2023, não o whisper.cpp, nem o Whisper Large v3 Turbo, nem o YapToText, então não são uma previsão para o seu ditado. E não são motivo de pânico: são motivo para ler o que você ditou, o que já é uma boa prática. Se pausas longas fazem parte do seu jeito de falar, o ditado por condição diz com honestidade onde o YapToText pode ficar a desejar.

Como o YapToText se protege

O YapToText roda o arquivo padrão do Whisper Large v3 Turbo (Q5) pelo whisper.cpp. Eu não retreinei o modelo. O que construí foi um conjunto de etapas em volta dele, e parte dessas etapas existe para manter palavras que ninguém disse fora do seu documento. O modelo é o padrão. As proteções em volta dele são onde o trabalho foi parar.

Antes de o Whisper ouvir qualquer coisa

  • Silêncios longos são comprimidos antes da transcrição, para o modelo não se perder.
  • O ruído é medido em cada ditado, e o ruído constante só é subtraído quando a proporção pede. Uma voz baixa é realçada em relação ao ambiente.
  • Trechos ruidosos recebem uma busca mais funda. A decodificação passa de gulosa para busca em feixe quando o trecho mede como ruidoso.
  • O meio segundo antes de você pressionar a tecla é mantido, para as primeiras palavras não serem cortadas.
Pôster da App Store com o título It hears you through anything, listando as etapas de áudio acima do painel de gravação expandido.
Figura 1. As etapas em volta do modelo padrão, da remoção de ruído de fundo à compreensão do silêncio. A maior parte da proteção contra alucinações acontece aqui e logo depois que a transcrição volta.

Depois que a transcrição volta

  • Laços de repetição são pegos e removidos. Uma proteção desfaz os laços em que o Whisper cai nos finais silenciosos e, desde a 1.4, um ditado longo que termina em silêncio não repete mais a última frase sem parar.
  • Rótulos de quem fala inventados são removidos, junto com rubricas. Antes da correção da 1.4, um rótulo como "Male speaker:" podia até ser aprendido como vocabulário.
  • Cortesias alucinadas a partir do silêncio são pegas e removidas.
  • O silêncio não digita nada. Se um ditado era só silêncio, o YapToText diz "Didn't catch that" e nada é transcrito.
  • Uma transcrição curta ganha uma segunda passada. Se o texto volta mais curto do que a fala que entrou, uma passada de resgate é feita.

Quando o modelo de limpeza erra

Todo modo, exceto Raw Transcription, entrega a transcrição a um pequeno modelo de limpeza no seu Mac, e um modelo de linguagem também pode inventar. O app confere o próprio trabalho: se o resultado parece a resposta de um assistente, cresce bem além do que você disse, repete o texto de referência ou inventa reticências, ele é descartado e a transcrição bruta é digitada no lugar. A limpeza também é instruída a nunca omitir uma frase nem acrescentar algo que você não disse. A página de ditado com IA trata dessas regras.

Cada uma dessas mudanças é medida contra um conjunto de ditados reais meus antes de ser lançada. São gravações de uma pessoa, não um benchmark, e pego e removido não é o mesmo que nunca: um novo tipo de alucinação ainda pode passar.

Veja o que o Whisper realmente ouviu

O jeito mais rápido de distinguir uma alucinação de um erro da limpeza é olhar o que o Whisper produziu antes de qualquer outra etapa mexer. Se o texto inventado está na transcrição bruta, o Whisper o escreveu. Se não está, foi a limpeza.

Passo 1: abra o ditado no History

  • Você: Abra o History, encontre o ditado e clique em Show pipeline details.
  • YapToText: Mostra a transcrição bruta acima do texto final, com o modo, o idioma e os tempos abaixo.
  • Confira: Leia a transcrição bruta comparando com o que você lembra de ter dito.
Uma entrada do History do YapToText com os detalhes do pipeline abertos: transcrição bruta, transcrição limpa, modo, entrega, app de destino e tempos.
Figura 2. A transcrição bruta fica acima do texto limpo, então uma linha que ninguém disse pode ser atribuída ao Whisper ou à limpeza.

Passo 2: dite o próximo em modo bruto

  • Você: Enquanto fala, pressione 2, Raw Transcription na ordem padrão com o modo Auto ativado.
  • YapToText: Digita as palavras do Whisper com pontuação básica e sem modelo de IA, só para esse ditado.
  • Confira: O que chega é o que o Whisper ouviu. Para manter todo ditado bruto, desative Post-transcription analysis na página Home.

Copy Raw Transcript, no menu de exportação de cada entrada do History, coloca na área de transferência a versão de antes da limpeza. E, se você quer ler todo ditado longo antes de ele chegar, ative Review before inserting em Settings, Advanced, Text output. O guia dos modos explica o que cada modo pode mudar.

Evite alucinações em qualquer app com Whisper

A maioria das alucinações nasce do silêncio, então a melhor prevenção é dar menos silêncio ao Whisper. Estas dicas servem para qualquer app com Whisper, e os ajustes do YapToText são citados onde se aplicam. Quanto menos silêncio entra, menos palavras inventadas saem.

  1. Pare quando terminar. Toque na tecla assim que acabar de falar, em vez de deixar a gravação rodando. No YapToText, Auto-stop after silence, desativado por padrão no cartão Recording da página Dictation, encerra um ditado depois de 0,5 a 5 segundos de silêncio.
  2. Faça pausas de propósito. Para pensar um pouco no meio, pressione Space para pausar o ditado e de novo para continuar. O espaço nunca é digitado.
  3. Defina o idioma. Escolha o idioma em que você fala no seletor Language da página AI Models, em vez de deixar o Whisper descobrir. A página de idiomas lista os 29.
  4. Dê um sinal limpo. Microfone perto, ambiente quieto, música desligada. A opção Pause music and video while dictating do YapToText, ativada por padrão, pausa a reprodução enquanto você fala.
  5. Apare as gravações antes. Antes de transcrever um arquivo, corte os trechos longos de silêncio e a música do começo e do fim em qualquer editor de áudio.
  6. Leia antes que importe. Leia a transcrição bruta de tudo o que for enviado, arquivado ou citado.
A página de ajustes Dictation do YapToText em um Mac: os cartões Keys, Recording, Microphone e Delivery.
Figura 3. O Auto-stop after silence fica no cartão Recording da página Dictation, desativado por padrão. Ative-o para encerrar um ditado quando você parar de falar.

A página de teclas e atalhos trata de Space, Esc e do resto.

Dicas para quem usa o whisper.cpp

Se você roda o Whisper por conta própria com o whisper.cpp, você controla o áudio que entra, que é onde está a maior parte da prevenção. Áudio limpo e aparado é a correção de alucinações mais barata que existe.

  • Converta direito. O README do whisper.cpp diz que o whisper-cli por enquanto roda só com arquivos WAV de 16 bits, e traz um comando do ffmpeg para converter qualquer outro.
  • Apare primeiro. Corte silêncios longos e música antes de converter, para o modelo nunca chegar a vê-los.
  • Defina o idioma, se puder. Veja na ajuda do whisper-cli uma opção de idioma, em vez de depender da detecção.
  • Teste outro tamanho de modelo. Se você só fala inglês e a memória é pouca, a OpenAI diz que os modelos .en, só de inglês, tendem a render melhor em inglês, principalmente no tiny e no base.
  • Saiba o que é o modo ao vivo. O whisper-stream amostra o microfone a cada meio segundo e transcreve continuamente, e o README o chama de exemplo ingênuo.

Terminal: Converta uma gravação aparada para o formato WAV que o whisper-cli lê, com o comando do próprio README.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

O que acontece: o ffmpeg grava o output.wav como áudio de 16 kHz, mono e de 16 bits, que você entrega ao whisper-cli depois de -f.

Um arquivo de modelo baixado para o whisper.cpp também funciona no YapToText: em Your own models, na página AI Models, Add Model aceita qualquer arquivo .bin GGML do whisper.cpp. O guia do Whisper local traz a configuração completa, os tamanhos de modelo e os números de memória.

O que nenhuma proteção promete

  • Toda alucinação. As proteções pegam os padrões que vi e testei. Um novo pode passar, e por isso a transcrição bruta está sempre a um clique.
  • Palavras nunca ouvidas. Nenhuma proteção recupera a fala que o microfone não captou, e remover texto inventado deixa uma lacuna, não as palavras reais.
  • Uma taxa minha. Não medi uma taxa de alucinação para o YapToText nem para modelo algum, então esta página cita só o estudo publicado, com os limites dele.
  • Extras da transcrição de arquivos. Os arquivos voltam como texto simples, sem marcações de tempo, então não há como pular de uma linha suspeita para o ponto dela no áudio. A página de arquivos de áudio trata desse recurso.
  • Pausas longas como estilo de fala. O Whisper é um modelo de uso geral, e nada no YapToText muda como ele trata uma fala com pausas longas além de comprimir o silêncio.
  • Um Mac Intel. O YapToText exige um Mac com chip da Apple e macOS 14 ou posterior.

As proteções reduzem as chances. Ler o que você ditou continua sendo a última conferência.

Resumindo

  • O que é. É texto sem fala por trás: laços, despedidas sobre o silêncio, frases e rótulos inventados.
  • Por quê. O Whisper prevê além de transcrever, e silêncio, pausas, música e ruído dão espaço à previsão.
  • No YapToText. Silêncios longos são comprimidos. Laços de repetição, rótulos de quem fala e cortesias saídas do silêncio são removidos. Uma limpeza que cresceu demais é descartada.
  • Para qualquer pessoa. Pare quando terminar, apare o silêncio, defina o idioma e leia a transcrição bruta.

O YapToText é gratuito na Mac App Store, e o Whisper roda no seu Mac.

Dê menos silêncio ao Whisper e confira o que ele escreveu. Se o YapToText alguma vez digitar algo que você não disse, abra uma issue no GitHub (em inglês) com a transcrição bruta do History. Eu leio todas.

Baixar o YapToText na Mac App StoreDownload gratuito. Sem conta e sem nada bloqueado, para macOS 14 ou posterior em um Mac com chip da Apple. Código-fonte no GitHub.

Quem escreve. Ryleigh Newman desenvolve software, tem dificuldade para digitar e dita todos os dias com o YapToText, o app que este site descreve. Esta página foi traduzida do inglês. A interface do app e o resto do site estão em inglês. Mais sobre o projeto, em inglês.

Guias

Mais guias, em inglês

Fontes

Perguntas

Por que o Whisper alucina?

O cartão do modelo da OpenAI diz que o Whisper foi treinado com dados ruidosos em grande escala e pode produzir texto que não foi falado, provavelmente porque prevê a próxima palavra além de transcrever. Silêncio, pausas longas, música e ruído dão mais espaço a essa previsão.

Por que o Whisper escreve "thank you for watching"?

É um tipo conhecido de alucinação sobre silêncio ou música. Usuários do tópico "Share your hallucinations here", do repositório do Whisper, relatam isso junto com créditos de legendas. Parar a gravação quando você termina de falar e aparar o silêncio dão menos espaço a ela.

Por que o Whisper repete o mesmo texto sem parar?

O artigo da OpenAI lista ficar preso em laços de repetição como um modo de falha, e o cartão do modelo diz que a arquitetura é propensa a texto repetitivo. Os laços costumam aparecer em um final silencioso, que a proteção do YapToText desfaz.

Com que frequência o Whisper alucina?

O estudo Careless Whisper concluiu que cerca de 1% das transcrições da API do Whisper da OpenAI na amostra de 2023 continha frases ou sentenças inventadas. A sua taxa depende do seu áudio, do seu modelo e do seu app.

Como corrijo as alucinações do Whisper?

Dê menos silêncio a ele: pare quando terminar, faça pausas de propósito e apare as gravações. Defina o idioma, use um sinal limpo do microfone e leia a transcrição bruta para ver o que o Whisper realmente escreveu.

O YapToText alucina?

Ele roda o Whisper, então pode. Comprime silêncios longos, remove laços de repetição, rótulos de quem fala inventados e cortesias alucinadas a partir do silêncio, e descarta uma limpeza que cresce bem além do que você disse. O History mostra a transcrição bruta.