Alucinaciones de Whisper: por qué escribe palabras que nadie dijo y cómo evitarlo
Por Ryleigh Newman · Publicado el
Las alucinaciones de Whisper son palabras en una transcripción que nadie dijo: una frase repetida una y otra vez, una despedida como «Thank you for watching» sobre el silencio o una frase entera inventada. Ocurren porque Whisper escribe el texto de forma parecida a un modelo de lenguaje, y cuando el audio es silencioso, ruidoso o poco claro, su idea de lo que suele venir después puede pesar más que lo que de verdad oyó.
La propia ficha del modelo de OpenAI lo advierte, y un estudio de 2024 encontró frases inventadas en aproximadamente el 1% de las transcripciones que probó. Creé YapToText, una app gratuita de dictado para Mac que ejecuta Whisper en tu Mac, porque me cuesta escribir con las manos y dicto todos los días, y buena parte del trabajo alrededor del modelo se fue en detectar justo esto. Abajo: cómo son las alucinaciones, por qué ocurren, qué encontró la investigación, qué hace YapToText al respecto y qué puedes hacer con cualquier configuración de Whisper, whisper.cpp incluido.
Descarga gratuita. Sin cuenta y sin nada bloqueado, para macOS 14 o posterior en un Mac con chip de Apple. Código fuente en GitHub.
Esta guía en otros idiomas: English, Čeština, Deutsch, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Português, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文
En esta página: 14 secciones
- Pasos
- Cómo es una alucinación de Whisper
- Por qué alucina Whisper
- Qué encontró el estudio Careless Whisper
- Cómo se defiende YapToText
- Ver qué oyó realmente Whisper
- Evitar las alucinaciones en cualquier app con Whisper
- Consejos para quien usa whisper.cpp
- Lo que ninguna defensa puede prometer
- En resumen
- Guías
- Más guías, en inglés
- Fuentes
- Preguntas
Pasos
- Para la grabación en cuanto termines de hablar, o activa <span lang="en">Auto-stop after silence</span> en la página <span lang="en">Dictation</span>.
- Pulsa <span lang="en">Space</span> para pausar durante un rato de reflexión en lugar de grabar el silencio.
- Elige el idioma en que hablas en el selector <span lang="en">Language</span> de la página <span lang="en">AI Models</span>.
- Antes de transcribir un archivo, recorta los silencios largos y la música, y conviértelo a WAV de 16 bits si usas whisper-cli.
- En <span lang="en">History</span>, haz clic en <span lang="en">Show pipeline details</span> y lee la transcripción en bruto, o pulsa 2 mientras hablas para <span lang="en">Raw Transcription</span>.
Cómo es una alucinación de Whisper
El artículo de Whisper de OpenAI enumera los modos de fallo con palabras sencillas: quedarse atascado en bucles de repetición, no transcribir las primeras o las últimas palabras de un segmento de audio y la alucinación completa, en la que el modelo produce una transcripción que no tiene nada que ver con el audio real. En la práctica aparecen como cuatro patrones. Una alucinación no es una palabra mal oída. Es una palabra sin ningún sonido detrás.
- Bucles de repetición. La misma frase, expresión o palabra una y otra vez, a menudo al final de una grabación que se apaga en silencio. La ficha del modelo de OpenAI dice que la arquitectura de secuencia a secuencia hace que el modelo tienda a generar texto repetitivo, algo que la búsqueda por haz y la programación de la temperatura pueden mitigar hasta cierto punto, pero no a la perfección.
- Texto a partir del silencio. En el propio hilo de debate del repositorio de Whisper titulado «Share your hallucinations here», los usuarios cuentan que líneas como «Thank you for watching» y créditos de subtítulos aparecen sobre silencio, música o efectos de sonido, donde nadie hablaba.
- Frases inventadas. Frases enteras que nunca se dijeron. El resumen de Cornell sobre el estudio Careless Whisper dice que Whisper a veces se inventa frases y oraciones enteras, en ocasiones con lenguaje violento, datos personales inventados y sitios web falsos.
- Etiquetas e indicaciones escénicas. Texto que parece un guion y no habla. Las notas de la versión 1.4 de YapToText recogen una corrección para etiquetas de hablante alucinadas, como «Male speaker:», que aparecían en las transcripciones.
El fallo opuesto, las palabras que se pierden al principio o al final, está relacionado, y por eso una primera palabra que falta y una última línea inventada pueden salir de la misma grabación. Las palabras corrientes mal oídas son otro problema con otras soluciones, que explica la guía de Whisper para Mac.
Por qué alucina Whisper
OpenAI explica la causa en su ficha del modelo. Como los modelos se entrenaron de forma débilmente supervisada con datos ruidosos a gran escala, sus predicciones pueden incluir texto que en realidad no se dice en el audio. La ficha del modelo sugiere que esto ocurre porque el modelo combina intentar predecir la palabra siguiente con intentar transcribir el propio audio, y dice que el comportamiento puede ser peor en idiomas con menos recursos o menos visibilidad. Cuando hay poco sonido en que apoyarse, la mitad del modelo que adivina hace más trabajo.
Eso apunta a las condiciones que lo favorecen:
- Silencio y pausas largas. El estudio Careless Whisper encontró que las alucinaciones se dan de forma desproporcionada en personas que hablan con una parte mayor de tiempo sin voz, es decir, con pausas más largas.
- Música y efectos de sonido. Los informes del repositorio de Whisper se concentran en tramos sin voz.
- Una señal ruidosa o débil. Un habla menos clara le da al modelo menos a lo que anclar cada palabra.
- El idioma. OpenAI dice que el rendimiento varía mucho según el idioma, y la ficha del modelo dice que la alucinación puede ser peor en idiomas con menos recursos.
Un detalle más importa para detectarlo. El estudio encontró que las alucinaciones de la API de Whisper de OpenAI eran no deterministas, con texto aleatorio distinto en cada ejecución, y usó las diferencias entre dos ejecuciones del mismo audio para encontrarlas. Si tu herramienta da un texto distinto para el mismo audio en dos ejecuciones, la parte que cambió merece una segunda mirada.
Qué encontró el estudio Careless Whisper
El estudio es «Careless Whisper: Speech-to-Text Hallucination Harms», de Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann y Mona Sloane, presentado en la Conferencia ACM sobre Equidad, Responsabilidad y Transparencia, FAccT 2024. La proporción es pequeña. El daño de una sola frase inventada puede ser grande.
Comprobado el 5 de octubre de 2026 en el artículo de arXiv y en la ACM Digital Library, y en la noticia de Cornell.
- Qué probaron. Casi 40 horas de audio de AphasiaBank, 13 140 segmentos, de personas con afasia y de un grupo de control, enviadas a la API de Whisper de OpenAI en 2023.
- Con qué frecuencia. Aproximadamente el 1% de las transcripciones contenía frases u oraciones enteras alucinadas que no existían de ninguna forma en el audio de origen.
- Cuánto daño. El 38% de las alucinaciones incluía daños explícitos, como perpetuar la violencia, inventar asociaciones inexactas o dar a entender una falsa autoridad.
- A quién. Las personas con afasia tuvieron más alucinaciones que el grupo de control, y los segmentos con más tiempo sin voz eran más propensos a producirlas.
- Con el tiempo. Cuando los autores volvieron a pasar el audio en diciembre de 2023, muchos ejemplos se habían resuelto, pero 12 de 187 segmentos de audio seguían produciendo alucinaciones.
Hay dos cosas que conviene tener claras al leer esas cifras. Describen la API alojada de OpenAI con esa muestra en 2023, no whisper.cpp, ni Whisper Large v3 Turbo, ni YapToText, así que no son una previsión para tu propio dictado. Y no son un motivo para alarmarse: son un motivo para leer lo que dictaste, que de todas formas es una buena costumbre. Si las pausas largas forman parte de tu manera de hablar, el dictado según la condición dice con franqueza dónde puede quedarse corto YapToText.
Cómo se defiende YapToText
YapToText ejecuta el archivo Whisper Large v3 Turbo (Q5) tal cual, mediante whisper.cpp. No he reentrenado el modelo. Lo que sí construí es un proceso alrededor de él, y parte de ese proceso existe para que las palabras que nadie dijo no lleguen a tu documento. El modelo es el original. El trabajo se fue en las defensas que lo rodean.
Antes de que Whisper oiga nada
- Los silencios largos se comprimen antes de transcribir, para que el modelo no se desvíe.
- El ruido se mide en cada dictado, y el ruido constante solo se resta cuando la proporción lo pide. Una voz baja se eleva respecto a la sala.
- Los clips ruidosos reciben una búsqueda más profunda. La decodificación pasa de voraz a búsqueda por haz cuando el clip mide como ruidoso.
- Se conserva el medio segundo anterior a pulsar la tecla, para que las primeras palabras no se corten.

Después de que vuelve la transcripción
- Los bucles de repetición se detectan y se eliminan. Una defensa colapsa los bucles en los que cae Whisper en las colas de silencio, y desde la 1.4 un dictado largo que termina en silencio ya no repite su última frase una y otra vez.
- Las etiquetas de hablante inventadas se eliminan, igual que las indicaciones escénicas. Antes de la corrección de la 1.4, una etiqueta como «Male speaker:» hasta podía aprenderse como vocabulario.
- Las cortesías alucinadas a partir del silencio se detectan y se eliminan.
- El silencio no escribe nada. Si un dictado era solo silencio, YapToText dice «Didn't catch that» y no se transcribe nada.
- Una transcripción corta recibe una segunda pasada. Si el texto vuelve más corto que el habla que entró, se ejecuta una pasada de rescate.
Cuando el modelo de limpieza se porta mal
Todos los modos salvo Raw Transcription pasan la transcripción a un pequeño modelo de limpieza en tu Mac, y un modelo de lenguaje también puede inventar. La app comprueba su trabajo: si el resultado parece la respuesta de un asistente, crece mucho más allá de lo que dijiste, repite el texto de referencia o inventa unos puntos suspensivos, se descarta y se escribe la transcripción en bruto. A la limpieza también se le dice que nunca omita una frase ni añada nada que no dijeras. La página del dictado con IA explica esas reglas.
Cada uno de estos cambios se mide con un conjunto de mis propios dictados reales antes de publicarse. Son las grabaciones de una sola persona, no una prueba de referencia, y detectar y eliminar no es lo mismo que nunca: un tipo nuevo de alucinación todavía puede colarse.
Ver qué oyó realmente Whisper
La forma más rápida de distinguir una alucinación de un error de la limpieza es mirar lo que produjo Whisper antes de que nada más lo tocara. Si el texto inventado está en la transcripción en bruto, lo escribió Whisper. Si no, lo hizo la limpieza.
Paso 1: Abre el dictado en History
- Tú: Abre History, busca el dictado y haz clic en Show pipeline details.
- YapToText: Muestra la transcripción en bruto encima del texto final, con el modo, el idioma y los tiempos debajo.
- Comprueba: Lee la transcripción en bruto y compárala con lo que recuerdas haber dicho.

Paso 2: Dicta el siguiente en bruto
- Tú: Mientras hablas, pulsa 2, Raw Transcription en el orden por defecto con el modo Auto activado.
- YapToText: Escribe las palabras de Whisper con puntuación básica y sin ningún modelo de IA, solo para ese dictado.
- Comprueba: Lo que llega es lo que oyó Whisper. Para dejar todos los dictados en bruto, desactiva Post-transcription analysis en la página Home.
Copy Raw Transcript, en el menú de exportación de cada entrada de History, pone en el portapapeles la versión anterior a la limpieza. Y si quieres leer cada dictado largo antes de que llegue, activa Review before inserting en Settings, Advanced, Text output. La guía de los modos explica qué puede cambiar cada modo.
Evitar las alucinaciones en cualquier app con Whisper
La mayoría de las alucinaciones nacen del silencio, así que la mejor prevención es darle menos a Whisper. Esto vale para cualquier app con Whisper, y los ajustes de YapToText se nombran donde corresponden. Cuanto menos silencio entra, menos palabras inventadas salen.
- Para cuando termines. Toca la tecla en cuanto acabes de hablar, en lugar de dejar la grabación en marcha. En YapToText, Auto-stop after silence, desactivado por defecto en la tarjeta Recording de la página Dictation, termina un dictado tras 0,5 a 5 segundos de silencio.
- Haz pausas a propósito. Para pensar un buen rato en mitad del dictado, pulsa Space para pausarlo y otra vez para reanudarlo. El espacio nunca se escribe.
- Fija el idioma. Elige el idioma en que hablas en el selector Language de la página AI Models en lugar de dejar que Whisper lo averigüe. La página de idiomas enumera los 29.
- Dale una señal limpia. Micrófono cerca, sala tranquila, música apagada. Pause music and video while dictating de YapToText, activado por defecto, pausa la reproducción mientras hablas.
- Recorta primero las grabaciones. Antes de transcribir un archivo, quita los tramos largos de silencio y la música del principio y del final en cualquier editor de audio.
- Lee antes de que importe. Lee la transcripción en bruto de cualquier cosa que vaya a enviarse, archivarse o citarse.

La página de teclas y atajos explica Space, Esc y el resto.
Consejos para quien usa whisper.cpp
Si ejecutas Whisper tú mismo mediante whisper.cpp, controlas el audio que entra, que es donde está casi toda la prevención. El audio limpio y recortado es la solución más barata contra las alucinaciones.
- Convierte bien. El README de whisper.cpp dice que whisper-cli por ahora solo funciona con archivos WAV de 16 bits, y da un comando de ffmpeg para convertir cualquier otro.
- Recorta primero. Quita los silencios largos y la música antes de convertir, para que el modelo nunca los vea.
- Fija el idioma si puedes. Mira la salida de ayuda de whisper-cli para ver la opción de idioma en lugar de fiarte de la detección.
- Prueba otro tamaño de modelo. Si solo hablas inglés y la memoria es justa, OpenAI dice que los modelos .en, solo para inglés, suelen rendir mejor en ese idioma, sobre todo en tiny y base.
- Sabe qué es el modo en directo. whisper-stream toma muestras del micrófono cada medio segundo y transcribe de forma continua, y el README lo llama un ejemplo ingenuo.
Terminal: Convierte una grabación recortada al formato WAV que lee whisper-cli, con el comando del propio README.
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wavQué ocurre: ffmpeg escribe output.wav como audio de 16 kHz, mono y de 16 bits, que después le pasas a whisper-cli tras -f.
Un archivo de modelo que descargaste para whisper.cpp también funciona en YapToText: en Your own models, en la página AI Models, Add Model acepta cualquier archivo .bin GGML de whisper.cpp. La guía de Whisper en local tiene la configuración completa, los tamaños de modelo y las cifras de memoria.
Lo que ninguna defensa puede prometer
- Todas las alucinaciones. Las defensas detectan los patrones que he visto y probado. Uno nuevo puede colarse, y por eso la transcripción en bruto está siempre a un clic.
- Palabras que nunca se oyeron. Ninguna defensa puede recuperar un habla que el micrófono no captó, y quitar texto inventado deja un hueco, no las palabras reales.
- Una tasa propia. No he medido una tasa de alucinación para YapToText ni para ningún modelo, así que esta página cita solo el estudio publicado, con sus límites.
- Extras de la transcripción de archivos. Los archivos vuelven como texto sin formato, sin marcas de tiempo, así que no hay forma de saltar de una línea sospechosa a su lugar en el audio. La página del archivo de audio trata esa función.
- Las pausas largas como estilo de habla. Whisper es un modelo de propósito general, y nada en YapToText cambia cómo trata el habla con pausas largas más allá de comprimir el silencio.
- Un Mac con Intel. YapToText necesita un Mac con Apple silicon y macOS 14 o posterior.
Las defensas bajan las probabilidades. Leer lo que dictaste sigue siendo la última comprobación.
En resumen
- Qué es. Es texto sin ningún habla detrás: bucles, despedidas sobre el silencio, frases y etiquetas inventadas.
- Por qué. Whisper predice además de transcribir, y el silencio, las pausas, la música y el ruido le dan margen a la predicción.
- En YapToText. Los silencios largos se comprimen. Los bucles de repetición, las etiquetas de hablante y las cortesías del silencio se eliminan. Una limpieza que se pasa se descarta.
- Para cualquiera. Para cuando termines, recorta el silencio, fija el idioma y lee la transcripción en bruto.
YapToText es gratis en el Mac App Store, y Whisper se ejecuta en tu Mac.
Dale menos silencio a Whisper y comprueba lo que escribió. Si YapToText alguna vez escribe algo que no dijiste, abre un issue en GitHub (en inglés) con la transcripción en bruto de History. Los leo todos.
Descarga gratuita. Sin cuenta y sin nada bloqueado, para macOS 14 o posterior en un Mac con chip de Apple. Código fuente en GitHub.
Guías
Más guías, en inglés
Fuentes
- https://arxiv.org/abs/2402.08021 (consultado el 5 de octubre de 2026)
- https://dl.acm.org/doi/10.1145/3630106.3658996 (consultado el 5 de octubre de 2026)
- https://news.cornell.edu/stories/2024/06/ai-speech-text-can-hallucinate-violent-language (consultado el 5 de octubre de 2026)
- https://github.com/openai/whisper/blob/main/model-card.md (consultado el 5 de octubre de 2026)
- https://cdn.openai.com/papers/whisper.pdf (consultado el 5 de octubre de 2026)
- https://github.com/openai/whisper/discussions/1873 (consultado el 5 de octubre de 2026)
- https://github.com/openai/whisper (consultado el 3 de octubre de 2026)
- https://github.com/ggml-org/whisper.cpp (consultado el 3 de octubre de 2026)
- https://github.com/ryleighnewman/YapToText (consultado el 3 de octubre de 2026)
- https://apps.apple.com/us/app/yaptotext/id6786382289 (consultado el 3 de octubre de 2026)
Preguntas
¿Por qué alucina Whisper?
La ficha del modelo de OpenAI dice que Whisper se entrenó con datos ruidosos a gran escala y puede producir texto que no se dijo, probablemente porque predice la palabra siguiente además de transcribir. El silencio, las pausas largas, la música y el ruido le dan más margen a esa predicción.
¿Por qué Whisper escribe «thank you for watching»?
Es un tipo conocido de alucinación sobre el silencio o la música. Los usuarios del hilo «Share your hallucinations here» del repositorio de Whisper lo cuentan, junto con créditos de subtítulos. Parar la grabación cuando terminas de hablar y recortar el silencio le da menos margen.
¿Por qué Whisper repite el mismo texto una y otra vez?
El artículo de OpenAI enumera quedarse atascado en bucles de repetición como un modo de fallo, y su ficha del modelo dice que la arquitectura tiende al texto repetitivo. Los bucles suelen aparecer en una cola de silencio, que la defensa de YapToText colapsa.
¿Con qué frecuencia ocurren las alucinaciones de Whisper?
El estudio Careless Whisper encontró que aproximadamente el 1% de las transcripciones de la API de Whisper de OpenAI en su muestra de 2023 contenía frases u oraciones inventadas. Tu propia tasa depende de tu audio, de tu modelo y de tu app.
¿Cómo se arreglan las alucinaciones de Whisper?
Dándole menos silencio: para cuando termines, haz pausas a propósito y recorta las grabaciones. Fija el idioma, usa una señal de micrófono limpia y lee la transcripción en bruto para ver qué escribió realmente Whisper.
¿YapToText alucina?
Ejecuta Whisper, así que puede. Comprime los silencios largos, elimina los bucles de repetición, las etiquetas de hablante inventadas y las cortesías alucinadas a partir del silencio, y descarta una limpieza que crece mucho más allá de lo que dijiste. History muestra la transcripción en bruto.