Галлюцинации Whisper: почему он печатает слова, которых никто не говорил, и как это остановить

Текст: · Опубликовано

Галлюцинации Whisper это слова в расшифровке, которых никто не говорил: фраза, повторённая снова и снова, прощание вроде «Thank you for watching» поверх тишины или целое выдуманное предложение. Они возникают потому, что Whisper пишет текст почти так же, как языковая модель, и когда звук тихий, шумный или неразборчивый, её представление о том, что обычно идёт дальше, может перевесить то, что она на самом деле услышала.

Об этом предупреждает карточка модели самой OpenAI, а исследование 2024 года нашло выдуманные фразы примерно в 1% проверенных расшифровок. Я разрабатываю YapToText, бесплатное приложение для диктовки на Mac, которое запускает Whisper на вашем Mac, потому что мне трудно печатать руками и я каждый день диктую, и значительная часть работы вокруг модели ушла именно на то, чтобы ловить такие случаи. Ниже: как выглядят галлюцинации, почему они возникают, что показали исследования, что с ними делает YapToText и что можно сделать в любой настройке Whisper, включая whisper.cpp.

Загрузить YapToText в Mac App StoreБесплатно. Без учётной записи и без закрытых функций, для macOS 14 или новее на Mac с чипом Apple. Исходный код на GitHub.

Это руководство на других языках: English, Čeština, Deutsch, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Português, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文

На этой странице: 14 разделов
  1. Шаги
  2. Как выглядит галлюцинация Whisper
  3. Почему Whisper галлюцинирует
  4. Что показало исследование Careless Whisper
  5. Как YapToText защищается от галлюцинаций
    1. До того, как Whisper что-либо услышит
    2. После возврата расшифровки
    3. Когда модель очистки ошибается
  6. Как увидеть, что Whisper услышал на самом деле
    1. Шаг 1. Откройте диктовку в разделе History
    2. Шаг 2. Продиктуйте следующую диктовку в сыром виде
  7. Как предотвратить галлюцинации в любом приложении с Whisper
  8. Советы для пользователей whisper.cpp
  9. Что не может гарантировать никакая защита
  10. Коротко
  11. Руководства
  12. Другие руководства, на английском
  13. Источники
  14. Вопросы

Шаги

  1. Остановите запись, как только договорили, или включите <span lang="en">Auto-stop after silence</span> на странице <span lang="en">Dictation</span>.
  2. Нажмите Space, чтобы поставить на паузу во время долгой паузы, вместо того чтобы записывать тишину.
  3. Выберите язык, на котором вы говорите, в списке <span lang="en">Language</span> на странице <span lang="en">AI Models</span>.
  4. Перед расшифровкой файла обрежьте долгие паузы и музыку и преобразуйте его в 16-разрядный WAV, если используете whisper-cli.
  5. В <span lang="en">History</span> нажмите <span lang="en">Show pipeline details</span> и прочитайте сырую расшифровку или нажмите 2 во время речи для <span lang="en">Raw Transcription</span>.

Как выглядит галлюцинация Whisper

В статье OpenAI о Whisper сбои перечислены простыми словами: зацикливание на повторах, пропуск первых или последних слов аудиофрагмента и полная галлюцинация, когда модель выдаёт расшифровку, никак не связанную с настоящим звуком. На практике они проявляются в четырёх видах. Галлюцинация это не неверно услышанное слово. Это слово, за которым вообще нет звука.

  • Циклы повторов. Одно и то же предложение, фраза или слово снова и снова, часто в конце записи, которая затихает в тишину. В карточке модели OpenAI сказано, что архитектура «последовательность в последовательность» делает модель склонной к повторяющемуся тексту, и поиск по лучу с настройкой температуры могут отчасти это смягчить, но не идеально.
  • Текст из тишины. В обсуждении в репозитории Whisper под названием «Share your hallucinations here» пользователи сообщают о строках вроде «Thank you for watching» и титрах субтитров, которые появляются над тишиной, музыкой или звуковыми эффектами, где никто не говорил.
  • Выдуманные предложения. Целые фразы, которых никто не говорил. В материале Корнелла об исследовании Careless Whisper сказано, что Whisper иногда выдумывает целые фразы и предложения, порой с насильственными выражениями, придуманными личными данными и несуществующими сайтами.
  • Метки и ремарки. Текст, который читается как сценарий, а не как речь. В заметках к выпуску 1.4 YapToText записано исправление для выдуманных меток говорящих вроде «Male speaker:», которые появлялись в расшифровках.

Обратный сбой, пропущенные слова в начале или в конце, связан с этим, и поэтому пропавшее первое слово и выдуманная последняя строка могут получиться из одной записи. Обычные неверно услышанные слова это другая проблема с другими способами исправления, они разобраны в руководстве по Whisper для Mac.

Почему Whisper галлюцинирует

Причину OpenAI объясняет в карточке модели. Поскольку модели обучались со слабым контролем на больших объёмах зашумлённых данных, в их предсказаниях может оказаться текст, которого на самом деле нет в звуке. Карточка модели предполагает, что так происходит, потому что модель совмещает попытку предсказать следующее слово с попыткой расшифровать сам звук, и сообщает, что для языков с меньшим числом ресурсов или с меньшей различимостью это поведение может быть хуже. Когда звука для опоры мало, больше работы берёт на себя угадывающая половина модели.

Отсюда видно, какие условия этому способствуют:

  • Тишина и долгие паузы. Исследование Careless Whisper обнаружило, что галлюцинации возникают непропорционально чаще у людей, у которых больше доля времени без голоса, то есть более долгие паузы.
  • Музыка и звуковые эффекты. Сообщения в репозитории Whisper группируются вокруг отрезков, где нет речи.
  • Шумный или слабый сигнал. Чем менее чёткая речь, тем меньше у модели опоры для каждого слова.
  • Язык. OpenAI сообщает, что качество сильно зависит от языка, а в карточке модели сказано, что галлюцинации могут быть хуже в языках с меньшим числом ресурсов.

Ещё одна деталь важна для того, чтобы заметить проблему. Исследование показало, что галлюцинации API Whisper от OpenAI недетерминированы и при каждом запуске дают разный случайный текст, и именно по различиям между двумя запусками одного и того же звука авторы их находили. Если ваш инструмент при двух запусках на одном и том же звуке выдаёт разный текст, то часть, которая изменилась, стоит перечитать.

Что показало исследование Careless Whisper

Это исследование «Careless Whisper: Speech-to-Text Hallucination Harms» авторов Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann и Mona Sloane, представленное на конференции ACM по справедливости, подотчётности и прозрачности, FAccT 2024. Доля невелика. Вред от одного выдуманного предложения может быть большим.

Проверено 5 октября 2026 года по статье на arXiv и в ACM Digital Library и по новости Корнелла.

  • Что проверяли. Почти 40 часов аудио из AphasiaBank, 13 140 фрагментов, от говорящих с афазией и контрольной группы, отправленные в 2023 году в API Whisper от OpenAI.
  • Как часто. Примерно 1% расшифровок содержал целые галлюцинированные фразы или предложения, которых не было в исходном звуке ни в каком виде.
  • Насколько серьёзно. 38% галлюцинаций содержали явный вред, например поддержание насилия, выдумывание неверных связей или намёк на ложный авторитет.
  • У кого. У говорящих с афазией галлюцинаций было больше, чем в контрольной группе, а фрагменты с большей долей времени без голоса чаще их порождали.
  • Со временем. Когда авторы повторно прогнали аудио в декабре 2023 года, многие примеры исчезли, но 12 из 187 аудиофрагментов всё ещё давали галлюцинации.

Два момента стоит различать, когда читаешь эти числа. Они описывают размещённый API OpenAI на той выборке в 2023 году, а не whisper.cpp, не Whisper Large v3 Turbo и не YapToText, так что это не прогноз для вашей собственной диктовки. И это не повод для паники: это повод перечитывать то, что вы продиктовали, а это в любом случае хорошая привычка. Если долгие паузы входят в вашу манеру речи, страница о диктовке при разных состояниях честно говорит, где YapToText может не справиться.

Как YapToText защищается от галлюцинаций

YapToText запускает стандартный файл Whisper Large v3 Turbo (Q5) через whisper.cpp. Модель не переобучалась. Вокруг неё построен конвейер, и часть этого конвейера нужна для того, чтобы слова, которых никто не говорил, не попадали в ваш документ. Модель стандартная. Основная работа ушла на защиту вокруг неё.

До того, как Whisper что-либо услышит

  • Долгие паузы сжимаются перед расшифровкой, чтобы модель не уходила в сторону.
  • Шум измеряется при каждой диктовке, а постоянный шум вычитается, только когда этого требует соотношение. Тихий голос поднимается относительно помещения.
  • Шумные фрагменты ищутся глубже. Декодирование переключается с жадного на поиск по лучу, если фрагмент измерен как шумный.
  • Полсекунды до нажатия клавиши сохраняются, чтобы первые слова не обрезались.
Постер App Store с заголовком It hears you through anything и перечнем шагов обработки звука над раскрытой панелью записи.
Рисунок 1. Шаги вокруг стандартной модели, от удаления фонового шума до распознавания тишины. Большая часть защиты от галлюцинаций происходит здесь и сразу после возврата расшифровки.

После возврата расшифровки

  • Циклы повторов находятся и удаляются. Защита сворачивает циклы, в которые Whisper попадает на тихих концовках, и с версии 1.4 длинная диктовка, заканчивающаяся тишиной, больше не повторяет последнее предложение снова и снова.
  • Выдуманные метки говорящих удаляются вместе с ремарками. До исправления в 1.4 метка вроде «Male speaker:» могла даже запомниться как словарное слово.
  • Любезности, галлюцинированные из тишины, находятся и удаляются.
  • Тишина ничего не печатает. Если в диктовке была только тишина, YapToText говорит «Didn't catch that» и ничего не расшифровывается.
  • Короткая расшифровка получает второй проход. Если текст получился короче, чем речь на входе, запускается спасательный проход.

Когда модель очистки ошибается

Каждый режим, кроме Raw Transcription, передаёт расшифровку небольшой модели очистки на вашем Mac, а языковая модель тоже может выдумывать. Приложение проверяет её работу: если результат читается как ответ ассистента, заметно вырос по сравнению со сказанным вами, повторяет справочный текст или выдумывает многоточие, он отбрасывается и вместо него печатается сырая расшифровка. Модели очистки также велено никогда не пропускать предложение и не добавлять ничего, чего вы не говорили. Эти правила описывает страница о диктовке с ИИ.

Каждое из этих изменений перед выпуском проверяется на наборе моих собственных настоящих диктовок. Это записи одного человека, а не эталонный тест, и «находится и удаляется» не значит «никогда»: новый вид галлюцинации всё равно может проскочить.

Как увидеть, что Whisper услышал на самом деле

Быстрее всего отличить галлюцинацию от ошибки очистки можно, посмотрев на то, что выдал Whisper до того, как что-либо ещё коснулось текста. Если выдуманный текст есть в сырой расшифровке, его написал Whisper. Если нет, то очистка.

Шаг 1. Откройте диктовку в разделе History

  • Вы: Откройте History, найдите диктовку и нажмите Show pipeline details (показать подробности конвейера).
  • YapToText: Показывает сырую расшифровку над итоговым текстом, а ниже режим, язык и время.
  • Проверка: Сравните сырую расшифровку с тем, что вы помните из сказанного.
Запись в History YapToText с открытыми подробностями конвейера: сырая расшифровка, очищенная расшифровка, режим, доставка, целевое приложение и время.
Рисунок 2. Сырая расшифровка стоит над очищенным текстом, так что строку, которую никто не говорил, можно отнести к Whisper или к очистке.

Шаг 2. Продиктуйте следующую диктовку в сыром виде

  • Вы: Пока говорите, нажмите 2, это Raw Transcription в порядке по умолчанию при включённом режиме Auto.
  • YapToText: Печатает слова Whisper с базовой пунктуацией и без модели ИИ, для этой одной диктовки.
  • Проверка: Появляется то, что услышал Whisper. Чтобы все диктовки были сырыми, выключите Post-transcription analysis на странице Home.

Пункт Copy Raw Transcript в меню экспорта каждой записи History копирует в буфер обмена версию до очистки. А если хотите читать каждую длинную диктовку, прежде чем она появится, включите Review before inserting в разделе Settings, Advanced, Text output. Что именно разрешено менять каждому режиму, объясняет руководство по режимам.

Как предотвратить галлюцинации в любом приложении с Whisper

Большинство галлюцинаций вырастает из тишины, поэтому лучшая профилактика в том, чтобы давать Whisper её поменьше. Это работает в любом приложении с Whisper, а настройки YapToText названы там, где они применимы. Чем меньше тишины на входе, тем меньше выдуманных слов на выходе.

  1. Останавливайтесь, когда закончили. Нажмите клавишу сразу, как только договорили, а не оставляйте запись идти. В YapToText параметр Auto-stop after silence, по умолчанию выключенный, в карточке Recording на странице Dictation, завершает диктовку после тишины длиной от 0,5 до 5 секунд.
  2. Делайте паузу намеренно. Для долгой паузы посередине нажмите Space, чтобы поставить диктовку на паузу, и ещё раз, чтобы продолжить. Пробел при этом не печатается.
  3. Задайте язык. Выберите язык, на котором вы говорите, в списке Language на странице AI Models, вместо того чтобы поручать определение Whisper. Страница о языках перечисляет все 29.
  4. Обеспечьте чистый сигнал. Микрофон близко, в комнате тихо, музыка выключена. Параметр YapToText Pause music and video while dictating, включённый по умолчанию, ставит воспроизведение на паузу, пока вы говорите.
  5. Сначала обрежьте записи. Перед расшифровкой файла вырежьте длинные тихие отрезки и музыку в начале и в конце в любом аудиоредакторе.
  6. Читайте, пока это важно. Прочитайте сырую расшифровку всего, что будет отправлено, подшито в дело или процитировано.
Страница настроек Dictation в YapToText на Mac: карточки Keys, Recording, Microphone и Delivery.
Рисунок 3. Параметр Auto-stop after silence находится в карточке Recording на странице Dictation и по умолчанию выключен. Включите его, чтобы диктовка заканчивалась, когда вы замолчали.

О клавишах Space, Esc и остальных рассказывает страница о клавишах и сочетаниях.

Советы для пользователей whisper.cpp

Если вы запускаете Whisper сами через whisper.cpp, вы управляете звуком на входе, а именно там сосредоточена основная профилактика. Чистое, обрезанное аудио это самое дешёвое средство от галлюцинаций.

  • Конвертируйте правильно. В README whisper.cpp сказано, что whisper-cli пока работает только с 16-разрядными файлами WAV, и приведена команда ffmpeg для преобразования всего остального.
  • Сначала обрежьте. Вырежьте длинные паузы и музыку до конвертации, чтобы модель их никогда не видела.
  • Задайте язык, если можете. Поищите параметр языка в справке whisper-cli, а не полагайтесь на автоопределение.
  • Попробуйте другой размер модели. Если вы говорите только по-английски и памяти мало, OpenAI сообщает, что модели только для английского с суффиксом .en обычно лучше справляются с английским, особенно в размерах tiny и base.
  • Поймите, что такое живой режим. whisper-stream берёт пробу с микрофона каждые полсекунды и расшифровывает непрерывно, а README называет это наивным примером.

Терминал: Преобразуйте обрезанную запись в формат WAV, который читает whisper-cli, командой из самого README.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Что происходит: ffmpeg записывает output.wav как звук 16 кГц, моно, 16 бит, который вы затем передаёте whisper-cli после -f.

Файл модели, который вы скачали для whisper.cpp, работает и в YapToText: в разделе Your own models на странице AI Models кнопка Add Model принимает любой файл whisper.cpp GGML .bin. Полную настройку, размеры моделей и объём памяти описывает руководство по локальному Whisper.

Что не может гарантировать никакая защита

  • Каждую галлюцинацию. Защита ловит закономерности, которые встречались и проверялись. Новая может пройти, и поэтому сырая расшифровка всегда в одном щелчке.
  • Слова, которых не слышали. Никакая защита не вернёт речь, которую не уловил микрофон, а удаление выдуманного текста оставляет пробел, а не настоящие слова.
  • Собственную долю. Частота галлюцинаций для YapToText или для какой-либо модели не измерялась, поэтому на этой странице приведено только опубликованное исследование, с его ограничениями.
  • Дополнения для расшифровки файлов. Файлы возвращаются простым текстом, без временных меток, поэтому нельзя перейти от подозрительной строки к её месту в звуке. Эту функцию описывает страница об аудиофайлах.
  • Долгие паузы как манеру речи. Whisper это модель общего назначения, и ничто в YapToText не меняет то, как она обрабатывает речь с долгими паузами, кроме сжатия тишины.
  • Mac с Intel. YapToText нужны Mac с чипом Apple и macOS 14 или новее.

Защита снижает вероятность. Последняя проверка всё равно в том, чтобы прочитать продиктованное.

Коротко

  • Что это. Текст, за которым нет речи: циклы, прощания над тишиной, выдуманные предложения и метки.
  • Почему. Whisper и предсказывает, и расшифровывает, а тишина, паузы, музыка и шум дают предсказанию простор.
  • В YapToText. Долгие паузы сжимаются. Циклы повторов, метки говорящих и любезности из тишины удаляются. Разросшаяся очистка отбрасывается.
  • Для всех. Останавливайтесь, когда закончили, обрезайте тишину, задавайте язык и читайте сырую расшифровку.

YapToText бесплатен в Mac App Store, а Whisper работает на вашем Mac.

Давайте Whisper меньше тишины и проверяйте, что он написал. Если YapToText когда-нибудь напечатает то, чего вы не говорили, создайте issue на GitHub и приложите сырую расшифровку из History. Я читаю каждое.

Загрузить YapToText в Mac App StoreБесплатно. Без учётной записи и без закрытых функций, для macOS 14 или новее на Mac с чипом Apple. Исходный код на GitHub.

Кто пишет. Ryleigh Newman разрабатывает программы, с трудом печатает на клавиатуре и каждый день диктует в YapToText, приложении, которому посвящён этот сайт. Эта страница переведена с английского. Интерфейс приложения и остальные страницы сайта на английском. Подробнее о проекте, на английском.

Руководства

Другие руководства, на английском

Источники

Вопросы

Почему Whisper галлюцинирует?

В карточке модели OpenAI сказано, что Whisper обучался на больших объёмах зашумлённых данных и может выдавать текст, которого не было в речи, вероятно потому, что он предсказывает следующее слово, помимо того что расшифровывает. Тишина, долгие паузы, музыка и шум дают этому предсказанию больше простора.

Почему Whisper пишет «thank you for watching»?

Это известный вид галлюцинации над тишиной или музыкой. Пользователи в обсуждении «Share your hallucinations here» в репозитории Whisper сообщают о нём вместе с титрами субтитров. Если остановить запись, когда договорили, и обрезать тишину, у него остаётся меньше простора.

Почему Whisper повторяет один и тот же текст?

В статье OpenAI зацикливание на повторах названо одним из видов сбоя, а в карточке модели сказано, что архитектура склонна к повторяющемуся тексту. Циклы часто появляются на тихой концовке, и защита YapToText их сворачивает.

Как часто бывают галлюцинации Whisper?

Исследование Careless Whisper обнаружило, что примерно 1% расшифровок API Whisper от OpenAI в выборке 2023 года содержал выдуманные фразы или предложения. Ваша собственная доля зависит от вашего звука, вашей модели и вашего приложения.

Как исправить галлюцинации Whisper?

Давайте ему меньше тишины: останавливайтесь, когда закончили, делайте паузы намеренно и обрезайте записи. Задайте язык, используйте чистый сигнал микрофона и читайте сырую расшифровку, чтобы видеть, что Whisper написал на самом деле.

Галлюцинирует ли YapToText?

Он запускает Whisper, так что может. Он сжимает долгие паузы, удаляет циклы повторов, выдуманные метки говорящих и любезности, галлюцинированные из тишины, и отбрасывает очистку, которая заметно выросла по сравнению со сказанным вами. История показывает сырую расшифровку.