Halucinace Whisper: proč Whisper píše slova, která nikdo neřekl, a jak tomu zabránit

Text: · Zveřejněno

Halucinace Whisper jsou slova v přepisu, která nikdo neřekl: fráze opakovaná pořád dokola, závěrečná formule jako „Thank you for watching“ přes ticho, nebo celá vymyšlená věta. Vznikají proto, že Whisper píše text podobně jako jazykový model, a když je zvuk tichý, hlučný nebo nejasný, může jeho představa o tom, co obvykle následuje, převážit nad tím, co skutečně slyšel.

Varuje před tím i model card od OpenAI a studie z roku 2024 našla vymyšlené fráze zhruba v 1 % přepisů, které otestovala. Vyvíjím YapToText, bezplatnou aplikaci pro diktování na Macu, která spouští Whisper přímo na vašem Macu, protože mi psaní rukama dělá potíže a diktuji každý den, a velký kus práce kolem modelu šel právě do zachytávání tohoto problému. Dál: jak halucinace vypadají, proč vznikají, co zjistil výzkum, co s nimi dělá YapToText a co můžete dělat s libovolným nastavením Whisper, včetně whisper.cpp.

Stáhnout YapToText v Mac App StoruKe stažení zdarma. Bez účtu a bez zamčených funkcí, pro macOS 14 nebo novější na Macu s čipem Apple. Zdrojový kód na GitHubu.

Tento návod v dalších jazycích: English, Deutsch, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Português, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文

Na této stránce: 14 oddílů
  1. Kroky
  2. Jak vypadá halucinace Whisper
  3. Proč Whisper halucinuje
  4. Co zjistila studie Careless Whisper
  5. Jak se YapToText brání
    1. Než Whisper cokoli uslyší
    2. Poté, co se přepis vrátí
    3. Když model pro úpravu textu zlobí
  6. Podívejte se, co Whisper skutečně slyšel
    1. Krok 1: Otevřete diktování v History
    2. Krok 2: Další diktování nadiktujte surově
  7. Jak předejít halucinacím v jakékoli aplikaci s Whisper
  8. Tipy pro uživatele whisper.cpp
  9. Co žádná ochrana nezaručí
  10. Stručně
  11. Návody
  12. Další návody, anglicky
  13. Zdroje
  14. Otázky

Kroky

  1. Zastavte nahrávání, jakmile domluvíte, nebo zapněte Auto-stop after silence na stránce Dictation.
  2. Při delším přemýšlení stiskněte mezerník a diktování pozastavte, místo abyste nahrávali ticho.
  3. Vyberte jazyk, kterým mluvíte, ve výběru Language na stránce AI Models.
  4. Před přepisem souboru ořízněte dlouhá ticha a hudbu a pokud používáte whisper-cli, převeďte ho na WAV 16 bitů.
  5. V History klikněte na Show pipeline details a přečtěte si surový přepis, nebo během mluvení stiskněte 2 pro Raw Transcription.

Jak vypadá halucinace Whisper

Článek OpenAI o Whisper vyjmenovává způsoby selhání obyčejnými slovy: uvíznutí ve smyčkách opakování, nepřepsání prvních nebo posledních několika slov zvukového úseku a úplná halucinace, kdy model vypíše přepis, který s vlastním zvukem vůbec nesouvisí. V praxi se projevují čtyřmi vzorci. Halucinace není špatně slyšené slovo. Je to slovo, za kterým není vůbec žádný zvuk.

  • Smyčky opakování. Stejná věta, fráze nebo slovo pořád dokola, často na konci nahrávky, která se vytrácí do ticha. Model card od OpenAI říká, že architektura typu sekvence na sekvenci vede model k tvorbě opakujícího se textu, což beam search a plánování teploty do určité míry zmírní, ale ne dokonale.
  • Text z ticha. Ve vlákně diskuse v repozitáři Whisper s názvem „Share your hallucinations here“ uživatelé hlásí řádky jako „Thank you for watching“ a titulkové kredity, které se objevují přes ticho, hudbu nebo zvukové efekty, kde nikdo nemluvil.
  • Vymyšlené věty. Celé fráze, které nikdy nezazněly. Zpráva Cornellu o studii Careless Whisper říká, že Whisper občas vymýšlí celé fráze a věty, někdy s násilným jazykem, vymyšlenými osobními údaji a falešnými weby.
  • Popisky a scénické poznámky. Text, který se čte jako scénář, ne jako řeč. Poznámky k vydání YapToText 1.4 zaznamenávají opravu halucinovaných popisků mluvčích, například „Male speaker:“, které se objevovaly v přepisech.

Opačné selhání, vynechaná slova na začátku nebo na konci, s tím souvisí a je důvodem, proč chybějící první slovo a vymyšlený poslední řádek mohou pocházet ze stejné nahrávky. Běžná špatně slyšená slova jsou jiný problém s jinými řešeními, popsaný v návodu k Whisper pro Mac.

Proč Whisper halucinuje

Příčinu vysvětluje OpenAI ve svém model card. Protože modely byly trénované slabě řízeným způsobem na rozsáhlých zašuměných datech, mohou jejich predikce obsahovat text, který ve zvuku vůbec nezazněl. Model card naznačuje, že k tomu dochází, protože model kombinuje snahu předpovědět další slovo se snahou přepsat samotný zvuk, a říká, že chování může být horší v jazycích s menším množstvím zdrojů nebo menší dohledatelností. Když je zvuku málo, odvádí víc práce hádající polovina modelu.

To ukazuje na podmínky, které halucinaci vyvolávají:

  • Ticho a dlouhé pauzy. Studie Careless Whisper zjistila, že halucinace vznikají nepřiměřeně často u lidí, kteří mluví s větším podílem času bez hlasu, jinými slovy s delšími pauzami.
  • Hudba a zvukové efekty. Hlášení v repozitáři Whisper se shlukují kolem úseků, ve kterých nezazněla žádná řeč.
  • Hlučný nebo slabý signál. Méně zřetelná řeč dává modelu méně opory pro každé slovo.
  • Jazyk. OpenAI říká, že výkon se podle jazyka velmi liší, a model card uvádí, že halucinace mohou být horší v jazycích s menším množstvím zdrojů.

Pro rozpoznání záleží ještě na jedné podrobnosti. Studie zjistila, že halucinace z API Whisper od OpenAI nebyly deterministické a při každém běhu dávaly jiný náhodný text, a rozdíly mezi dvěma běhy téhož zvuku využila k jejich nalezení. Pokud váš nástroj dává pro stejný zvuk při dvou během různý text, část, která se změnila, si zaslouží druhý pohled.

Co zjistila studie Careless Whisper

Studie se jmenuje „Careless Whisper: Speech-to-Text Hallucination Harms“, napsali ji Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann a Mona Sloane a byla představena na konferenci ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024. Podíl je malý. Škoda z jediné vymyšlené věty může být velká.

Zkontrolováno 5. října 2026 v článku na arXiv a v ACM Digital Library a ve zpravodajském příspěvku Cornellu.

  • Co testovali. Téměř 40 hodin zvuku z AphasiaBank, 13 140 úseků, od mluvčích s afázií a od kontrolní skupiny, odeslaných do API Whisper od OpenAI v roce 2023.
  • Jak často. Zhruba 1 % přepisů obsahovalo celé halucinované fráze nebo věty, které v podkladovém zvuku neexistovaly v žádné podobě.
  • Jak vážné. 38 % halucinací zahrnovalo výslovné škody, například šíření násilí, vymýšlení nepřesných souvislostí nebo naznačování falešné autority.
  • Koho se týkaly. Mluvčí s afázií dostali víc halucinací než kontrolní skupina a úseky s větším podílem času bez hlasu je vyvolávaly pravděpodobněji.
  • V čase. Když autoři zvuk v prosinci 2023 znovu zpracovali, mnoho příkladů se vyřešilo, ale 12 ze 187 zvukových úseků stále halucinace vyvolalo.

Při čtení těchto čísel si pohlídejte dvě věci. Popisují hostované API OpenAI na tom vzorku v roce 2023, ne whisper.cpp, ne Whisper Large v3 Turbo a ne YapToText, takže nejsou předpovědí pro vaše vlastní diktování. A nejsou důvodem k panice: jsou důvodem přečíst si, co jste nadiktovali, což je dobrý zvyk tak jako tak. Pokud jsou dlouhé pauzy součástí vašeho způsobu mluvení, diktování podle potíží otevřeně říká, kde může YapToText selhávat.

Jak se YapToText brání

YapToText spouští nezměněný soubor Whisper Large v3 Turbo (Q5) přes whisper.cpp. Model se nepřetrénovával. Vlastní je řetězec zpracování kolem něj a část tohoto řetězce existuje proto, aby se do vašeho dokumentu nedostala slova, která nikdo neřekl. Model je nezměněný. Práce šla do ochran kolem něj.

Než Whisper cokoli uslyší

  • Dlouhá ticha se stlačí před přepisem, aby model nezačal bloudit.
  • Hluk se měří při každém diktování a stálý hluk se odečítá, jen když to poměr vyžaduje. Tichý hlas se vůči místnosti zvýrazní.
  • Hlučné úseky dostanou hlubší hledání. Dekódování se přepne z chamtivého na beam search (prohledávání více variant), když je úsek naměřený jako hlučný.
  • Půl sekundy před stisknutím klávesy se zachová, takže první slova nejsou ořezaná.
Plakát z App Storu s nadpisem It hears you through anything, který uvádí zvukové kroky nad rozbaleným panelem nahrávání.
Obrázek 1. Kroky kolem nezměněného modelu, od odstranění hluku v pozadí po porozumění tichu. Většina ochrany před halucinacemi se děje tady a hned poté, co se přepis vrátí.

Poté, co se přepis vrátí

  • Smyčky opakování se zachytí a odstraní. Ochrana sbalí smyčky, do kterých Whisper upadá na tichých koncích, a od verze 1.4 se dlouhé diktování končící tichem už neopakuje poslední větou pořád dokola.
  • Vymyšlené popisky mluvčích se odstraní spolu se scénickými poznámkami. Před opravou ve verzi 1.4 se popisek jako „Male speaker:“ mohl dokonce naučit jako slovní zásoba.
  • Zdvořilostní fráze halucinované z ticha se zachytí a odstraní.
  • Ticho nepíše nic. Pokud bylo diktování jen ticho, YapToText řekne Didn't catch that a nic se nepřepíše.
  • Krátký přepis dostane druhý průchod. Pokud se text vrátí kratší než řeč, která šla dovnitř, spustí se záchranný průchod.

Když model pro úpravu textu zlobí

Každý režim kromě Raw Transcription předává přepis malému modelu pro úpravu textu na vašem Macu a jazykový model umí také vymýšlet. Aplikace jeho práci kontroluje: pokud výsledek vypadá jako odpověď asistenta, naroste daleko za to, co jste řekli, opakuje referenční text nebo vymyslí výpustku, zahodí se a napíše se místo něj surový přepis. Úpravě textu se také říká, aby nikdy nevynechala větu ani nepřidala nic, co jste neřekli. Tato pravidla popisuje stránka o diktování s AI.

Každá z těchto změn se před vydáním měří na testovací sadě mých vlastních skutečných diktování. To jsou nahrávky jednoho člověka, ne srovnávací test, a zachyceno a odstraněno neznamená nikdy: nový druh halucinace může stále projít.

Podívejte se, co Whisper skutečně slyšel

Nejrychlejší způsob, jak rozlišit halucinaci od chyby úpravy textu, je podívat se na to, co Whisper vytvořil, než se čehokoli jiného dotklo něco dalšího. Pokud je vymyšlený text v surovém přepisu, napsal ho Whisper. Pokud ne, byla to úprava textu.

Krok 1: Otevřete diktování v History

  • Vy: Otevřete History, najděte diktování a klikněte na Show pipeline details (zobrazit podrobnosti zpracování).
  • YapToText: Zobrazí surový přepis nad konečným textem a pod ním režim, jazyk a časování.
  • Kontrola: Přečtěte si surový přepis a porovnejte ho s tím, co si pamatujete, že jste řekli.
Položka v History aplikace YapToText s otevřenými podrobnostmi zpracování: surový přepis, upravený přepis, režim, doručení, cílová aplikace a časování.
Obrázek 2. Surový přepis je nad upraveným textem, takže řádek, který nikdo neřekl, lze vystopovat k Whisper nebo k úpravě textu.

Krok 2: Další diktování nadiktujte surově

  • Vy: Během mluvení stiskněte 2, což je Raw Transcription ve výchozím pořadí se zapnutým Auto mode.
  • YapToText: Napíše slova z Whisper se základní interpunkcí a bez modelu s AI, jen pro toto jedno diktování.
  • Kontrola: To, co se objeví, je to, co Whisper slyšel. Chcete-li každé diktování ponechat surové, vypněte Post-transcription analysis na stránce Home.

Copy Raw Transcript v exportní nabídce každé položky v History vloží do schránky verzi před úpravou textu. A pokud chcete každé dlouhé diktování přečíst, než se vloží, zapněte Review before inserting v Settings, Advanced, Text output. Co smí každý režim měnit, vysvětluje návod k režimům.

Jak předejít halucinacím v jakékoli aplikaci s Whisper

Většina halucinací vyrůstá z ticha, takže nejlepší prevencí je dát Whisper ticha méně. Tohle funguje s jakoukoli aplikací s Whisper a nastavení YapToText jsou pojmenovaná tam, kde platí. Čím méně ticha jde dovnitř, tím méně vymyšlených slov vychází ven.

  1. Skončete, když jste hotovi. Klepněte na klávesu, jakmile domluvíte, místo abyste nechali nahrávání běžet. V YapToText Auto-stop after silence, ve výchozím stavu vypnuté, na kartě Recording na stránce Dictation, ukončí diktování po 0,5 až 5 sekundách ticha.
  2. Pauzu udělejte záměrně. Při delším přemýšlení uprostřed stiskněte Space, diktování se pozastaví, a dalším stisknutím pokračuje. Mezerník se nikdy nenapíše.
  3. Nastavte jazyk. Vyberte jazyk, kterým mluvíte, ve výběru Language na stránce AI Models, místo abyste nechali Whisper, aby si ho odvodil. Stránka o jazycích uvádí všech 29.
  4. Dejte mu čistý signál. Mikrofon blízko, tichá místnost, hudba vypnutá. Volba YapToText Pause music and video while dictating, ve výchozím stavu zapnutá, pozastaví přehrávání, když mluvíte.
  5. Nahrávky nejdřív ořízněte. Než soubor přepíšete, vystřihněte z jeho začátku a konce v libovolném zvukovém editoru dlouhé úseky ticha a hudbu.
  6. Přečtěte si to, než na tom záleží. U všeho, co se odešle, založí nebo cituje, si přečtěte surový přepis.
Stránka nastavení Dictation v YapToText na Macu: karty Keys, Recording, Microphone a Delivery.
Obrázek 3. Auto-stop after silence je na kartě Recording na stránce Dictation, ve výchozím stavu vypnuté. Zapněte ho, aby se diktování ukončilo, když přestanete mluvit.

Stránka o klávesách a zkratkách popisuje Space, Esc a další.

Tipy pro uživatele whisper.cpp

Pokud Whisper spouštíte sami přes whisper.cpp, ovládáte zvuk, který jde dovnitř, a právě tam je většina prevence. Čistý, oříznutý zvuk je nejlevnější oprava halucinací, jaká existuje.

  • Převeďte správně. README whisper.cpp říká, že whisper-cli v současnosti běží jen se soubory WAV 16 bitů, a uvádí příkaz ffmpeg pro převod čehokoli jiného.
  • Nejdřív ořízněte. Vystřihněte dlouhá ticha a hudbu před převodem, aby je model nikdy neviděl.
  • Nastavte jazyk, pokud můžete. Podívejte se ve výstupu nápovědy whisper-cli na volbu jazyka, místo abyste se spoléhali na rozpoznání.
  • Zkuste jinou velikost modelu. Pokud mluvíte jen anglicky a paměť je těsná, OpenAI říká, že modely .en určené jen pro angličtinu mívají u angličtiny lepší výsledky, nejvíc u velikostí tiny a base.
  • Vězte, co je živý režim. whisper-stream vzorkuje mikrofon každou půl sekundy a přepisuje průběžně a README ho nazývá naivním příkladem.

Terminál: Převeďte oříznutou nahrávku do formátu WAV, který whisper-cli čte, příkazem přímo z README.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Co se stane: ffmpeg zapíše output.wav jako zvuk 16 kHz, mono, 16 bitů, který potom předáte whisper-cli za -f.

Soubor modelu, který jste stáhli pro whisper.cpp, funguje i v YapToText: v části Your own models na stránce AI Models přijme Add Model jakýkoli soubor GGML .bin pro whisper.cpp. Úplné nastavení, velikosti modelů a údaje o paměti má návod k místnímu Whisper.

Co žádná ochrana nezaručí

  • Každou halucinaci. Ochrany zachytí vzorce, které mám vyzkoušené. Nový může projít, a proto je surový přepis vždy na jedno kliknutí.
  • Slova, která nezazněla. Žádná ochrana nezíská řeč, kterou mikrofon nezachytil, a odstranění vymyšleného textu nechá mezeru, ne skutečná slova.
  • Vlastní míru. Míru halucinací pro YapToText ani pro žádný model neměřím, proto tato stránka cituje jen zveřejněnou studii i s jejími omezeními.
  • Doplňky přepisu souborů. Soubory se vrací jako prostý text, bez časových značek, takže od podezřelého řádku nelze skočit na jeho místo ve zvuku. Tuto funkci popisuje stránka o zvukových souborech.
  • Dlouhé pauzy jako styl řeči. Whisper je obecný model a nic v YapToText nemění to, jak zachází s řečí s dlouhými pauzami, kromě stlačení ticha.
  • Mac s Intelem. YapToText vyžaduje Mac s čipem Apple a macOS 14 nebo novější.

Ochrany snižují pravděpodobnost. Přečíst si, co jste nadiktovali, zůstává poslední kontrolou.

Stručně

  • Co to je. Je to text bez řeči za sebou: smyčky, závěrečné formule přes ticho, vymyšlené věty a popisky.
  • Proč. Whisper předpovídá stejně jako přepisuje a ticho, pauzy, hudba a hluk dávají předpovědi prostor.
  • V YapToText. Dlouhá ticha se stlačí. Smyčky opakování, popisky mluvčích a zdvořilostní fráze z ticha se odstraní. Přerostlá úprava textu se zahodí.
  • Pro kohokoli. Skončete, když domluvíte, ořízněte ticho, nastavte jazyk a přečtěte si surový přepis.

YapToText je zdarma v Mac App Storu a Whisper běží na vašem Macu.

Dejte Whisper méně ticha a zkontrolujte, co napsal. Pokud YapToText někdy napíše něco, co jste neřekli, založte issue na GitHubu se surovým přepisem z History. Čtu všechna.

Stáhnout YapToText v Mac App StoruKe stažení zdarma. Bez účtu a bez zamčených funkcí, pro macOS 14 nebo novější na Macu s čipem Apple. Zdrojový kód na GitHubu.

Kdo píše. Ryleigh Newman vyvíjí software, psaní na klávesnici zvládá jen s obtížemi a každý den diktuje v YapToText, aplikaci, o které je tento web. Tato stránka je přeložená z angličtiny. Rozhraní aplikace a zbytek webu jsou v angličtině. Více o projektu, anglicky.

Další návody, anglicky

Zdroje

Otázky

Proč Whisper halucinuje?

Model card od OpenAI říká, že Whisper byl trénovaný na rozsáhlých zašuměných datech a může vypsat text, který nezazněl, pravděpodobně proto, že kromě přepisu předpovídá i další slovo. Ticho, dlouhé pauzy, hudba a hluk dávají této předpovědi víc prostoru.

Proč Whisper píše „thank you for watching“?

Je to známý druh halucinace přes ticho nebo hudbu. Uživatelé ve vlákně „Share your hallucinations here“ v repozitáři Whisper ji hlásí spolu s titulkovými kredity. Zastavení nahrávání, když domluvíte, a oříznutí ticha jí dávají méně prostoru.

Proč Whisper pořád opakuje stejný text?

Článek OpenAI uvádí uvíznutí ve smyčkách opakování jako způsob selhání a jeho model card říká, že architektura je náchylná k opakujícímu se textu. Smyčky se často objevují na tichém konci, který ochrana v YapToText sbalí.

Jak časté jsou halucinace Whisper?

Studie Careless Whisper zjistila, že zhruba 1 % přepisů z API Whisper od OpenAI v jejím vzorku z roku 2023 obsahovalo vymyšlené fráze nebo věty. Váš vlastní podíl závisí na vašem zvuku, vašem modelu a vaší aplikaci.

Jak opravit halucinace Whisper?

Dejte mu méně ticha: skončete, když jste hotovi, dělejte pauzy záměrně a nahrávky ořezávejte. Nastavte jazyk, používejte čistý signál z mikrofonu a čtěte surový přepis, abyste viděli, co Whisper skutečně napsal.

Halucinuje YapToText?

Spouští Whisper, takže může. Stlačuje dlouhá ticha, odstraňuje smyčky opakování, vymyšlené popisky mluvčích a zdvořilostní fráze halucinované z ticha a zahazuje úpravu textu, která daleko přesáhne to, co jste řekli. History ukazuje surový přepis.