Halusinasi Whisper: mengapa Whisper mengetik kata yang tidak diucapkan siapa pun, dan cara menghentikannya

Oleh · Diterbitkan

Halusinasi Whisper adalah kata dalam transkrip yang tidak diucapkan siapa pun: satu frasa yang diulang terus-menerus, kalimat penutup seperti "Thank you for watching" di atas keheningan, atau seluruh kalimat karangan. Hal ini terjadi karena Whisper menulis teks mirip cara sebuah model bahasa bekerja, dan ketika audionya hening, berisik, atau tidak jelas, perasaannya tentang apa yang biasanya muncul berikutnya bisa mengalahkan apa yang sebenarnya ia dengar.

Model card OpenAI sendiri memperingatkan hal ini, dan studi tahun 2024 menemukan frasa karangan pada sekitar 1% transkripsi yang diujinya. Saya mengembangkan YapToText, app dikte Mac gratis yang menjalankan Whisper di Mac Anda, karena saya sulit mengetik dengan tangan dan berdikte setiap hari, dan sebagian besar pekerjaan di sekitar model dipakai untuk menangkap persis hal ini. Di bawah ini: seperti apa halusinasi itu, mengapa terjadi, apa temuan penelitian, apa yang dilakukan YapToText, dan apa yang dapat Anda lakukan dengan setup Whisper mana pun, termasuk whisper.cpp.

Unduh YapToText di Mac App StoreGratis diunduh. Tanpa akun dan tanpa fitur terkunci, untuk macOS 14 atau lebih baru di Mac dengan chip Apple. Kode sumber di GitHub.

Panduan ini dalam bahasa lain: English, Čeština, Deutsch, Español, Français, Magyar, Italiano, 日本語, 한국어, Nederlands, Polski, Português, Русский, ไทย, Türkçe, Tiếng Việt, 简体中文, 繁體中文

Di halaman ini: 14 bagian
  1. Langkah
  2. Seperti apa halusinasi Whisper
  3. Mengapa Whisper berhalusinasi
  4. Temuan studi Careless Whisper
  5. Cara YapToText menjaga dari halusinasi
    1. Sebelum Whisper mendengar apa pun
    2. Setelah transkrip kembali
    3. Saat model perapian salah berperilaku
  6. Lihat apa yang sebenarnya didengar Whisper
    1. Langkah 1: Buka dikte di History
    2. Langkah 2: Diktekan berikutnya secara mentah
  7. Mencegah halusinasi di app Whisper mana pun
  8. Tips untuk pengguna whisper.cpp
  9. Yang tidak dapat dijanjikan pengaman apa pun
  10. Versi singkat
  11. Panduan
  12. Panduan lain, dalam bahasa Inggris
  13. Sumber
  14. Pertanyaan

Langkah

  1. Hentikan rekaman begitu Anda selesai berbicara, atau nyalakan Auto-stop after silence di halaman Dictation.
  2. Tekan Space untuk menjeda saat berpikir lama, jangan merekam keheningannya.
  3. Pilih bahasa yang Anda ucapkan di pemilih Language pada halaman AI Models.
  4. Sebelum mentranskripsikan file, pangkas keheningan panjang dan musik, lalu konversi ke WAV 16-bit jika Anda memakai whisper-cli.
  5. Di History, klik Show pipeline details dan baca transkrip mentah, atau tekan 2 saat berbicara untuk Raw Transcription.

Seperti apa halusinasi Whisper

Makalah Whisper dari OpenAI mencantumkan jenis kegagalannya dengan kata-kata sederhana: terjebak dalam putaran pengulangan, tidak mentranskripsikan beberapa kata pertama atau terakhir dari sebuah segmen audio, dan halusinasi penuh, ketika model menghasilkan transkrip yang sama sekali tidak berkaitan dengan audio sebenarnya. Dalam praktiknya halusinasi muncul dalam empat pola. Halusinasi bukan kata yang salah dengar. Ia adalah kata tanpa suara apa pun di baliknya.

  • Putaran pengulangan. Kalimat, frasa, atau kata yang sama berulang-ulang, sering di akhir rekaman yang memudar menjadi hening. Model card OpenAI menyebutkan bahwa arsitektur sequence-to-sequence membuat model rentan menghasilkan teks berulang, yang dapat dikurangi sampai batas tertentu oleh beam search dan penjadwalan suhu, tetapi tidak sempurna.
  • Teks dari keheningan. Di utas diskusi repositori Whisper sendiri yang berjudul "Share your hallucinations here", pengguna melaporkan baris seperti "Thank you for watching" dan kredit subtitle yang muncul di atas keheningan, musik, atau efek suara, ketika tidak ada yang berbicara.
  • Kalimat karangan. Seluruh frasa yang tidak pernah diucapkan. Tulisan Cornell tentang studi Careless Whisper menyebutkan bahwa Whisper sesekali mengarang seluruh frasa dan kalimat, kadang dengan bahasa kekerasan, informasi pribadi rekaan, dan situs web palsu.
  • Label dan petunjuk panggung. Teks yang terbaca seperti naskah, bukan ucapan. Catatan rilis YapToText 1.4 mencatat perbaikan untuk label pembicara hasil halusinasi seperti "Male speaker:" yang muncul di transkrip.

Kegagalan sebaliknya, kata yang hilang di awal atau akhir, berkaitan, dan itulah sebabnya kata pertama yang hilang dan baris terakhir karangan bisa berasal dari rekaman yang sama. Kata yang sekadar salah dengar adalah masalah berbeda dengan perbaikan berbeda, dibahas di panduan Whisper untuk Mac.

Mengapa Whisper berhalusinasi

OpenAI menjelaskan penyebabnya di model card-nya. Karena model dilatih dengan cara diawasi secara lemah pada data berisik berskala besar, prediksinya dapat memuat teks yang sebenarnya tidak diucapkan dalam audio. Model card menduga hal ini terjadi karena model menggabungkan upaya memprediksi kata berikutnya dengan upaya mentranskripsikan audionya, dan menyebutkan perilaku ini mungkin lebih buruk pada bahasa dengan sumber daya lebih sedikit atau yang lebih sulit ditemukan. Ketika hanya sedikit suara yang bisa dijadikan pegangan, bagian model yang menebak mengerjakan lebih banyak.

Itu menunjuk pada kondisi yang mengundangnya:

  • Keheningan dan jeda panjang. Studi Careless Whisper menemukan halusinasi terjadi secara tidak proporsional pada orang yang berbicara dengan porsi waktu tanpa suara lebih panjang, dengan kata lain jeda yang lebih lama.
  • Musik dan efek suara. Laporan di repositori Whisper menumpuk pada bagian yang tidak berisi ucapan.
  • Sinyal yang berisik atau lemah. Ucapan yang kurang jelas memberi model lebih sedikit pegangan untuk setiap kata.
  • Bahasanya. OpenAI menyatakan kinerja sangat bervariasi menurut bahasa, dan model card menyebutkan halusinasi mungkin lebih buruk pada bahasa dengan sumber daya lebih sedikit.

Satu detail lagi penting untuk mengenalinya. Studi itu menemukan bahwa halusinasi dari API Whisper OpenAI bersifat nondeterministik, menghasilkan teks acak berbeda pada setiap proses, dan memakai perbedaan antara dua proses dari audio yang sama untuk menemukannya. Jika alat Anda memberi teks berbeda untuk audio yang sama pada dua proses, bagian yang berubah layak diperiksa ulang.

Temuan studi Careless Whisper

Studi itu berjudul "Careless Whisper: Speech-to-Text Hallucination Harms", oleh Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann, dan Mona Sloane, dipresentasikan di ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024. Angkanya kecil. Kerugian dari satu kalimat karangan bisa besar.

Diperiksa 5 Oktober 2026, pada makalah di arXiv dan ACM Digital Library, serta berita Cornell.

  • Yang mereka uji. Hampir 40 jam audio dari AphasiaBank, 13.140 segmen, dari penutur dengan afasia dan kelompok kontrol, dikirim ke API Whisper OpenAI pada 2023.
  • Seberapa sering. Sekitar 1% transkripsi memuat seluruh frasa atau kalimat hasil halusinasi yang tidak ada dalam bentuk apa pun di audio aslinya.
  • Seberapa parah. 38% halusinasi memuat bahaya yang eksplisit, seperti melanggengkan kekerasan, mengarang kaitan yang tidak akurat, atau menyiratkan otoritas palsu.
  • Siapa. Penutur dengan afasia mengalami lebih banyak halusinasi daripada kelompok kontrol, dan segmen dengan lebih banyak waktu tanpa suara lebih mungkin menghasilkannya.
  • Seiring waktu. Ketika para penulis menjalankan ulang audio pada Desember 2023, banyak contoh sudah teratasi, tetapi 12 dari 187 segmen audio masih menghasilkan halusinasi.

Dua hal perlu dipahami saat Anda membaca angka-angka itu. Angka-angka itu menggambarkan API yang di-host OpenAI pada sampel tersebut di tahun 2023, bukan whisper.cpp, bukan Whisper Large v3 Turbo, dan bukan YapToText, jadi bukan ramalan untuk dikte Anda sendiri. Dan angka-angka itu bukan alasan untuk panik: itu alasan untuk membaca apa yang Anda diktekan, yang memang kebiasaan baik. Jika jeda panjang adalah bagian dari cara Anda berbicara, dikte menurut kondisi menyebutkan dengan jujur di mana YapToText mungkin kurang.

Cara YapToText menjaga dari halusinasi

YapToText menjalankan file Whisper Large v3 Turbo (Q5) standar lewat whisper.cpp. Saya tidak melatih ulang modelnya. Yang saya bangun adalah jalur pemrosesan di sekitarnya, dan sebagian jalur itu ada untuk menjaga kata yang tidak diucapkan siapa pun keluar dari dokumen Anda. Modelnya standar. Pengaman di sekelilingnyalah tempat pekerjaan dicurahkan.

Sebelum Whisper mendengar apa pun

  • Keheningan panjang dipadatkan sebelum ditranskripsikan, agar model tidak melantur.
  • Kebisingan diukur pada setiap dikte, dan derau yang stabil dikurangi hanya bila rasionya menuntut. Suara pelan diangkat relatif terhadap ruangan.
  • Klip berisik mendapat pencarian lebih dalam. Dekode beralih dari greedy ke beam search ketika klip terukur berisik.
  • Setengah detik sebelum Anda menekan tombol disimpan, agar kata-kata pertama tidak terpotong.
Poster App Store berjudul It hears you through anything, yang mencantumkan langkah audio di atas panel rekaman yang diperluas.
Gambar 1. Langkah-langkah di sekitar model standar, dari penghilangan derau latar sampai pemahaman keheningan. Sebagian besar penjagaan terhadap halusinasi terjadi di sini dan tepat setelah transkrip kembali.

Setelah transkrip kembali

  • Putaran pengulangan ditangkap dan dihapus. Sebuah pengaman meringkas putaran yang dialami Whisper pada ekor yang hening, dan sejak 1.4 dikte panjang yang berakhir hening tidak lagi mengulang kalimat terakhirnya berkali-kali.
  • Label pembicara karangan dihapus, bersama petunjuk panggung. Sebelum perbaikan 1.4, label seperti "Male speaker:" bahkan bisa dipelajari sebagai kosakata.
  • Basa-basi hasil halusinasi dari keheningan ditangkap dan dihapus.
  • Keheningan tidak mengetik apa pun. Jika sebuah dikte hanya keheningan, YapToText menampilkan "Didn't catch that" dan tidak ada yang ditranskripsikan.
  • Transkrip yang pendek mendapat putaran kedua. Jika teks kembali lebih pendek daripada ucapan yang masuk, putaran penyelamatan dijalankan.

Saat model perapian salah berperilaku

Setiap mode kecuali Raw Transcription menyerahkan transkrip ke model perapian kecil di Mac Anda, dan model bahasa pun bisa mengarang. App memeriksa hasil kerjanya: jika hasilnya terbaca seperti balasan asisten, bertambah jauh melampaui yang Anda ucapkan, mengulang teks rujukan, atau mengarang tanda elipsis, hasil itu dibuang dan transkrip mentah yang diketik. Perapian juga diberi tahu untuk tidak pernah menghapus kalimat atau menambahkan apa pun yang tidak Anda ucapkan. Halaman dikte AI membahas aturan itu.

Setiap perubahan ini diukur terhadap rangkaian pengujian dari dikte nyata saya sendiri sebelum dirilis. Itu rekaman satu orang, bukan tolok ukur, dan ditangkap dan dihapus tidak sama dengan tidak pernah: jenis halusinasi baru masih bisa lolos.

Lihat apa yang sebenarnya didengar Whisper

Cara tercepat membedakan halusinasi dari kesalahan perapian adalah melihat apa yang dihasilkan Whisper sebelum yang lain menyentuhnya. Jika teks karangan ada di transkrip mentah, Whisper yang menulisnya. Jika tidak, perapianlah yang melakukannya.

Langkah 1: Buka dikte di History

  • Anda: Buka History, temukan dikte itu, lalu klik Show pipeline details.
  • YapToText: Menampilkan transkrip mentah di atas teks akhir, dengan mode, bahasa, dan waktu di bawahnya.
  • Periksa: Baca transkrip mentah dan bandingkan dengan yang Anda ingat telah Anda ucapkan.
Entri History YapToText dengan detail pipeline terbuka: transkrip mentah, transkrip yang dirapikan, mode, pengiriman, app tujuan, dan waktu.
Gambar 2. Transkrip mentah berada di atas teks yang dirapikan, sehingga baris yang tidak diucapkan siapa pun dapat ditelusuri ke Whisper atau ke perapian.

Langkah 2: Diktekan berikutnya secara mentah

  • Anda: Saat berbicara, tekan 2, Raw Transcription dalam urutan default dengan Auto mode menyala.
  • YapToText: Mengetik kata-kata Whisper dengan tanda baca dasar dan tanpa model AI, untuk satu dikte itu.
  • Periksa: Yang mendarat adalah yang didengar Whisper. Untuk menjaga setiap dikte tetap mentah, matikan Post-transcription analysis di halaman Home.

Copy Raw Transcript, di menu ekspor setiap entri History, menaruh versi sebelum perapian di papan klip. Dan jika Anda ingin membaca setiap dikte panjang sebelum mendarat, nyalakan Review before inserting di Settings, Advanced, Text output. Panduan mode menjelaskan apa yang boleh diubah oleh tiap mode.

Mencegah halusinasi di app Whisper mana pun

Kebanyakan halusinasi tumbuh dari keheningan, jadi pencegahan terbaik adalah memberi Whisper lebih sedikit keheningan. Cara-cara ini berlaku di app Whisper mana pun, dan pengaturan YapToText disebut di tempat yang relevan. Semakin sedikit keheningan yang masuk, semakin sedikit kata karangan yang keluar.

  1. Berhenti saat selesai. Ketuk tombol begitu Anda selesai berbicara, jangan biarkan rekaman terus berjalan. Di YapToText, Auto-stop after silence, mati secara default di kartu Recording pada halaman Dictation, mengakhiri dikte setelah hening 0,5 sampai 5 detik.
  2. Berjeda dengan sengaja. Untuk berpikir lama di tengah, tekan Space untuk menjeda dikte dan sekali lagi untuk melanjutkan. Spasinya tidak pernah diketik.
  3. Atur bahasa. Pilih bahasa yang Anda ucapkan di pemilih Language pada halaman AI Models, jangan biarkan Whisper menebaknya. Halaman bahasa mencantumkan ke-29 bahasa.
  4. Beri sinyal yang bersih. Mikrofon dekat, ruangan tenang, musik mati. Pause music and video while dictating di YapToText, menyala secara default, menjeda pemutaran saat Anda berbicara.
  5. Pangkas rekaman lebih dulu. Sebelum mentranskripsikan file, potong bagian hening dan musik yang panjang dari awal dan akhir di editor audio apa pun.
  6. Baca sebelum penting. Baca transkrip mentah untuk apa pun yang akan dikirim, diarsipkan, atau dikutip.
Halaman pengaturan Dictation YapToText di Mac: kartu Keys, Recording, Microphone, dan Delivery.
Gambar 3. Auto-stop after silence berada di kartu Recording pada halaman Dictation, mati secara default. Nyalakan agar dikte berakhir saat Anda berhenti berbicara.

Halaman tombol dan pintasan membahas Space, Esc, dan lainnya.

Tips untuk pengguna whisper.cpp

Jika Anda menjalankan Whisper sendiri lewat whisper.cpp, Andalah yang mengendalikan audio yang masuk, tempat sebagian besar pencegahan berada. Audio yang bersih dan dipangkas adalah perbaikan halusinasi termurah yang ada.

  • Konversi dengan benar. README whisper.cpp menyebutkan bahwa whisper-cli saat ini hanya berjalan dengan file WAV 16-bit, dan memberikan perintah ffmpeg untuk mengonversi yang lain.
  • Pangkas dahulu. Potong keheningan panjang dan musik sebelum Anda mengonversi, agar model tidak pernah melihatnya.
  • Atur bahasa jika bisa. Periksa keluaran bantuan whisper-cli untuk opsi bahasa, jangan mengandalkan deteksi.
  • Coba ukuran model lain. Jika Anda hanya berbicara bahasa Inggris dan memori terbatas, OpenAI menyatakan model .en khusus bahasa Inggris cenderung lebih baik untuk bahasa Inggris, terutama pada ukuran tiny dan base.
  • Ketahui apa itu mode langsung. whisper-stream mengambil sampel mikrofon setiap setengah detik dan mentranskripsikan terus-menerus, dan README menyebutnya contoh yang naif.

Terminal: Ubah rekaman yang sudah dipangkas ke format WAV yang dibaca whisper-cli, dengan perintah dari README sendiri.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Yang terjadi: ffmpeg menulis output.wav sebagai audio 16 kHz, mono, 16-bit, yang kemudian Anda serahkan ke whisper-cli setelah -f.

File model yang Anda unduh untuk whisper.cpp juga berfungsi di YapToText: di bawah Your own models pada halaman AI Models, Add Model menerima file .bin GGML whisper.cpp apa pun. Panduan Whisper lokal memuat setup lengkap, ukuran model, dan angka memori.

Yang tidak dapat dijanjikan pengaman apa pun

  • Setiap halusinasi. Pengaman menangkap pola yang pernah saya lihat dan uji. Pola baru bisa lolos, itulah sebabnya transkrip mentah selalu hanya sejauh satu klik.
  • Kata yang tidak pernah terdengar. Tidak ada pengaman yang dapat memulihkan ucapan yang tidak tertangkap mikrofon, dan menghapus teks karangan meninggalkan celah, bukan kata-kata yang sebenarnya.
  • Angka saya sendiri. Saya tidak mengukur tingkat halusinasi untuk YapToText atau model mana pun, jadi halaman ini hanya mengutip studi yang dipublikasikan, dengan keterbatasannya.
  • Tambahan transkripsi file. File kembali sebagai teks biasa, tanpa penanda waktu, jadi tidak ada lompatan dari baris yang mencurigakan ke tempatnya di audio. Halaman file audio membahas fitur itu.
  • Jeda panjang sebagai gaya bicara. Whisper adalah model serba guna, dan tidak ada di YapToText yang mengubah cara ia menangani ucapan dengan jeda panjang selain memadatkan keheningan.
  • Mac Intel. YapToText memerlukan Mac Apple silicon dengan macOS 14 atau lebih baru.

Pengaman menurunkan peluang. Membaca apa yang Anda diktekan tetap menjadi pemeriksaan terakhir.

Versi singkat

  • Apa itu. Teks tanpa ucapan di baliknya: putaran, kalimat penutup di atas keheningan, kalimat dan label karangan.
  • Mengapa. Whisper memprediksi sekaligus mentranskripsikan, dan keheningan, jeda, musik, dan derau memberi ruang bagi prediksi.
  • Di YapToText. Keheningan panjang dipadatkan. Putaran pengulangan, label pembicara, dan basa-basi dari keheningan dihapus. Perapian yang membengkak dibuang.
  • Untuk siapa pun. Berhenti saat selesai, pangkas keheningan, atur bahasa, dan baca transkrip mentahnya.

YapToText gratis di Mac App Store, dan Whisper berjalan di Mac Anda.

Beri Whisper lebih sedikit keheningan, dan periksa apa yang ditulisnya. Jika YapToText pernah mengetik sesuatu yang tidak Anda ucapkan, buka issue di GitHub beserta transkrip mentah dari History. Semuanya saya baca.

Unduh YapToText di Mac App StoreGratis diunduh. Tanpa akun dan tanpa fitur terkunci, untuk macOS 14 atau lebih baru di Mac dengan chip Apple. Kode sumber di GitHub.

Tentang penulis. Ryleigh Newman mengembangkan perangkat lunak, sulit mengetik dengan tangan, dan setiap hari mendikte dengan YapToText, app yang dibahas situs ini. Halaman ini diterjemahkan dari bahasa Inggris. Antarmuka app dan halaman lain di situs ini berbahasa Inggris. Selengkapnya tentang proyek ini, dalam bahasa Inggris.

Panduan

Panduan lain, dalam bahasa Inggris

Sumber

Pertanyaan

Mengapa Whisper berhalusinasi?

Model card OpenAI menyatakan Whisper dilatih pada data berisik berskala besar dan dapat menghasilkan teks yang tidak diucapkan, kemungkinan karena ia memprediksi kata berikutnya sekaligus mentranskripsikan. Keheningan, jeda panjang, musik, dan derau memberi prediksi itu lebih banyak ruang.

Mengapa Whisper menulis "thank you for watching"?

Itu jenis halusinasi yang dikenal di atas keheningan atau musik. Pengguna di utas "Share your hallucinations here" pada repositori Whisper melaporkannya bersama kredit subtitle. Menghentikan rekaman saat Anda selesai berbicara dan memangkas keheningan memberinya lebih sedikit ruang.

Mengapa Whisper terus mengulang teks yang sama?

Makalah OpenAI mencantumkan terjebak dalam putaran pengulangan sebagai salah satu jenis kegagalan, dan model card-nya menyebutkan arsitekturnya rentan menghasilkan teks berulang. Putaran sering muncul pada ekor yang hening, yang diringkas oleh pengaman YapToText.

Seberapa sering halusinasi Whisper terjadi?

Studi Careless Whisper menemukan sekitar 1% transkripsi dari API Whisper OpenAI dalam sampel 2023-nya memuat frasa atau kalimat karangan. Tingkat Anda sendiri bergantung pada audio, model, dan app Anda.

Bagaimana cara memperbaiki halusinasi Whisper?

Beri lebih sedikit keheningan: berhenti saat selesai, berjeda dengan sengaja, dan pangkas rekaman. Atur bahasa, pakai sinyal mikrofon yang bersih, dan baca transkrip mentah agar Anda bisa melihat apa yang sebenarnya ditulis Whisper.

Apakah YapToText berhalusinasi?

App ini menjalankan Whisper, jadi bisa. App ini memadatkan keheningan panjang, menghapus putaran pengulangan, label pembicara karangan, dan basa-basi hasil halusinasi dari keheningan, dan membuang perapian yang membengkak melampaui yang Anda ucapkan. History menampilkan transkrip mentah.