Whisper halüsinasyonları: Whisper neden kimsenin söylemediği sözcükleri yazıyor ve bu nasıl durdurulur

Whisper halüsinasyonları, bir dökümde kimsenin söylemediği sözcüklerdir: tekrar tekrar yazılan bir ifade, sessizliğin üstünde "Thank you for watching" gibi bir veda cümlesi veya tamamen uydurulmuş bir cümle. Whisper metni büyük ölçüde bir dil modeli gibi yazdığı için ortaya çıkarlar ve ses sessiz, gürültülü veya belirsiz olduğunda, genellikle sırada ne geleceğine dair sezgisi gerçekte duyduğunun önüne geçebilir.

OpenAI’ın kendi model kartı bu konuda uyarıyor ve 2024 tarihli bir çalışma, test ettiği yazıya dökmelerin yaklaşık %1’inde uydurma ifadeler buldu. Whisper’ı Mac’inizde çalıştıran ücretsiz bir Mac dikte uygulaması olan YapToText’i, ellerim yazı yazmayı zorlaştırdığı ve her gün dikte ettiğim için geliştirdim ve modelin çevresindeki işin önemli bir bölümü tam olarak bunu yakalamaya gitti. Aşağıda şunlar var: halüsinasyonların neye benzediği, neden olduğu, araştırmanın ne bulduğu, YapToText’in bunlar için ne yaptığı ve herhangi bir Whisper kurulumunda yapabilecekleriniz, whisper.cpp dahil.

YapToText’i Mac App Store’dan indirinÜcretsiz indirilir. Hesap gerekmez, kilitli özellik yoktur. Apple çipli bir Mac ve macOS 14 veya sonrası gerekir. Kaynak kodu GitHub’da.

Bu sayfada: 14 bölüm
  1. Adımlar
  2. Bir Whisper halüsinasyonu neye benzer
  3. Whisper neden halüsinasyon görür
  4. Careless Whisper çalışması ne buldu
  5. YapToText buna karşı nasıl önlem alıyor
    1. Whisper herhangi bir şey duymadan önce
    2. Döküm geri geldikten sonra
    3. Temizleme modeli kötü davrandığında
  6. Whisper’ın gerçekte ne duyduğunu görün
    1. Adım 1: Dikteyi History’de açın
    2. Adım 2: Bir sonrakini ham dikte edin
  7. Herhangi bir Whisper uygulamasında halüsinasyonu önleme
  8. whisper.cpp kullanıcıları için ipuçları
  9. Hiçbir önlemin vaat edemedikleri
  10. Kısa özet
  11. Rehberler
  12. Diğer rehberler, İngilizce
  13. Kaynaklar
  14. Sorular

Adımlar

  1. Konuşmayı bitirir bitirmez kaydı durdurun veya Dictation sayfasında Auto-stop after silence seçeneğini açın.
  2. Uzun bir düşünme sırasında sessizliği kaydetmek yerine duraklatmak için Space tuşuna basın.
  3. AI Models sayfasındaki Language seçicisinden konuştuğunuz dili seçin.
  4. Bir dosyayı yazıya dökmeden önce uzun sessizlikleri ve müziği kırpın ve whisper-cli kullanıyorsanız 16 bit WAV’a dönüştürün.
  5. History’de Show pipeline details seçeneğine tıklayıp ham dökümü okuyun veya konuşurken Raw Transcription için 2 tuşuna basın.

Bir Whisper halüsinasyonu neye benzer

OpenAI’ın Whisper makalesi hata biçimlerini sade sözcüklerle sıralıyor: tekrar döngülerine takılmak, bir ses parçasının ilk veya son birkaç sözcüğünü yazıya dökmemek ve modelin gerçek sesle tamamen ilgisiz bir döküm verdiği tam halüsinasyon. Uygulamada dört örüntü olarak karşımıza çıkarlar. Halüsinasyon yanlış duyulmuş bir sözcük değildir. Arkasında hiç ses bulunmayan bir sözcüktür.

  • Tekrar döngüleri. Aynı cümle, ifade veya sözcük defalarca, çoğunlukla sessizliğe karışan bir kaydın sonunda. OpenAI’ın model kartı, diziden diziye mimarisinin modeli tekrarlayan metin üretmeye yatkın kıldığını, ışın aramasının ve sıcaklık planlamasının bunu bir dereceye kadar hafifletebildiğini ama kusursuz biçimde değil, söylüyor.
  • Sessizlikten gelen metin. Whisper deposunun "Share your hallucinations here" başlıklı kendi tartışma dizisinde kullanıcılar, kimsenin konuşmadığı sessizlik, müzik veya ses efektleri üzerinde "Thank you for watching" gibi satırların ve altyazı kredilerinin göründüğünü bildiriyor.
  • Uydurma cümleler. Hiç söylenmemiş bütün ifadeler. Cornell’in Careless Whisper çalışmasına ilişkin yazısı, Whisper’ın zaman zaman bütün ifadeleri ve cümleleri uydurduğunu, bunların bazen şiddet içeren dil, uydurma kişisel bilgiler ve sahte web siteleri içerdiğini söylüyor.
  • Etiketler ve sahne yönergeleri. Konuşmadan çok bir senaryoya benzeyen metin. YapToText’in 1.4 sürüm notları, dökümlerde "Male speaker:" gibi halüsinasyonla üretilmiş konuşmacı etiketlerinin görünmesi için bir düzeltme kaydediyor.

Bunun tersi olan hata, başta veya sonda sözcüklerin düşmesi, ilişkilidir ve eksik bir ilk sözcükle uydurma bir son satırın aynı kayıttan gelebilmesinin nedeni budur. Sıradan yanlış duyulmuş sözcükler farklı çözümleri olan ayrı bir sorundur ve Mac için Whisper rehberinde ele alınıyor.

Whisper neden halüsinasyon görür

OpenAI nedeni model kartında açıklıyor. Modeller büyük ölçekli, gürültülü veriyle zayıf denetimli biçimde eğitildiği için tahminleri sesin içinde gerçekte söylenmemiş metni içerebilir. Model kartı bunun, modelin hem sonraki sözcüğü tahmin etmeyi hem de sesin kendisini yazıya dökmeyi birleştirmesinden kaynaklandığını öne sürüyor ve davranışın daha az kaynağı olan veya daha az bulunabilir dillerde daha kötü olabileceğini söylüyor. Dayanılacak ses az olduğunda modelin tahmin eden yarısı işin daha çoğunu yapar.

Bu, onu çağıran koşullara işaret ediyor:

  • Sessizlik ve uzun duraklamalar. Careless Whisper çalışması, halüsinasyonların seslendirmesiz zamanın payı daha uzun olan, yani duraklamaları daha uzun konuşan kişilerde orantısız biçimde görüldüğünü buldu.
  • Müzik ve ses efektleri. Whisper deposundaki bildirimler içinde konuşma bulunmayan bölümlerde kümelenir.
  • Gürültülü veya zayıf sinyal. Daha az net konuşma, modele her sözcüğü bağlayacak daha az şey verir.
  • Dil. OpenAI performansın dile göre büyük farklılık gösterdiğini söylüyor ve model kartı halüsinasyonun daha az kaynağı olan dillerde daha kötü olabileceğini belirtiyor.

Fark etmek için bir ayrıntı daha önemli. Çalışma, OpenAI’ın Whisper API’sinden gelen halüsinasyonların deterministik olmadığını, her çalıştırmada farklı rastgele metin ürettiğini buldu ve bunları bulmak için aynı sesin iki çalıştırması arasındaki farkları kullandı. Aracınız aynı ses için iki çalıştırmada farklı metin veriyorsa, değişen kısım ikinci bir bakışı hak ediyor.

Careless Whisper çalışması ne buldu

Çalışmanın adı "Careless Whisper: Speech-to-Text Hallucination Harms". Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann ve Mona Sloane tarafından yazıldı ve ACM Conference on Fairness, Accountability, and Transparency, FAccT 2024’te sunuldu. Oran küçüktür. Tek bir uydurma cümlenin zararı büyük olabilir.

5 Ekim 2026’da arXiv’deki makalede, ACM Digital Library’de ve Cornell’in haber yazısında kontrol edildi.

  • Ne test ettiler. AphasiaBank’tan, afazisi olan konuşmacılardan ve bir kontrol grubundan alınan, 13.140 parçadan oluşan yaklaşık 40 saatlik ses, 2023’te OpenAI’ın Whisper API’sine gönderildi.
  • Ne sıklıkta. Yazıya dökmelerin yaklaşık %1’i, altta yatan seste hiçbir biçimde bulunmayan tamamen halüsinasyonla üretilmiş ifadeler veya cümleler içeriyordu.
  • Ne kadar kötü. Halüsinasyonların %38’i şiddeti sürdürmek, yanlış çağrışımlar uydurmak veya sahte otorite ima etmek gibi açık zararlar içeriyordu.
  • Kimde. Afazisi olan konuşmacılar kontrol grubundan daha çok halüsinasyon aldı ve seslendirmesiz zamanı daha çok olan parçaların bunları üretme olasılığı daha yüksekti.
  • Zaman içinde. Yazarlar sesi Aralık 2023’te yeniden çalıştırdığında birçok örnek çözülmüştü, ama 187 ses parçasından 12’si hâlâ halüsinasyon üretiyordu.

Bu sayıları okurken iki şeyi ayrı tutun. Bunlar 2023’te o örneklemdeki OpenAI’ın barındırılan API’sini anlatır, whisper.cpp’yi, Whisper Large v3 Turbo’yu veya YapToText’i değil, bu yüzden kendi diktenizin tahmini değildir. Ve panik için bir neden de değildir: dikte ettiğinizi okumak için bir nedendir ve bu zaten iyi bir uygulamadır. Uzun duraklamalar konuşma biçiminizin bir parçasıysa duruma göre dikte sayfası YapToText’in nerede yetersiz kalabileceğini dürüstçe söylüyor.

YapToText buna karşı nasıl önlem alıyor

YapToText, whisper.cpp üzerinden hazır Whisper Large v3 Turbo (Q5) dosyasını çalıştırır. Modeli yeniden eğitmedim. Çevresinde kurduğum şey bir işlem hattıdır ve bu hattın bir kısmı kimsenin söylemediği sözcükleri belgenizin dışında tutmak için vardır. Model hazır olandır. Emek, çevresindeki önlemlere gitti.

Whisper herhangi bir şey duymadan önce

  • Uzun sessizlikler yazıya dökmeden önce sıkıştırılır, böylece model sürüklenmez.
  • Gürültü her dikte için ölçülür ve sabit gürültü yalnızca oran gerektirdiğinde çıkarılır. Kısık bir ses odaya göre yükseltilir.
  • Gürültülü kayıtlar daha derin bir arama alır. Kayıt gürültülü ölçüldüğünde çözümleme açgözlü aramadan ışın aramasına geçer.
  • Tuşa basmadan önceki yarım saniye saklanır, böylece ilk sözcükler kırpılmaz.
Genişletilmiş kayıt panelinin üstünde yukarıdaki ses adımlarını sıralayan, başlığı It hears you through anything olan App Store posteri.
Şekil 1. Hazır modelin çevresindeki adımlar, arka plan gürültüsünü gidermeden sessizliği anlamaya kadar. Halüsinasyon önlemlerinin çoğu burada ve döküm geri geldikten hemen sonra gerçekleşir.

Döküm geri geldikten sonra

  • Tekrar döngüleri yakalanıp kaldırılır. Bir önlem, Whisper’ın sessiz kuyruklarda düştüğü döngüleri çökertir ve 1.4’ten beri sessizlikle biten uzun bir dikte son cümlesini artık tekrar tekrar yinelemez.
  • Uydurma konuşmacı etiketleri kaldırılır, sahne yönergeleriyle birlikte. 1.4 düzeltmesinden önce "Male speaker:" gibi bir etiket sözcük dağarcığı olarak bile öğrenilebiliyordu.
  • Sessizlikten halüsinasyonla üretilen nezaket sözleri yakalanıp kaldırılır.
  • Sessizlik hiçbir şey yazmaz. Bir dikte yalnızca sessizlikse YapToText "Didn't catch that" der ve hiçbir şey yazıya dökülmez.
  • Kısa bir döküm ikinci geçiş alır. Metin, içeri giren konuşmadan kısa dönerse bir kurtarma geçişi çalışır.

Temizleme modeli kötü davrandığında

Raw Transcription dışındaki her mod dökümü Mac’inizdeki küçük bir temizleme modeline verir ve bir dil modeli de uydurabilir. Uygulama kendi işini denetler: sonuç bir asistanın yanıtı gibi okunuyorsa, söylediğinizin çok ötesine büyüyorsa, başvuru metnini tekrarlıyorsa veya bir üç nokta uyduruyorsa atılır ve yerine ham döküm yazılır. Temizlemeye ayrıca hiçbir cümleyi düşürmemesi ve söylemediğiniz hiçbir şey eklememesi söylenir. Yapay zekâ dikte sayfası bu kuralları ele alıyor.

Bu değişikliklerin her biri yayımlanmadan önce kendi gerçek diktelerimden oluşan bir deney düzeneğine karşı ölçülür. Bu bir kişinin kayıtlarıdır, bir kıyaslama değil, ve yakalanıp kaldırılır hiçbir zaman demek değildir: yeni bir tür halüsinasyon yine de sızabilir.

Whisper’ın gerçekte ne duyduğunu görün

Bir halüsinasyonu bir temizleme hatasından ayırmanın en hızlı yolu, başka hiçbir şey dokunmadan önce Whisper’ın ürettiğine bakmaktır. Uydurma metin ham dökümdeyse onu Whisper yazmıştır. Değilse temizleme yazmıştır.

Adım 1: Dikteyi History’de açın

  • Siz: History sayfasını açın, dikteyi bulun ve Show pipeline details seçeneğine tıklayın.
  • YapToText: Ham dökümü son metnin üstünde, modu, dili ve süreleri de altında gösterir.
  • Kontrol: Ham dökümü söylediğinizi hatırladıklarınızla karşılaştırarak okuyun.
İşlem hattı ayrıntıları açık bir YapToText History kaydı: ham döküm, temizlenmiş döküm, mod, teslim, hedef uygulama ve süreler.
Şekil 2. Ham döküm temizlenmiş metnin üstünde durur, böylece kimsenin söylemediği bir satırın izi Whisper’a ya da temizlemeye kadar sürülebilir.

Adım 2: Bir sonrakini ham dikte edin

  • Siz: Konuşurken 2 tuşuna basın, Auto mode açıkken varsayılan sırada Raw Transcription budur.
  • YapToText: O tek dikte için Whisper’ın sözlerini temel noktalamayla ve hiçbir yapay zekâ modeli olmadan yazar.
  • Kontrol: Yazılan, Whisper’ın duyduğudur. Her diktenin ham kalmasını istiyorsanız Home sayfasında Post-transcription analysis seçeneğini kapatın.

Her History kaydının dışa aktarma menüsündeki Copy Raw Transcript, temizlemeden önceki sürümü panoya koyar. Ve inen her uzun dikteyi yerleşmeden önce okumak istiyorsanız Settings, Advanced, Text output altında Review before inserting seçeneğini açın. Modlar rehberi her modun neyi değiştirmesine izin verildiğini açıklıyor.

Herhangi bir Whisper uygulamasında halüsinasyonu önleme

Çoğu halüsinasyon sessizlikten büyür, bu yüzden en iyi önlem Whisper’a daha azını vermektir. Bunlar herhangi bir Whisper uygulamasıyla işe yarar ve YapToText ayarları uygulandıkları yerde anılır. İçeri ne kadar az sessizlik girerse dışarı o kadar az uydurma sözcük çıkar.

  1. Bitirince durun. Konuşmayı bitirir bitirmez tuşa dokunun, kaydı açık bırakmak yerine. YapToText’te Dictation sayfasındaki Recording kartında varsayılan olarak kapalı olan Auto-stop after silence, bir dikteyi 0,5 ila 5 saniyelik sessizlikten sonra bitirir.
  2. Bilerek duraklayın. Ortada uzun bir düşünme için dikteyi duraklatmak üzere Space tuşuna, sürdürmek için yine basın. Boşluk hiçbir zaman yazılmaz.
  3. Dili ayarlayın. Whisper’ın bulmasına bırakmak yerine AI Models sayfasındaki Language seçicisinden konuştuğunuz dili seçin. Diller sayfası 29’unun hepsini listeliyor.
  4. Temiz bir sinyal verin. Mikrofon yakın, oda sessiz, müzik kapalı. YapToText’in varsayılan olarak açık olan Pause music and video while dictating seçeneği, siz konuşurken oynatmayı duraklatır.
  5. Kayıtları önce kırpın. Bir dosyayı yazıya dökmeden önce, başındaki ve sonundaki uzun sessiz bölümleri ve müziği herhangi bir ses düzenleyicide kesin.
  6. Önemli olmadan önce okuyun. Gönderilecek, dosyalanacak veya alıntılanacak her şey için ham dökümü okuyun.
YapToText’in Mac’te Dictation ayar sayfası: Keys, Recording, Microphone ve Delivery kartları.
Şekil 3. Auto-stop after silence, Dictation sayfasındaki Recording kartında yer alır ve varsayılan olarak kapalıdır. Konuşmayı bıraktığınızda bir dikteyi bitirmesi için açın.

Tuşlar ve kısayollar sayfası Space, Esc ve diğerlerini kapsıyor.

whisper.cpp kullanıcıları için ipuçları

Whisper’ı whisper.cpp ile kendiniz çalıştırıyorsanız, önlemenin çoğunun bulunduğu yer olan içeri giren sesi siz denetlersiniz. Temiz, kırpılmış ses var olan en ucuz halüsinasyon çözümüdür.

  • Doğru dönüştürün. whisper.cpp’nin README dosyası, whisper-cli’nin şu anda yalnızca 16 bit WAV dosyalarıyla çalıştığını söylüyor ve diğer her şeyi dönüştürmek için bir ffmpeg komutu veriyor.
  • Önce kırpın. Dönüştürmeden önce uzun sessizlikleri ve müziği kesin, böylece model onları hiç görmez.
  • Mümkünse dili ayarlayın. Tespite güvenmek yerine whisper-cli’nin yardım çıktısında bir dil seçeneği arayın.
  • Başka bir model boyutu deneyin. Yalnızca İngilizce konuşuyorsanız ve bellek kısıtlıysa, OpenAI yalnızca İngilizce olan .en modellerinin İngilizce için, en çok tiny ve base boyutlarında, daha iyi olma eğiliminde olduğunu söylüyor.
  • Canlı modun ne olduğunu bilin. whisper-stream mikrofonu her yarım saniyede bir örnekler ve sürekli yazıya döker, README ona saf bir örnek diyor.

Terminal: Kırpılmış bir kaydı, README’nin kendi komutuyla whisper-cli’nin okuduğu WAV biçimine dönüştürün.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Ne olur: ffmpeg, output.wav dosyasını 16 kHz, tek kanallı, 16 bit ses olarak yazar ve siz de onu -f den sonra whisper-cli’ye verirsiniz.

whisper.cpp için indirdiğiniz bir model dosyası YapToText’te de çalışır: AI Models sayfasındaki Your own models altında Add Model, herhangi bir whisper.cpp GGML .bin dosyasını kabul eder. Yerel Whisper rehberi tam kurulumu, model boyutlarını ve bellek rakamlarını içeriyor.

Hiçbir önlemin vaat edemedikleri

  • Her halüsinasyon. Önlemler gördüğüm ve test ettiğim örüntüleri yakalar. Yenisi geçebilir ve ham döküm bu yüzden her zaman bir tık ötede.
  • Hiç duyulmayan sözcükler. Hiçbir önlem mikrofonun yakalamadığı konuşmayı geri getiremez ve uydurma metni kaldırmak gerçek sözcükleri değil, bir boşluk bırakır.
  • Kendime ait bir oran. YapToText için veya herhangi bir model için bir halüsinasyon oranı ölçmedim, bu yüzden bu sayfa yalnızca yayımlanmış çalışmayı, sınırlarıyla birlikte aktarıyor.
  • Dosya yazıya dökme ekstraları. Dosyalar zaman damgası olmadan düz metin olarak döner, bu yüzden şüpheli bir satırdan sesteki yerine atlama yoktur. Ses dosyası sayfası bu özelliği ele alıyor.
  • Konuşma tarzı olarak uzun duraklamalar. Whisper genel amaçlı bir modeldir ve YapToText’te hiçbir şey, sessizliği sıkıştırmanın ötesinde uzun duraklamalı konuşmayı nasıl ele aldığını değiştirmez.
  • Bir Intel Mac. YapToText, macOS 14 veya sonrasını çalıştıran Apple çipli bir Mac gerektirir.

Önlemler olasılığı düşürür. Dikte ettiğinizi okumak yine de son kontroldür.

Kısa özet

  • Nedir. Arkasında konuşma olmayan metindir: döngüler, sessizlik üstünde veda cümleleri, uydurma cümleler ve etiketler.
  • Neden. Whisper hem yazıya döker hem tahmin eder ve sessizlik, duraklamalar, müzik ve gürültü tahmine alan açar.
  • YapToText’te. Uzun sessizlikler sıkıştırılır. Tekrar döngüleri, konuşmacı etiketleri ve sessizlikten gelen nezaket sözleri kaldırılır. Şişmiş bir temizleme atılır.
  • Herkes için. Bitirince durun, sessizliği kırpın, dili ayarlayın ve ham dökümü okuyun.

YapToText Mac App Store’da ücretsizdir ve Whisper Mac’inizde çalışır.

Whisper’a daha az sessizlik verin ve yazdığını kontrol edin. YapToText hiç söylemediğiniz bir şey yazarsa History’deki ham dökümle birlikte GitHub üzerinde bir issue açın. Hepsini okuyorum.

YapToText’i Mac App Store’dan indirinÜcretsiz indirilir. Hesap gerekmez, kilitli özellik yoktur. Apple çipli bir Mac ve macOS 14 veya sonrası gerekir. Kaynak kodu GitHub’da.

Yazan hakkında. Ryleigh Newman yazılım geliştiriyor, elleriyle yazmakta zorlanıyor ve bu sitenin anlattığı uygulama olan YapToText ile her gün dikte ediyor. Bu sayfa İngilizceden çevrildi. Uygulamanın arayüzü ve sitenin diğer sayfaları İngilizcedir. Proje hakkında daha fazlası, İngilizce.

Rehberler

Diğer rehberler, İngilizce

Kaynaklar

Sorular

Whisper neden halüsinasyon görür?

OpenAI’ın model kartı, Whisper’ın büyük ölçekli gürültülü veriyle eğitildiğini ve söylenmemiş metin üretebileceğini söylüyor, muhtemelen yazıya dökmenin yanında sonraki sözcüğü de tahmin ettiği için. Sessizlik, uzun duraklamalar, müzik ve gürültü bu tahmine daha çok alan açar.

Whisper neden "thank you for watching" yazıyor?

Sessizlik veya müzik üzerinde bilinen bir halüsinasyon türüdür. Whisper deposundaki "Share your hallucinations here" dizisinde kullanıcılar bunu altyazı kredileriyle birlikte bildiriyor. Konuşmayı bitirince kaydı durdurmak ve sessizliği kırpmak ona daha az alan bırakır.

Whisper neden aynı metni tekrar edip duruyor?

OpenAI’ın makalesi tekrar döngülerine takılmayı bir hata biçimi olarak sıralıyor ve model kartı mimarinin tekrarlayan metne yatkın olduğunu söylüyor. Döngüler çoğunlukla sessiz bir kuyrukta görünür ve YapToText’in önlemi onları çökertir.

Whisper halüsinasyonları ne kadar yaygın?

Careless Whisper çalışması, 2023 örneklemindeki OpenAI’ın Whisper API’sinden gelen yazıya dökmelerin yaklaşık %1’inin uydurma ifadeler veya cümleler içerdiğini buldu. Sizin kendi oranınız sesinize, modelinize ve uygulamanıza bağlıdır.

Whisper halüsinasyonları nasıl düzeltilir?

Ona daha az sessizlik verin: işiniz bitince durun, bilerek duraklayın ve kayıtları kırpın. Dili ayarlayın, temiz bir mikrofon sinyali kullanın ve Whisper’ın gerçekte ne yazdığını görebilmek için ham dökümü okuyun.

YapToText halüsinasyon görür mü?

Whisper çalıştırdığı için görebilir. Uzun sessizlikleri sıkıştırır, tekrar döngülerini, uydurma konuşmacı etiketlerini ve sessizlikten halüsinasyonla üretilen nezaket sözlerini kaldırır, söylediğinizin çok ötesine büyüyen bir temizlemeyi atar. History ham dökümü gösterir.