Whisper หลอน: ทำไม Whisper พิมพ์คำที่ไม่มีใครพูด และหยุดได้อย่างไร
เขียนโดย Ryleigh Newman · เผยแพร่
Whisper หลอน (hallucination) คือคำในข้อความถอดเสียงที่ไม่มีใครพูด อาจเป็นวลีที่ซ้ำไปซ้ำมา คำลงท้ายอย่าง "Thank you for watching" ที่โผล่มาจากความเงียบ หรือทั้งประโยคที่แต่งขึ้นมา สาเหตุคือ Whisper เขียนข้อความคล้ายกับโมเดลภาษา และเมื่อเสียงเงียบ มีเสียงรบกวน หรือไม่ชัด ความรู้สึกของโมเดลว่าคำถัดไปมักเป็นอะไรอาจมีน้ำหนักมากกว่าสิ่งที่ได้ยินจริง
model card ของ OpenAI เองก็เตือนเรื่องนี้ และการศึกษาในปี 2024 พบวลีที่แต่งขึ้นในการถอดเสียงประมาณ 1% ที่ทดสอบ ฉันพัฒนา YapToText แอปป้อนตามคำบอกฟรีสำหรับ Mac ที่รัน Whisper บน Mac ของคุณ เพราะฉันพิมพ์ด้วยมือได้ลำบากและป้อนตามคำบอกทุกวัน และงานรอบ ๆ โมเดลส่วนใหญ่ก็ทุ่มไปกับการจับเรื่องนี้โดยเฉพาะ ต่อไปนี้คือ อาการหลอนหน้าตาเป็นอย่างไร ทำไมจึงเกิด งานวิจัยพบอะไร YapToText ทำอะไรกับมัน และคุณทำอะไรได้กับการตั้งค่า Whisper แบบใดก็ได้ รวมถึง whisper.cpp
ดาวน์โหลดฟรี ไม่ต้องมีบัญชีและไม่มีคุณสมบัติที่ถูกล็อค สำหรับ macOS 14 ขึ้นไปบน Mac ที่ใช้ชิป Apple ซอร์สโค้ดบน GitHub
คู่มือนี้ในภาษาอื่น: English, Čeština, Deutsch, Español, Français, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Nederlands, Polski, Português, Русский, Türkçe, Tiếng Việt, 简体中文, 繁體中文
ในหน้านี้: 14 หัวข้อ
- ขั้นตอน
- อาการ Whisper หลอนหน้าตาเป็นอย่างไร
- ทำไม Whisper จึงหลอน
- การศึกษา Careless Whisper พบอะไร
- YapToText ป้องกันอย่างไร
- ดูว่า Whisper ได้ยินอะไรจริง ๆ
- ป้องกันการหลอนในแอป Whisper ใดก็ได้
- เคล็ดลับสำหรับผู้ใช้ whisper.cpp
- สิ่งที่กลไกป้องกันใดก็สัญญาไม่ได้
- สรุปสั้น ๆ
- คู่มือ
- คู่มืออื่น (ภาษาอังกฤษ)
- แหล่งที่มา
- คำถาม
ขั้นตอน
- หยุดการบันทึกทันทีที่พูดจบ หรือเปิด Auto-stop after silence ที่หน้า Dictation
- กด Space เพื่อหยุดชั่วคราวตอนที่ต้องคิดนาน แทนที่จะบันทึกความเงียบ
- เลือกภาษาที่คุณพูดในตัวเลือก Language ที่หน้า AI Models
- ก่อนถอดเสียงไฟล์ ตัดความเงียบยาวและดนตรี และแปลงเป็น WAV 16 บิตถ้าใช้ whisper-cli
- ใน History คลิก Show pipeline details แล้วอ่านข้อความถอดเสียงดิบ หรือกด 2 ระหว่างที่พูดเพื่อใช้ Raw Transcription
อาการ Whisper หลอนหน้าตาเป็นอย่างไร
เอกสารวิจัย Whisper ของ OpenAI ระบุรูปแบบความล้มเหลวด้วยถ้อยคำง่าย ๆ ได้แก่ ติดอยู่ในวงวนซ้ำ ไม่ถอดเสียงคำแรกหรือคำสุดท้ายสองสามคำของช่วงเสียง และการหลอนเต็มรูปแบบ ซึ่งโมเดลให้ข้อความถอดเสียงที่ไม่เกี่ยวกับเสียงจริงเลย ในทางปฏิบัติพบเป็นสี่รูปแบบ การหลอนไม่ใช่คำที่ฟังผิด แต่เป็นคำที่ไม่มีเสียงรองรับเลยแม้แต่น้อย
- วงวนซ้ำ. ประโยค วลี หรือคำเดิมซ้ำไปซ้ำมา มักเกิดตอนท้ายของการบันทึกที่ค่อย ๆ เงียบไป model card ของ OpenAI ระบุว่าสถาปัตยกรรมแบบ sequence-to-sequence ทำให้โมเดลมีแนวโน้มสร้างข้อความซ้ำ ซึ่ง beam search และ temperature scheduling ช่วยลดได้ระดับหนึ่ง แต่ไม่สมบูรณ์
- ข้อความจากความเงียบ. ในกระทู้สนทนาของที่เก็บ Whisper เองที่ชื่อ "Share your hallucinations here" ผู้ใช้รายงานว่ามีบรรทัดอย่าง "Thank you for watching" และเครดิตคำบรรยายปรากฏในช่วงเงียบ ดนตรี หรือเสียงประกอบ ที่ไม่มีใครพูด
- ประโยคที่แต่งขึ้น. ทั้งวลีที่ไม่เคยมีใครพูด บทความของ Cornell เกี่ยวกับการศึกษา Careless Whisper ระบุว่า Whisper บางครั้งแต่งทั้งวลีและประโยค บางครั้งมีภาษาที่รุนแรง ข้อมูลส่วนบุคคลที่แต่งขึ้น และเว็บไซต์ปลอม
- ป้ายกำกับและคำบอกเวที. ข้อความที่อ่านเหมือนบทละครมากกว่าคำพูด บันทึกการออกเวอร์ชัน 1.4 ของ YapToText บันทึกการแก้ไขป้ายผู้พูดที่หลอนขึ้น เช่น "Male speaker:" ปรากฏในข้อความถอดเสียง
ความล้มเหลวด้านตรงข้าม คือคำที่หายไปตอนต้นหรือตอนท้าย ก็เกี่ยวข้องกัน และเป็นเหตุผลที่คำแรกที่หายไปกับบรรทัดสุดท้ายที่แต่งขึ้นอาจมาจากการบันทึกเดียวกัน คำที่ฟังผิดทั่วไปเป็นปัญหาอีกแบบที่มีวิธีแก้ต่างกัน ซึ่งอธิบายไว้ในคู่มือ Whisper สำหรับ Mac
ทำไม Whisper จึงหลอน
OpenAI อธิบายสาเหตุไว้ใน model card เพราะโมเดลถูกฝึกแบบกำกับดูแลอย่างอ่อนด้วยข้อมูลที่มีสัญญาณรบกวนในระดับใหญ่ การคาดการณ์ของโมเดลจึงอาจมีข้อความที่ไม่ได้ถูกพูดในเสียงจริง model card เสนอว่าเกิดขึ้นเพราะโมเดลรวมการพยายามทำนายคำถัดไปเข้ากับการพยายามถอดเสียงเอง และระบุว่าพฤติกรรมนี้อาจแย่กว่าในภาษาที่มีทรัพยากรน้อยหรือค้นพบได้ยาก เมื่อมีเสียงให้อิงน้อย ครึ่งที่คาดเดาของโมเดลจะทำงานมากขึ้น
นั่นชี้ไปที่สภาวะที่เอื้อให้เกิด
- ความเงียบและการหยุดนาน. การศึกษา Careless Whisper พบว่าการหลอนเกิดไม่สมส่วนกับคนที่พูดโดยมีสัดส่วนเวลาที่ไม่มีเสียงพูดนานกว่า กล่าวคือหยุดนานกว่า
- ดนตรีและเสียงประกอบ. รายงานในที่เก็บ Whisper กระจุกอยู่ในช่วงที่ไม่มีคำพูด
- สัญญาณที่มีเสียงรบกวนหรือแผ่วเบา. คำพูดที่ชัดน้อยกว่าให้โมเดลมีที่ยึดน้อยลงสำหรับแต่ละคำ
- ภาษา. OpenAI ระบุว่าประสิทธิภาพต่างกันมากตามภาษา และ model card ระบุว่าการหลอนอาจแย่กว่าในภาษาที่มีทรัพยากรน้อย
รายละเอียดอีกข้อสำคัญต่อการสังเกต การศึกษาพบว่าการหลอนจาก Whisper API ของ OpenAI ไม่แน่นอน ให้ข้อความสุ่มต่างกันในแต่ละครั้งที่รัน และใช้ความต่างระหว่างสองครั้งที่รันกับเสียงเดียวกันเพื่อหามัน ถ้าเครื่องมือของคุณให้ข้อความต่างกันสำหรับเสียงเดียวกันในสองครั้ง ส่วนที่เปลี่ยนควรได้รับการดูอีกครั้ง
การศึกษา Careless Whisper พบอะไร
การศึกษานี้คือ "Careless Whisper: Speech-to-Text Hallucination Harms" โดย Allison Koenecke, Anna Seo Gyeong Choi, Katelyn X. Mei, Hilke Schellmann และ Mona Sloane นำเสนอในการประชุม ACM Conference on Fairness, Accountability, and Transparency หรือ FAccT 2024 อัตราเกิดน้อย แต่ความเสียหายจากประโยคที่แต่งขึ้นเพียงประโยคเดียวอาจใหญ่
ตรวจเมื่อวันที่ 5 ตุลาคม 2026 ในเอกสารบน arXiv และ ACM Digital Library และในข่าวของ Cornell
- สิ่งที่ทดสอบ. เสียงเกือบ 40 ชั่วโมงจาก AphasiaBank จำนวน 13,140 ช่วง จากผู้พูดที่มีภาวะ aphasia และกลุ่มควบคุม ส่งไปยัง Whisper API ของ OpenAI ในปี 2023
- บ่อยแค่ไหน. ประมาณ 1% ของการถอดเสียงมีวลีหรือประโยคที่หลอนขึ้นทั้งประโยค ซึ่งไม่มีอยู่ในเสียงต้นทางในรูปแบบใดเลย
- รุนแรงแค่ไหน. 38% ของการหลอนมีอันตรายชัดเจน เช่น ส่งเสริมความรุนแรง สร้างความเชื่อมโยงที่ไม่ถูกต้อง หรือบ่งบอกอำนาจเท็จ
- ใคร. ผู้พูดที่มี aphasia ได้รับการหลอนมากกว่ากลุ่มควบคุม และช่วงที่มีเวลาไม่มีเสียงพูดมากกว่ามีโอกาสสร้างการหลอนสูงกว่า
- เมื่อเวลาผ่านไป. เมื่อผู้เขียนรันเสียงซ้ำในเดือนธันวาคม 2023 หลายตัวอย่างได้รับการแก้ไข แต่ยังมี 12 จาก 187 ช่วงเสียงที่ยังสร้างการหลอน
สองสิ่งที่ควรแยกให้ชัดเมื่ออ่านตัวเลขเหล่านั้น ตัวเลขอธิบาย API ที่โฮสต์โดย OpenAI กับตัวอย่างนั้นในปี 2023 ไม่ใช่ whisper.cpp ไม่ใช่ Whisper Large v3 Turbo และไม่ใช่ YapToText จึงไม่ใช่การพยากรณ์สำหรับการป้อนตามคำบอกของคุณเอง และไม่ใช่เหตุผลให้ตื่นตระหนก แต่เป็นเหตุผลให้อ่านสิ่งที่คุณพูด ซึ่งเป็นแนวปฏิบัติที่ดีอยู่แล้ว ถ้าการหยุดนานเป็นส่วนหนึ่งของวิธีที่คุณพูด การป้อนตามคำบอกตามภาวะ บอกอย่างตรงไปตรงมาว่า YapToText อาจไม่เพียงพอที่ใด
YapToText ป้องกันอย่างไร
YapToText รันไฟล์ Whisper Large v3 Turbo (Q5) มาตรฐานผ่าน whisper.cpp ฉันไม่ได้ฝึกโมเดลใหม่ สิ่งที่ฉันสร้างคือกระบวนการรอบ ๆ โมเดล และส่วนหนึ่งของกระบวนการนั้นมีไว้เพื่อกันคำที่ไม่มีใครพูดออกจากเอกสารของคุณ โมเดลเป็นแบบมาตรฐาน กลไกป้องกันรอบ ๆ โมเดลคือที่ที่งานทั้งหมดไปอยู่
ก่อนที่ Whisper จะได้ยินอะไร
- ความเงียบนานถูกบีบอัด ก่อนถอดเสียง เพื่อไม่ให้โมเดลเลื่อนไหล
- วัดเสียงรบกวนในการป้อนตามคำบอกทุกครั้ง และหักเสียงรบกวนคงที่ออกเฉพาะเมื่ออัตราส่วนต้องการ เสียงเบาจะถูกยกขึ้นเมื่อเทียบกับห้อง
- คลิปที่มีเสียงรบกวนได้การค้นหาที่ลึกกว่า. การถอดรหัสเปลี่ยนจาก greedy เป็น beam search เมื่อวัดได้ว่าคลิปมีเสียงรบกวน
- เก็บครึ่งวินาทีก่อนที่คุณกดปุ่มไว้ เพื่อไม่ให้คำแรกถูกตัด
หลังจากข้อความถอดเสียงกลับมา
- วงวนซ้ำถูกจับและลบออก. กลไกป้องกันยุบวงวนที่ Whisper ตกลงไปตอนท้ายที่เงียบ และตั้งแต่เวอร์ชัน 1.4 การป้อนตามคำบอกยาวที่จบด้วยความเงียบจะไม่ซ้ำประโยคสุดท้ายไปซ้ำมาอีก
- ป้ายผู้พูดที่แต่งขึ้นถูกลบ พร้อมกับคำบอกเวที ก่อนการแก้ไขในเวอร์ชัน 1.4 ป้ายอย่าง "Male speaker:" อาจถูกเรียนรู้เป็นคำศัพท์ได้ด้วยซ้ำ
- คำพูดสุภาพที่หลอนขึ้นจากความเงียบถูกจับและลบออก.
- ความเงียบไม่พิมพ์อะไร. ถ้าการป้อนตามคำบอกมีแต่ความเงียบ YapToText จะแจ้งว่า "Didn't catch that" และไม่มีการถอดเสียง
- ข้อความสั้นได้รอบที่สอง. ถ้าข้อความกลับมาสั้นกว่าคำพูดที่ป้อนเข้าไป จะมีรอบกู้คืนทำงาน
เมื่อโมเดลเกลาข้อความทำงานผิดปกติ
ทุกโหมดยกเว้น Raw Transcription ส่งข้อความถอดเสียงให้โมเดลเกลาข้อความขนาดเล็กบน Mac ของคุณ และโมเดลภาษาก็แต่งเรื่องได้เช่นกัน แอปตรวจงานของตัวเอง ถ้าผลลัพธ์อ่านเหมือนคำตอบของผู้ช่วย ยาวเกินสิ่งที่คุณพูดไปมาก ซ้ำข้อความอ้างอิง หรือแต่งจุดไข่ปลาขึ้นมา ผลนั้นจะถูกทิ้ง แล้วพิมพ์ข้อความถอดเสียงดิบแทน การเกลายังถูกสั่งไม่ให้ทิ้งประโยคใดและไม่ให้เพิ่มสิ่งที่คุณไม่ได้พูด หน้าการป้อนตามคำบอกด้วย AI อธิบายกฎเหล่านั้น
ทุกการเปลี่ยนแปลงเหล่านี้ถูกวัดกับชุดทดสอบจากการป้อนตามคำบอกจริงของฉันเองก่อนปล่อย นั่นเป็นการบันทึกเสียงของคนคนเดียว ไม่ใช่เกณฑ์มาตรฐาน และการจับและลบออกไม่เท่ากับไม่เคยเกิด การหลอนรูปแบบใหม่ยังอาจหลุดผ่านได้
ดูว่า Whisper ได้ยินอะไรจริง ๆ
วิธีเร็วที่สุดที่จะแยกการหลอนออกจากข้อผิดพลาดของการเกลาข้อความคือดูสิ่งที่ Whisper สร้างก่อนที่อะไรอื่นจะแตะต้อง ถ้าข้อความที่แต่งขึ้นอยู่ในข้อความถอดเสียงดิบ Whisper เป็นคนเขียน ถ้าไม่ใช่ การเกลาเป็นคนทำ
ขั้นที่ 1: เปิดการป้อนตามคำบอกใน History
- คุณ: เปิด History หาการป้อนตามคำบอกนั้น แล้วคลิก Show pipeline details
- YapToText: แสดงข้อความถอดเสียงดิบเหนือข้อความสุดท้าย โดยมีโหมด ภาษา และเวลาอยู่ด้านล่าง
- ตรวจสอบ: อ่านข้อความถอดเสียงดิบเทียบกับสิ่งที่คุณจำได้ว่าพูด
ขั้นที่ 2: ป้อนตามคำบอกครั้งต่อไปแบบดิบ
- คุณ: ระหว่างที่พูด กด 2 ซึ่งคือ Raw Transcription ในลำดับเริ่มต้นเมื่อเปิดโหมด Auto
- YapToText: พิมพ์คำของ Whisper พร้อมเครื่องหมายวรรคตอนพื้นฐานและไม่ใช้โมเดล AI สำหรับการป้อนตามคำบอกครั้งนั้น
- ตรวจสอบ: สิ่งที่ปรากฏคือสิ่งที่ Whisper ได้ยิน หากต้องการให้ทุกการป้อนตามคำบอกเป็นแบบดิบ ให้ปิด Post-transcription analysis ที่หน้า Home
Copy Raw Transcript ในเมนูส่งออกของแต่ละรายการ History วางเวอร์ชันก่อนการเกลาไว้บนคลิปบอร์ด และถ้าต้องการอ่านทุกการป้อนตามคำบอกยาวก่อนที่จะปรากฏ ให้เปิด Review before inserting ที่ Settings, Advanced, Text output คู่มือโหมด อธิบายว่าแต่ละโหมดเปลี่ยนอะไรได้
ป้องกันการหลอนในแอป Whisper ใดก็ได้
การหลอนส่วนใหญ่เกิดจากความเงียบ วิธีป้องกันที่ดีที่สุดจึงคือให้ Whisper ได้ความเงียบน้อยลง วิธีเหล่านี้ใช้ได้กับแอป Whisper ใดก็ได้ และมีระบุชื่อการตั้งค่าของ YapToText ไว้ในที่ที่ใช้ได้ ยิ่งใส่ความเงียบเข้าไปน้อย คำที่แต่งขึ้นก็ออกมาน้อย
- หยุดเมื่อพูดเสร็จ. แตะปุ่มทันทีที่พูดจบ แทนที่จะปล่อยให้บันทึกต่อ ใน YapToText Auto-stop after silence ซึ่งปิดเป็นค่าเริ่มต้นในการ์ด Recording ที่หน้า Dictation จะจบการป้อนตามคำบอกหลังเงียบ 0.5 ถึง 5 วินาที
- หยุดชั่วคราวโดยตั้งใจ. เมื่อต้องคิดนานตรงกลาง กด Space เพื่อหยุดการป้อนตามคำบอกชั่วคราว และกดอีกครั้งเพื่อทำต่อ ช่องว่างจะไม่ถูกพิมพ์
- ตั้งภาษา. เลือกภาษาที่คุณพูดในตัวเลือก Language ที่หน้า AI Models แทนที่จะปล่อยให้ Whisper หาเอง หน้าภาษา ระบุทั้ง 29 ภาษา
- ให้สัญญาณที่สะอาด. ไมโครโฟนอยู่ใกล้ ห้องเงียบ ปิดเพลง Pause music and video while dictating ของ YapToText ซึ่งเปิดเป็นค่าเริ่มต้น จะหยุดการเล่นขณะที่คุณพูด
- ตัดการบันทึกก่อน. ก่อนถอดเสียงไฟล์ ตัดช่วงเงียบยาวและดนตรีที่ต้นและท้ายด้วยโปรแกรมแก้ไขเสียงใดก็ได้
- อ่านก่อนที่จะสำคัญ. อ่านข้อความถอดเสียงดิบสำหรับสิ่งที่จะถูกส่ง จัดเก็บ หรืออ้างอิง
หน้าปุ่มและปุ่มลัด อธิบาย Space, Esc และปุ่มอื่น ๆ
เคล็ดลับสำหรับผู้ใช้ whisper.cpp
ถ้าคุณรัน Whisper เองผ่าน whisper.cpp คุณควบคุมเสียงที่ป้อนเข้าไปได้ ซึ่งเป็นที่ที่การป้องกันส่วนใหญ่อยู่ เสียงที่สะอาดและตัดแล้วคือวิธีแก้การหลอนที่ถูกที่สุด
- แปลงให้ถูกต้อง. README ของ whisper.cpp ระบุว่า whisper-cli ปัจจุบันรันได้เฉพาะไฟล์ WAV แบบ 16 บิต และให้คำสั่ง ffmpeg สำหรับแปลงไฟล์อื่น
- ตัดก่อน. ตัดความเงียบยาวและดนตรีก่อนแปลง เพื่อไม่ให้โมเดลเห็นมันเลย
- ตั้งภาษาถ้าทำได้. ดูผลลัพธ์วิธีใช้ของ whisper-cli เพื่อหาตัวเลือกภาษา แทนที่จะพึ่งการตรวจหา
- ลองโมเดลขนาดอื่น. ถ้าคุณพูดแต่ภาษาอังกฤษและหน่วยความจำจำกัด OpenAI ระบุว่าโมเดล .en ที่เป็นภาษาอังกฤษอย่างเดียวมักทำได้ดีกว่าสำหรับภาษาอังกฤษ โดยเฉพาะที่ขนาด tiny และ base
- รู้ว่าโหมดสดคืออะไร. whisper-stream สุ่มตัวอย่างไมโครโฟนทุกครึ่งวินาทีและถอดเสียงต่อเนื่อง และ README เรียกว่าตัวอย่างแบบง่าย
Terminal: แปลงการบันทึกที่ตัดแล้วเป็นรูปแบบ WAV ที่ whisper-cli อ่านได้ ด้วยคำสั่งจาก README เอง
ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wavสิ่งที่เกิดขึ้น: ffmpeg เขียน output.wav เป็นเสียง 16 kHz โมโน 16 บิต ซึ่งคุณส่งให้ whisper-cli หลัง -f
ไฟล์โมเดลที่คุณดาวน์โหลดสำหรับ whisper.cpp ใช้ใน YapToText ได้ด้วย ใต้ Your own models ที่หน้า AI Models ปุ่ม Add Model รับไฟล์ whisper.cpp GGML .bin ใดก็ได้ คู่มือ Whisper บนเครื่อง มีวิธีตั้งค่าทั้งหมด ขนาดโมเดล และตัวเลขหน่วยความจำ
สิ่งที่กลไกป้องกันใดก็สัญญาไม่ได้
- ทุกการหลอน. กลไกป้องกันจับรูปแบบที่ฉันเคยเห็นและทดสอบแล้ว รูปแบบใหม่อาจผ่านไปได้ จึงต้องมีข้อความถอดเสียงดิบอยู่ห่างแค่คลิกเดียวเสมอ
- คำที่ไม่เคยได้ยิน. กลไกป้องกันใดก็กู้คำพูดที่ไมโครโฟนจับไม่ได้กลับมาไม่ได้ และการลบข้อความที่แต่งขึ้นทิ้งช่องว่างไว้ ไม่ใช่คำจริง
- อัตราของฉันเอง. ฉันไม่ได้วัดอัตราการหลอนของ YapToText หรือของโมเดลใดเลย หน้านี้จึงอ้างเฉพาะการศึกษาที่เผยแพร่ พร้อมข้อจำกัดของมัน
- ส่วนเสริมของการถอดเสียงไฟล์. ไฟล์กลับมาเป็นข้อความธรรมดา ไม่มีเวลากำกับ จึงกระโดดจากบรรทัดที่น่าสงสัยไปยังตำแหน่งในเสียงไม่ได้ หน้าไฟล์เสียง อธิบายฟีเจอร์นั้น
- การหยุดนานเป็นลักษณะการพูด. Whisper เป็นโมเดลอเนกประสงค์ และไม่มีอะไรใน YapToText ที่เปลี่ยนวิธีจัดการคำพูดที่หยุดนาน นอกจากการบีบอัดความเงียบ
- Intel Mac. YapToText ต้องใช้ Mac ชิป Apple ที่ใช้ macOS 14 ขึ้นไป
กลไกป้องกันลดโอกาส การอ่านสิ่งที่คุณพูดยังเป็นการตรวจสอบสุดท้าย
สรุปสั้น ๆ
- คืออะไร. เป็นข้อความที่ไม่มีคำพูดรองรับ ได้แก่ วงวนซ้ำ คำลงท้ายจากความเงียบ ประโยคและป้ายที่แต่งขึ้น
- ทำไม. Whisper ทั้งทำนายและถอดเสียง และความเงียบ การหยุด ดนตรี และเสียงรบกวนให้ที่ว่างแก่การทำนาย
- ใน YapToText. ความเงียบนานถูกบีบอัด วงวนซ้ำ ป้ายผู้พูด และคำพูดสุภาพจากความเงียบถูกลบ การเกลาที่ยาวเกินถูกทิ้ง
- สำหรับทุกคน. หยุดเมื่อพูดเสร็จ ตัดความเงียบ ตั้งภาษา และอ่านข้อความถอดเสียงดิบ
YapToText ฟรีบน Mac App Store และ Whisper ทำงานบน Mac ของคุณ
ให้ Whisper ได้ความเงียบน้อยลง และตรวจสอบสิ่งที่มันเขียน ถ้า YapToText เคยพิมพ์สิ่งที่คุณไม่ได้พูด เปิด issue บน GitHub พร้อมข้อความถอดเสียงดิบจาก History ฉันอ่านทุกรายการ
ดาวน์โหลดฟรี ไม่ต้องมีบัญชีและไม่มีคุณสมบัติที่ถูกล็อค สำหรับ macOS 14 ขึ้นไปบน Mac ที่ใช้ชิป Apple ซอร์สโค้ดบน GitHub
คู่มือ
คู่มืออื่น (ภาษาอังกฤษ)
แหล่งที่มา
- https://arxiv.org/abs/2402.08021 (ตรวจสอบเมื่อ 5/10/2026)
- https://dl.acm.org/doi/10.1145/3630106.3658996 (ตรวจสอบเมื่อ 5/10/2026)
- https://news.cornell.edu/stories/2024/06/ai-speech-text-can-hallucinate-violent-language (ตรวจสอบเมื่อ 5/10/2026)
- https://github.com/openai/whisper/blob/main/model-card.md (ตรวจสอบเมื่อ 5/10/2026)
- https://cdn.openai.com/papers/whisper.pdf (ตรวจสอบเมื่อ 5/10/2026)
- https://github.com/openai/whisper/discussions/1873 (ตรวจสอบเมื่อ 5/10/2026)
- https://github.com/openai/whisper (ตรวจสอบเมื่อ 3/10/2026)
- https://github.com/ggml-org/whisper.cpp (ตรวจสอบเมื่อ 3/10/2026)
- https://github.com/ryleighnewman/YapToText (ตรวจสอบเมื่อ 3/10/2026)
- https://apps.apple.com/us/app/yaptotext/id6786382289 (ตรวจสอบเมื่อ 3/10/2026)
คำถาม
ทำไม Whisper จึงหลอน
model card ของ OpenAI ระบุว่า Whisper ถูกฝึกด้วยข้อมูลที่มีสัญญาณรบกวนในระดับใหญ่ และอาจให้ข้อความที่ไม่ได้ถูกพูด น่าจะเพราะทำนายคำถัดไปด้วยนอกเหนือจากการถอดเสียง ความเงียบ การหยุดนาน ดนตรี และเสียงรบกวนให้การทำนายนั้นมีที่ว่างมากขึ้น
ทำไม Whisper จึงเขียน "thank you for watching"
เป็นการหลอนแบบที่รู้จักกันเหนือความเงียบหรือดนตรี ผู้ใช้ในกระทู้ "Share your hallucinations here" ของที่เก็บ Whisper รายงานข้อความนี้พร้อมกับเครดิตคำบรรยาย การหยุดบันทึกเมื่อพูดจบและการตัดความเงียบทำให้มีที่ว่างน้อยลง
ทำไม Whisper จึงเขียนข้อความเดิมซ้ำไปซ้ำมา
เอกสารวิจัยของ OpenAI ระบุการติดอยู่ในวงวนซ้ำเป็นรูปแบบความล้มเหลว และ model card ระบุว่าสถาปัตยกรรมมีแนวโน้มสร้างข้อความซ้ำ วงวนมักปรากฏที่ท้ายที่เงียบ ซึ่งกลไกป้องกันของ YapToText ยุบให้
Whisper หลอนบ่อยแค่ไหน
การศึกษา Careless Whisper พบว่าประมาณ 1% ของการถอดเสียงจาก Whisper API ของ OpenAI ในตัวอย่างปี 2023 มีวลีหรือประโยคที่แต่งขึ้น อัตราของคุณเองขึ้นอยู่กับเสียง โมเดล และแอปของคุณ
แก้ Whisper หลอนอย่างไร
ให้ความเงียบน้อยลง คือหยุดเมื่อพูดเสร็จ หยุดชั่วคราวโดยตั้งใจ และตัดการบันทึก ตั้งภาษา ใช้สัญญาณไมโครโฟนที่สะอาด และอ่านข้อความถอดเสียงดิบเพื่อดูว่า Whisper เขียนอะไรจริง ๆ
YapToText หลอนหรือไม่
แอปรัน Whisper จึงเป็นไปได้ แอปบีบอัดความเงียบนาน ลบวงวนซ้ำ ป้ายผู้พูดที่แต่งขึ้น และคำพูดสุภาพที่หลอนจากความเงียบ และทิ้งการเกลาที่ยาวเกินสิ่งที่คุณพูดไปมาก History แสดงข้อความถอดเสียงดิบ