Lokálny Whisper na Macu: čo potrebuje, koľko stojí a ako ho spustiť

Text: · Zverejnené

Lokálny Whisper znamená spúšťať model rozpoznávania reči Whisper od OpenAI na vlastnom Macu, takže sa zvuk mení na text v počítači a nie na nejakom serveri. Na Macu je engine, ktorý treba poznať, whisper.cpp, ktorý berie čip Apple ako prvotriednu platformu, a rozhodnutie, na ktorom záleží, je súbor modelu: väčšie modely počujú lepšie a zaberajú viac miesta na disku aj v pamäti.

Rozoberám, ako do seba jednotlivé časti zapadajú, čo stojí každá veľkosť modelu podľa údajov samotného whisper.cpp, príkazy na vlastné spustenie a miesto YapToText. YapToText vyvíjam, je to bezplatná aplikácia, ktorá spúšťa whisper.cpp so štandardným súborom Whisper Large v3 Turbo (Q5), takže túto časť posudzujte s týmto vedomím. Ak chcete len vedieť, či existuje aplikácia Whisper pre Mac, odpovedá na to stránka o aplikácii Whisper pre Mac.

Stiahnuť YapToText v Mac App StoreNa stiahnutie zadarmo. Bez účtu a bez zamknutých funkcií, pre macOS 14 alebo novší na Macu s čipom Apple. Zdrojový kód na GitHube.

Tento návod v ďalších jazykoch: English, العربية, Čeština, Dansk, Deutsch, Ελληνικά, Español, Suomi, Français, עברית, हिन्दी, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Norsk, Nederlands, Polski, Português, Română, Русский, Svenska, ไทย, Türkçe, Українська, Tiếng Việt, 简体中文, 繁體中文

Na tejto stránke: 12 častí
  1. Kroky
  2. Poznajte tri časti lokálneho Whisperu
  3. Vyberte model podľa miesta na disku a pamäte
  4. Spustite Whisper sám pomocou whisper.cpp
    1. Krok 1: Získajte kód a model
    2. Krok 2: Zostavte ho a prepíšte ukážku
    3. Krok 3: Najprv preveďte vlastný zvuk
    4. Alebo použite balík Pythonu od OpenAI
  5. Použite rovnaký model v YapToText bez okna Terminal
  6. Ak je lokálny Whisper pomalý alebo vás zle počuje
  7. Čo lokálny Whisper nemení
  8. Stručne
  9. Návody
  10. Ďalšie návody, po anglicky
  11. Zdroje
  12. Otázky

Kroky

  1. Naklonujte repozitár whisper.cpp z GitHubu a otvorte jeho priečinok v okne <span lang="en">Terminal</span>.
  2. Stiahnite model skriptom download-ggml-model.sh z projektu, napríklad large-v3-turbo-q5_0.
  3. Zostavte projekt pomocou CMake, dvoma príkazmi cmake z jeho README.
  4. Preveďte nahrávku na 16-bitový súbor WAV, napríklad pomocou ffmpeg.
  5. Spustite whisper-cli so súborom modelu a súborom WAV a prečítajte si prepis v okne <span lang="en">Terminal</span>.

Poznajte tri časti lokálneho Whisperu

Lokálny Whisper má tri časti a všetky tri sú na vašom Macu. Model je súbor, engine ho spúšťa a váš zvuk nikdy nemusí opustiť počítač.

  • Model. Whisper je model rozpoznávania reči od OpenAI a OpenAI vydala jeho kód a váhy modelu pod licenciou MIT. Súbor modelu si stiahnete raz a tento súbor počúva.
  • Engine. whisper.cpp je obyčajná implementácia Whisperu v C a C++, tiež pod licenciou MIT. Jeho README označuje čip Apple za prvotriednu platformu, optimalizovanú cez ARM NEON, Accelerate, Metal a Core ML, a uvádza, že na čipe Apple beží inferencia celá na GPU cez Metal. Balík od OpenAI spúšťa Whisper namiesto toho z Pythonu.
  • Váš zvuk. Nahrávka alebo váš mikrofón vstupuje a text vychádza. Internet je potrebný len na stiahnutie súboru modelu na začiatku.

Tým sa to líši od cloudovej služby: nič sa neodosiela na prepis. Znamená to aj, že prácu robí váš Mac, takže model, ktorý vyberiete, rozhoduje o tom, koľko pamäte a miesta na disku tá práca zaberie.

Plagát pre App Store s nadpisom Nothing leaves your Mac nad stránkou AI Models v YapToText, na ktorej sú oba modely označené ako Included.
Obrázok 1. Model a engine na jednom riadku v YapToText: Whisper Large v3 Turbo (Q5) od OpenAI, spúšťaný whisper.cpp, 574 MB a označený Included.

Vyberte model podľa miesta na disku a pamäte

whisper.cpp uvádza, koľko každý model zaberie na disku a v pamäti, a OpenAI uvádza, koľko parametrov má každý z nich. Turbo je rýchlejšia verzia large-v3 od OpenAI a jeho 5-bitový súbor zaberie asi pätinu miesta na disku, ktoré zaberie large.

Overené 3. októbra 2026 v README a v zozname modelov whisper.cpp a v README Whisperu od OpenAI.

ModelParametre (OpenAI)Súbor na disku (whisper.cpp)Pamäť (whisper.cpp)
tiny39 M75 MiBAsi 273 MB
base74 M142 MiBAsi 388 MB
small244 M466 MiBAsi 852 MB
medium769 M1,5 GiBAsi 2,1 GB
large (v1, v2 alebo v3)1550 M2,9 GiBAsi 3,9 GB
large-v3, 5-bitový (q5_0)Kvantizovaný large-v31,1 GiBNeuvedené
large-v3-turbo809 M1,5 GiBNeuvedené
large-v3-turbo, 5-bitový (q5_0)Kvantizovaný turbo547 MiBNeuvedené

MiB a GiB sa počítajú v krokoch po 1 024, takže súbor turbo s 547 MiB v zozname whisper.cpp je ten istý súbor, ktorý YapToText ukazuje ako 574 MB. Tak môžu dve poctivé stránky uvádzať jeden súbor ako 547 aj 574 a obe majú pravdu. Tabuľka pamäte vo whisper.cpp pokrýva päť pôvodných veľkostí a pre turbo ani pre kvantizované súbory neuvádza žiadne číslo.

Stránka AI Models v YapToText: Whisper Large v3 Turbo (Q5) a Phi-3.5 Mini Instruct označené ako Included, pod nimi knižnica modelov.
Obrázok 2. YapToText ukazuje veľkosti v MB, a preto sa súbor turbo, ktorý whisper.cpp uvádza ako 547 MiB, tu číta ako 574 MB, s ostatnými modelmi Whisper uvedenými pod ním.

Ešte pár poznámok z oboch projektov:

  • Modely len pre angličtinu. tiny, base, small a medium existujú aj ako súbory .en rovnakej veľkosti, ktoré počujú len angličtinu. OpenAI uvádza, že majú tendenciu byť pre angličtinu lepšie, najmä tiny.en a base.en, a že rozdiel sa pri small.en a medium.en zmenšuje.
  • Kvantizované modely. Súbory končiace q5_0 sú kvantizované. whisper.cpp uvádza, že kvantizované modely potrebujú menej pamäte a miesta na disku a podľa hardvéru sa dajú spracúvať efektívnejšie.
  • Turbo. OpenAI ho opisuje ako optimalizovanú verziu large-v3 s rýchlejším prepisom a minimálnym zhoršením presnosti a hodnotí ho na asi 8-násobnú rýchlosť oproti large. Tento pomer sa meral na A100, nie na Macu, a OpenAI uvádza, že turbo nie je trénované na preklad.
  • Jazyky. OpenAI uvádza, že výkon Whisperu sa podľa jazyka veľmi líši.
  • Stĺpec pamäte od OpenAI. README od OpenAI namiesto toho uvádza potrebnú VRAM pre svoj balík v Pythone: asi 1 GB pre tiny a base, asi 6 GB pre turbo a asi 10 GB pre large. To nie sú čísla whisper.cpp.

Pre YapToText mám zvolený 5-bitový súbor turbo, pretože pri mojich vlastných diktovaniach počul takmer presne to isté ako plný model, s tretinou pamäte. To sú diktovania jedného človeka, nie benchmark, takže predtým, než sa rozhodnete, vyskúšajte dve veľkosti na vlastnom hlase.

Spustite Whisper sám pomocou whisper.cpp

Vlastné spustenie whisper.cpp vyžaduje Terminal a dva nástroje, ktoré predpokladajú príkazy v jeho README, Git a CMake. Toto sú príkazy z README, s modelom vymeneným za 5-bitový súbor turbo. Dostanete prepis zvukového súboru v okne Terminal, nie slová napísané do vašich aplikácií.

Krok 1: Získajte kód a model

Terminal: Naklonujte whisper.cpp a stiahnite 5-bitový model turbo.

git clone https://github.com/ggml-org/whisper.cpp.git
cd whisper.cpp
sh ./models/download-ggml-model.sh large-v3-turbo-q5_0

Čo sa stane: Projekt pristane v priečinku whisper.cpp a skript stiahne ggml-large-v3-turbo-q5_0.bin z Hugging Face do jeho priečinka models. Pre menšie sťahovanie vymeňte model za base.en alebo small.

Krok 2: Zostavte ho a prepíšte ukážku

Terminal: Zostavte whisper-cli a potom ho spustite na ukážkovej nahrávke, ktorá je súčasťou projektu.

cmake -B build
cmake --build build -j --config Release
./build/bin/whisper-cli -m models/ggml-large-v3-turbo-q5_0.bin -f samples/jfk.wav

Čo sa stane: CMake zostaví projekt a whisper-cli prepíše ukážku modelom, ktorý ste stiahli, a vypíše text do okna Terminal.

Krok 3: Najprv preveďte vlastný zvuk

README uvádza, že whisper-cli momentálne beží len so súbormi WAV v 16 bitoch, a pre všetko ostatné uvádza príkaz ffmpeg na prevod. ffmpeg sa inštaluje zvlášť.

Terminal: Zmeňte MP3 na formát WAV, ktorý whisper-cli číta.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Čo sa stane: ffmpeg zapíše output.wav ako 16 kHz, mono, 16-bitový zvuk, ktorý potom odovzdáte whisper-cli za -f.

Alebo použite balík Pythonu od OpenAI

Terminal: Nainštalujte vlastný balík od OpenAI, ak radšej pracujete v Pythone.

pip install -U openai-whisper

Čo sa stane: pip nainštaluje príkaz whisper. README od OpenAI uvádza, že kód by mal fungovať s Pythonom 3.8 až 3.11, potrebuje ffmpeg a jeho predvolený model je turbo.

Pre reč naživo whisper.cpp obsahuje whisper-stream, ktorý odoberá vzorky z vášho mikrofónu každú pol sekundy a prepisuje nepretržite. Potrebuje SDL2 a README ho nazýva naivným príkladom. Dostať slová do Mailu, Slacku alebo vášho editora je časť, ktorú pridáva aplikácia.

Použite rovnaký model v YapToText bez okna Terminal

YapToText spúšťa ten istý engine a ten istý súbor bez okna Terminal: kópia whisper.cpp zabudovaná v aplikácii s Metal a Accelerate a ggml-large-v3-turbo-q5_0.bin v sťahovaní z App Store. Jeho SHA-256 sa zhoduje so súborom na Hugging Face, takže je to štandardný model, nie vlastne dolaďovaný ani pretrénovaný. Aplikáciu vyvíjam, pretože mi písanie rukami robí ťažkosti, a chcem, aby Whisper písal do každej aplikácie namiesto výpisu v okne Terminal. Je to súbor, ktorý stiahne skript. Mení sa všetko okolo neho.

Plagát pre App Store s nadpisom Yap it. Bam. It's typed. nad domovským oknom YapToText a tromi rozloženiami plávajúceho panela.
Obrázok 3. Ten istý súbor Whisper bez okna Terminal: slová sa skladajú v plávajúcom paneli, ako hovoríte, a pristanú pri kurzore v ktorejkoľvek aplikácii, ktorá je vpredu.

Toto aplikácia pridáva okolo modelu:

  • Pamäť, ktorú vracia. Na stránke Energy určuje Keep models in memory, ako dlho zostane model načítaný po diktovaní: predvolene 2 minutes after use, s voľbami od Only while dictating po Until quit. Skoršie uvoľnenie šetrí energiu a pamäť a nasledujúce diktovanie po uvoľnení trvá o pár sekúnd dlhšie.
  • Miesto pre macOS. Keď macOS dochádza pamäť, YapToText okamžite zahodí svoje načítané modely a pred ich opätovným zahriatím čaká päť minút.
  • Ľahší model na batérii. Voľba Switch models with the power source, predvolene vypnutá, dáva modelu diktovania aj modelu uhladenia po jednej voľbe pre napájanie z elektriny a pre batériu.
  • Váš vlastný súbor. V časti Your own models na stránke AI Models prijme Add Model ľubovoľný whisper.cpp GGML .bin, takže funguje aj model, ktorý ste stiahli skriptom. Aplikácia súbor prečíta, aby zistila, čo to je, a čokoľvek iné odmietne.
  • Čísla vášho Macu. Karta This Mac na stránke Energy ukazuje váš čip a pamäť, čo je číslo, ktoré treba porovnať s tabuľkou vyššie.

Dictation Model Library na stránke AI Models má desať ďalších modelov Whisper, od Tiny po Large v3, každý s veľkosťou, ktorú aplikácia ukazuje. Návod k modelom AI ich uvádza a návod k energii vysvetľuje nastavenia pamäte. Sťahovanie z App Store má približne 2,9 GB, pretože oba modely aplikácie sú súčasťou. Verzia cez Homebrew má asi 12 MB a pred prvým diktovaním potrebuje stiahnuť model rozpoznávania reči.

Ak je lokálny Whisper pomalý alebo vás zle počuje

Začnite lacnými opravami skôr, než si stiahnete väčší model. Opravte mikrofón a slová skôr, než zmeníte model.

  1. Vydržte prvé spustenie. Model sa musí načítať, kým môže prepisovať. V YapToText trvá prvé diktovanie po spustení chvíľu. Ak ste zostavili whisper.cpp s Core ML, jeho README uvádza, že prvé spustenie na zariadení je pomalé, kým služba Neural Engine kompiluje model.
  2. Nastavte jazyk, ktorým hovoríte. Výber Language na stránke AI Models v YapToText začína na systémovom jazyku vášho Macu a jazyk, ktorý Whisper nevie použiť, sa vráti na automatické rozpoznanie. Stránka o jazykoch uvádza všetkých 29.
  3. Opravte mikrofón. Mikrofóny cez Bluetooth majú kvalitu telefónu, takže vlastný mikrofón Macu počuje lepšie. V YapToText ho vyberte vo výbere Input v paneli v lište menu.
  4. Naučte ho svoje slová. Stránka Dictionaries v YapToText pripraví Whisper na vaše mená a výrazy, nielen opraví, čo napíše. Návod k slovníkom ukazuje ako.
  5. Pre angličtinu použite model len pre angličtinu. Ak je pamäť napätá a hovoríte len anglicky, OpenAI uvádza, že verzie .en majú tendenciu byť lepšie, najviac pri tiny a base.
  6. Zmeňte veľkosť modelu. Choďte na väčší, ak vás zle počuje a pamäť to dovoľuje, alebo na menší, ak je pomalý. V YapToText ukazujú kompromis hviezdičky na stránke AI Models a každé diktovanie v histórii ukazuje svoj čas od zastavenia po text.
Záznam v stránke History v YapToText s otvorenými podrobnosťami spracovania: surový prepis, upravený prepis, režim, doručenie, cieľová aplikácia a časy.
Obrázok 4. Každé diktovanie v stránke History nesie vlastné časy: ako dlho ste hovorili a čas od zastavenia po text rozdelený na prepis, uhladenie pomocou AI a doručenie.

Čo lokálny Whisper nemení

Lokálny beh Whisperu presúva prácu na váš Mac a nič viac. Lokálny beh mení, kam ide váš hlas, nie to, ako dobre ho model počuje.

  • Chyby. Model rozhoduje o tom, ako dobre počuje, nech beží kdekoľvek, takže meno, ktoré zle počuje, potrebuje záznam v slovníku alebo lepší mikrofón, nie iné miesto.
  • Preklad. OpenAI uvádza, že turbo nie je trénované na preklad, a YapToText žiada Whisper vždy len o prepis, nikdy o preklad.
  • Jedno sťahovanie. Lokálny model sa musí raz dostať k vám. Skript whisper.cpp ho stiahne z Hugging Face, verzia YapToText z App Store ho má v sebe a verzia cez Homebrew ho stiahne zo stránky AI Models.
  • Macy s Intelom. whisper.cpp uvádza Macy s Intelom a Arm ako podporované. YapToText potrebuje čip Apple a macOS 14 alebo novší a pre Macy s Intelom sa netvrdí nič.
  • Čísla o presnosti. Nezverejňujem percentá presnosti pre žiadny model. Sprievodcom sú hviezdičky a vaša vlastná história.

Aby ste dokázali, že nastavenie je naozaj lokálne, stránka o offline diktovaní má test na minútu: vypnite Wi-Fi a diktujte.

Stručne

  • Lokálny Whisper. Je to súbor modelu a engine na vašom Macu, bez odosielania čohokoľvek.
  • Model. 5-bitový súbor turbo, 547 MiB v zozname whisper.cpp, je ten, ktorý YapToText dodáva.
  • Urobte to sami. Naklonujte whisper.cpp, stiahnite model, zostavte pomocou CMake a spustite whisper-cli na 16-bitovom súbore WAV.
  • Alebo vynechajte Terminal. YapToText spúšťa ten istý súbor a píše do ktorejkoľvek aplikácie, zadarmo.

Vyberte model najprv podľa pamäte svojho Macu a potom podľa vlastného hlasu. Ak tu niečo nezodpovedá tomu, čo vidíte, založte issue na GitHube. Čítam každé.

Stiahnuť YapToText v Mac App StoreNa stiahnutie zadarmo. Bez účtu a bez zamknutých funkcií, pre macOS 14 alebo novší na Macu s čipom Apple. Zdrojový kód na GitHube.

Kto píše. Ryleigh Newman vyvíja softvér, písanie na klávesnici zvláda len s ťažkosťami a každý deň diktuje v YapToText, aplikácii, o ktorej je tento web. Táto stránka je preložená z angličtiny. Rozhranie aplikácie a zvyšok webu sú v angličtine. Viac o projekte, po anglicky.

Ďalšie návody, po anglicky

Zdroje

Otázky

Ako spustiť Whisper lokálne na Macu?

Použite whisper.cpp: naklonujte repozitár, stiahnite model jeho skriptom download-ggml-model.sh, zostavte ho pomocou CMake a spustite whisper-cli na 16-bitovom súbore WAV. Alebo nainštalujte aplikáciu, ktorá ho obsahuje, napríklad YapToText, ktorý spúšťa Whisper Large v3 Turbo bez nastavovania.

Koľko pamäte potrebuje Whisper?

Závisí to od modelu. whisper.cpp uvádza asi 273 MB pre tiny, 852 MB pre small, 2,1 GB pre medium a 3,9 GB pre large a hovorí, že kvantizované modely potrebujú menej. Pre turbo neuvádza žiadne číslo pamäte.

Aký je najlepší lokálny model Whisper?

Začať by sa dalo s Large v3 Turbo a jeho 5-bitový súbor je ten, ktorý YapToText dodáva: 547 MiB v zozname whisper.cpp. Ak je pamäť napätá, small alebo base zaberú oveľa menej a OpenAI uvádza, že verzie len pre angličtinu majú pri najmenších veľkostiach tendenciu byť pre angličtinu lepšie.

Aký veľký je model Whisper Large v3 Turbo?

1,5 GiB v zozname modelov whisper.cpp, alebo 547 MiB ako 5-bitový súbor q5_0, čo je 574 MB počítané v desiatkových jednotkách. OpenAI uvádza turbo s 809 miliónmi parametrov.

Potrebuje lokálny Whisper internet?

Len na jednorazové stiahnutie modelu. Potom whisper.cpp aj YapToText prepisujú bez pripojenia a verzia YapToText z App Store sa dodáva s modelom v sebe, takže vynechá aj toto sťahovanie.

Dá sa model whisper.cpp použiť v YapToText?

Áno. V časti Your own models na stránke AI Models prijme Add Model ľubovoľný súbor whisper.cpp GGML .bin a aplikácia podľa samotného súboru zistí, čo to je.