Helyi Whisper Macen: mi kell hozzá, mibe kerül, és hogyan futtasd

Írta: · Megjelent:

A helyi Whisper azt jelenti, hogy az OpenAI Whisper beszédmodelljét a saját Maceden futtatod, így a hangod a gépen alakul szöveggé, nem valahol egy szerveren. Macen a whisper.cpp a motor, amelyet érdemes ismerni, és amely az Apple chipet elsőrangúan kezeli, a döntő kérdés pedig a modellfájl: a nagyobb modellek jobban hallanak, és több lemezterületet és memóriát igényelnek.

Leírom, hogyan illeszkednek egymáshoz a részek, mibe kerül az egyes modellméret a whisper.cpp saját adatai szerint, milyen parancsokkal futtathatod magad, és hol a helye a YapToText alkalmazásnak. A YapToText-et én fejlesztem, egy ingyenes alkalmazás, amely a whisper.cpp-t futtatja a szabványos Whisper Large v3 Turbo (Q5) fájllal, ezért ezt a részt ennek tudatában mérlegeld. Ha csak azt szeretnéd tudni, van-e Whisper alkalmazás Machez, a Whisper Mac alkalmazás oldal megválaszolja.

A YapToText letöltése a Mac App Store-bólIngyen letölthető. Nincs fiók és nincsenek zárolt funkciók. Apple chippel szerelt Mac és macOS 14 vagy újabb kell hozzá. Forráskód a GitHubon.

Ez az útmutató más nyelveken: English, العربية, Čeština, Dansk, Deutsch, Ελληνικά, Español, Suomi, Français, עברית, हिन्दी, Bahasa Indonesia, Italiano, 日本語, 한국어, Norsk, Nederlands, Polski, Português, Română, Русский, Slovenčina, Svenska, ไทย, Türkçe, Українська, Tiếng Việt, 简体中文, 繁體中文

Ezen az oldalon: 12 rész
  1. Lépések
  2. Ismerd meg a helyi Whisper három részét
  3. Válassz modellt a lemezterület és a memória alapján
  4. Futtasd magad a Whispert a whisper.cpp-vel
    1. 1. lépés: Szerezd meg a kódot és egy modellt
    2. 2. lépés: Építsd meg, és írd át a mintát
    3. 3. lépés: Előbb alakítsd át a saját hangodat
    4. Vagy használd az OpenAI Python csomagját
  5. Használd ugyanazt a modellt a YapToText alkalmazásban Terminal nélkül
  6. Ha a helyi Whisper lassú, vagy rosszul érti, amit mondasz
  7. Amin a helyi Whisper nem változtat
  8. A rövid változat
  9. Útmutatók
  10. További útmutatók, angolul
  11. Források
  12. Kérdések

Lépések

  1. Klónozd a whisper.cpp tárolót a GitHubról, és nyisd meg a mappáját a Terminalban.
  2. Tölts le egy modellt a projekt download-ggml-model.sh szkriptjével, például a large-v3-turbo-q5_0 modellt.
  3. Építsd meg a projektet a CMake-kel, a README két cmake parancsával.
  4. Alakítsd át a felvételedet 16 bites WAV fájllá, például az ffmpeg-gel.
  5. Futtasd a whisper-cli-t a modellfájloddal és a WAV fájloddal, és olvasd el az átiratot a Terminalban.

Ismerd meg a helyi Whisper három részét

A helyi Whispernek három része van, és mindhárom a Maceden van. A modell egy fájl, a motor futtatja, és a hangodnak sosem kell elhagynia a gépet.

  • A modell. A Whisper az OpenAI beszédfelismerő modellje, amelynek kódját és modellsúlyait az OpenAI az MIT licenc alatt adta ki. Egyszer letöltesz egy modellfájlt, és az a fájl végzi a hallgatást.
  • A motor. A whisper.cpp a Whisper egyszerű C és C++ megvalósítása, szintén az MIT licenc alatt. A README-je az Apple chipet elsőrangú polgárnak nevezi, az ARM NEON, az Accelerate, a Metal és a Core ML révén optimalizálva, és azt írja, hogy Apple chipen a következtetés teljes egészében a GPU-n fut a Metalon keresztül. Az OpenAI saját csomagja ehelyett Pythonból futtatja a Whispert.
  • A hangod. Egy felvétel vagy a mikrofonod bemegy, és szöveg jön ki. Az internetre csak a modellfájl első letöltéséhez van szükség.

Ez különbözteti meg egy felhős szolgáltatástól: semmi sem kerül feltöltésre átírásra. Azt is jelenti, hogy a Mac végzi a munkát, ezért a választott modell dönti el, mennyi memóriát és lemezterületet igényel ez a munka.

App Store-plakát Nothing leaves your Mac felirattal, mögötte a YapToText AI Models oldala, ahol mindkét modell Included jelölésű.
1. ábra. A modell és a motor egy sorban a YapToText alkalmazásban: Whisper Large v3 Turbo (Q5), az OpenAI-tól, a whisper.cpp futtatja, 574 MB, Included jelöléssel.

Válassz modellt a lemezterület és a memória alapján

A whisper.cpp közzéteszi, mennyit foglal az egyes modell a lemezen és a memóriában, az OpenAI pedig azt, hogy hány paramétere van. A Turbo az OpenAI gyorsabb változata a large-v3 modellnek, és az 5 bites fájlja körülbelül a large lemezterületének ötödét foglalja.

2026. október 3-án ellenőrizve, a whisper.cpp README-jében és modelllistájában, valamint az OpenAI Whisper README-jében.

ModellParaméterek (OpenAI)Fájl a lemezen (whisper.cpp)Memória (whisper.cpp)
tiny39 M75 MiBKörülbelül 273 MB
base74 M142 MiBKörülbelül 388 MB
small244 M466 MiBKörülbelül 852 MB
medium769 M1,5 GiBKörülbelül 2,1 GB
large (v1, v2 vagy v3)1550 M2,9 GiBKörülbelül 3,9 GB
large-v3, 5 bites (q5_0)Kvantált large-v31,1 GiBNincs felsorolva
large-v3-turbo809 M1,5 GiBNincs felsorolva
large-v3-turbo, 5 bites (q5_0)Kvantált turbo547 MiBNincs felsorolva

A MiB és a GiB 1024-es lépésekben számol, ezért a whisper.cpp listájában szereplő 547 MiB-os turbo fájl ugyanaz a fájl, amelyet a YapToText 574 MB-ként mutat. Így lehet, hogy két tisztességes oldal ugyanazt a fájlt 547-ként és 574-ként is felsorolja, és mindkettőnek igaza van. A whisper.cpp memóriatáblázata az öt eredeti méretet fedi le, a turbóra és a kvantált fájlokra nem ad adatot.

A YapToText AI Models oldala: a Whisper Large v3 Turbo (Q5) és a Phi-3.5 Mini Instruct Included jelölésű, alatta a modellkönyvtár.
2. ábra. A YapToText a méreteket MB-ban mutatja, ezért a turbo fájl, amelyet a whisper.cpp 547 MiB-ként sorol fel, itt 574 MB, alatta a többi Whisper modellel.

Még néhány megjegyzés a két projektből:

  • Csak angol modellek. A tiny, a base, a small és a medium .en fájlként is elérhető, ugyanakkora mérettel, és csak angolul hallanak. Az OpenAI szerint angolra általában jobbak, főleg a tiny.en és a base.en, a különbség pedig a small.en és a medium.en esetében csökken.
  • Kvantált modellek. A q5_0-ra végződő fájlok kvantáltak. A whisper.cpp szerint a kvantált modellek kevesebb memóriát és lemezterületet igényelnek, és a hardvertől függően hatékonyabban dolgozhatók fel.
  • Turbo. Az OpenAI a large-v3 optimalizált változatának nevezi, gyorsabb átírással és minimális pontosságromlással, és nagyjából 8-szoros sebességűre értékeli a large-hoz képest. Ezt az arányt egy A100-on mérték, nem Macen, és az OpenAI szerint a turbót nem fordításra tanították.
  • Nyelvek. Az OpenAI szerint a Whisper teljesítménye nyelvenként nagyon eltér.
  • Az OpenAI memóriaoszlopa. Az OpenAI README-je a Python csomagjához a szükséges VRAM-ot sorolja fel: nagyjából 1 GB a tiny és a base, nagyjából 6 GB a turbo, nagyjából 10 GB a large esetében. Ezek nem whisper.cpp számok.

A YapToText-hez az 5 bites turbo fájlt választottam, mert a saját diktálásaimon szinte pontosan azt hallotta, amit a teljes modell, a memória harmadával. Ez egy ember diktálásai, nem mérce, ezért próbálj ki két méretet a saját hangodon, mielőtt eldöntöd.

Futtasd magad a Whispert a whisper.cpp-vel

A whisper.cpp magad futtatásához Terminal kell, valamint a két eszköz, amelyeket a README parancsai feltételeznek, a Git és a CMake. Ezek a README saját parancsai, a modellt az 5 bites turbo fájlra cserélve. Amit kapsz, az egy hangfájl átirata a Terminalban, nem az alkalmazásaidba gépelt szavak.

1. lépés: Szerezd meg a kódot és egy modellt

Terminal: Klónozd a whisper.cpp-t, és töltsd le az 5 bites turbo modellt.

git clone https://github.com/ggml-org/whisper.cpp.git
cd whisper.cpp
sh ./models/download-ggml-model.sh large-v3-turbo-q5_0

Mi történik: A projekt egy whisper.cpp mappába kerül, a szkript pedig letölti a ggml-large-v3-turbo-q5_0.bin fájlt a Hugging Face-ről a models mappába. Kisebb letöltéshez cseréld a base.en vagy a small modellre.

2. lépés: Építsd meg, és írd át a mintát

Terminal: Építsd meg a whisper-cli-t, majd futtasd a projekttel érkező mintafelvételen.

cmake -B build
cmake --build build -j --config Release
./build/bin/whisper-cli -m models/ggml-large-v3-turbo-q5_0.bin -f samples/jfk.wav

Mi történik: A CMake megépíti a projektet, a whisper-cli pedig a letöltött modellel átírja a mintát, és kiírja a szöveget a Terminalban.

3. lépés: Előbb alakítsd át a saját hangodat

A README szerint a whisper-cli jelenleg csak 16 bites WAV fájlokkal fut, és ad egy ffmpeg parancsot minden más átalakításához. Az ffmpeg külön telepítés.

Terminal: Alakíts egy MP3-at a whisper-cli által olvasott WAV formátumra.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Mi történik: Az ffmpeg 16 kHz-es, mono, 16 bites hangként írja ki az output.wav fájlt, amelyet az -f után adsz át a whisper-cli-nek.

Vagy használd az OpenAI Python csomagját

Terminal: Telepítsd az OpenAI saját csomagját, ha inkább Pythonban dolgoznál.

pip install -U openai-whisper

Mi történik: A pip telepíti a whisper parancsot. Az OpenAI README-je szerint a kód Python 3.8 és 3.11 között várhatóan működik, ffmpeg kell hozzá, az alapértelmezett modellje pedig a turbo.

Élő beszédhez a whisper.cpp tartalmazza a whisper-stream programot, amely fél másodpercenként mintát vesz a mikrofonodról, és folyamatosan ír át. SDL2 kell hozzá, a README pedig naiv példának nevezi. A szavak Mailbe, Slackbe vagy a szerkesztődbe juttatása az a rész, amelyet egy alkalmazás ad hozzá.

Használd ugyanazt a modellt a YapToText alkalmazásban Terminal nélkül

A YapToText ugyanazt a motort és ugyanazt a fájlt futtatja Terminal-ablak nélkül: a whisper.cpp egy példánya be van építve az alkalmazásba Metallal és Accelerate-tel, a ggml-large-v3-turbo-q5_0.bin pedig benne van az App Store-os letöltésben. Az SHA-256 értéke megegyezik a Hugging Face-en lévő fájléval, tehát a szabványos modell, nem egy egyedileg hangolt vagy újratanított. Azért fejlesztem az alkalmazást, mert a kezem nehezen gépel, és azt akartam, hogy a Whisper minden alkalmazásba gépeljen, ne egy Terminal-ablakba nyomtasson. Ez az a fájl, amelyet a szkript letölt. Ami változik, az minden körülötte.

App Store-plakát Yap it. Bam. It's typed. felirattal a YapToText Home ablaka és a lebegő panel három elrendezése fölött.
3. ábra. Ugyanaz a Whisper fájl Terminal nélkül: a szavak a lebegő panelben állnak össze, ahogy beszélsz, és a kurzorodnál landolnak abban az alkalmazásban, amelyik elöl van.

Ezt adja az alkalmazás a modell köré:

  • Memória, amelyet visszaad. Az Energy oldalon a Keep models in memory dönti el, mennyi ideig marad betöltve egy modell egy diktálás után: alapértelmezés szerint használat után 2 perccel, a választék az Only while dictating és az Until quit között van. Ha hamarabb kiveszed őket a memóriából, energiát és memóriát takarítasz meg, a kivétel utáni következő diktálás pedig néhány másodperccel tovább tart.
  • Hely a macOS-nek. Amikor a macOS-nek fogy a memóriája, a YapToText azonnal eldobja a betöltött modelleket, és öt percet vár, mielőtt újra bemelegíti őket.
  • Könnyebb modell akkumulátoron. A Switch models with the power source alapértelmezés szerint ki van kapcsolva, és a diktálómodellnek és a rendbetevő modellnek is ad egy hálózatra csatlakoztatott és egy akkumulátoros választást.
  • Saját fájl. Az AI Models oldal Your own models részében az Add Model bármilyen whisper.cpp GGML .bin fájlt elfogad, így a szkripttel letöltött modell is működik. Az alkalmazás beolvassa a fájlt, hogy megállapítsa, mi az, és minden mást elutasít.
  • A te Macednek a számai. Az Energy oldal This Mac kártyája megmutatja a chipedet és a memóriádat, ez az a szám, amelyet a fenti táblázat mellé kell tenni.

Az AI Models oldal Dictation Model Library részében tíz további Whisper modell van, a Tiny-tól a Large v3-ig, mindegyik az alkalmazás által mutatott mérettel. Az AI Models útmutató felsorolja őket, az energia útmutató pedig a memóriabeállításokat magyarázza. Az App Store-os letöltés körülbelül 2,9 GB, mert az alkalmazás mindkét modellje benne van. A Homebrew-s változat körülbelül 12 MB, és az első diktálás előtt egy beszédmodell letöltése kell hozzá.

Ha a helyi Whisper lassú, vagy rosszul érti, amit mondasz

Kezdd az olcsó javításokkal, mielőtt nagyobb modellt töltenél le. A mikrofont és a szavakat javítsd, mielőtt a modellt cserélnéd.

  1. Várd ki az első futást. A modellnek be kell töltődnie, mielőtt átírhatna. A YapToText alkalmazásban az indítás utáni első diktálás egy pillanatig tart. Ha a whisper.cpp-t Core ML-lel építetted, a README szerint az első futás egy eszközön lassú, amíg a Neural Engine szolgáltatás lefordítja a modellt.
  2. Állítsd be a nyelvet, amelyet beszélsz. A YapToText AI Models oldalának Language választója a Mac rendszernyelvén indul, és egy nyelv, amelyet a Whisper nem tud használni, automatikus felismerésre vált vissza. A nyelvek oldal mind a 29-et felsorolja.
  3. Javítsd a mikrofont. A Bluetooth mikrofonok telefonminőségűek, ezért a Mac saját mikrofonja jobban hall. A YapToText alkalmazásban válaszd ki a menüsorpanel Input választójában.
  4. Tanítsd meg a szavaidat. A YapToText Dictionaries oldala a neveiddel és a kifejezéseiddel készíti fel a Whispert, nem csak kijavítja, amit begépel. A szótárak útmutatója megmutatja, hogyan.
  5. Angolra használj csak angol modellt. Ha szűkös a memória, és csak angolul beszélsz, az OpenAI szerint az .en változatok általában jobbak, leginkább a tiny és a base méretnél.
  6. Változtasd meg a modell méretét. Menj nagyobbra, ha rosszul hall és a memóriád engedi, vagy kisebbre, ha lassú. A YapToText alkalmazásban az AI Models oldal csillagértékelései mutatják a kompromisszumot, a History minden diktálása pedig megmutatja a saját leállítástól szövegig eltelt idejét.
Egy YapToText History bejegyzés megnyitott feldolgozási részletekkel: nyers átirat, megtisztított átirat, mód, kézbesítés, célalkalmazás és időmérések.
4. ábra. A History minden diktálása hordozza a saját időméréseit: mennyi ideig beszéltél, és a leállítástól szövegig eltelt idő átírásra, MI-s rendbetételre és kézbesítésre bontva.

Amin a helyi Whisper nem változtat

A Whisper helyi futtatása a munkát a Macedre helyezi át, és csak ennyit. A helyi azt változtatja, hová kerül a hangod, nem azt, mennyire jól hallják.

  • Hibák. A modell dönti el, mennyire jól hall, bárhol fut, ezért egy név, amelyet rosszul hall, szótárbejegyzést vagy jobb mikrofont kíván, nem másik helyet.
  • Fordítás. Az OpenAI szerint a turbót nem fordításra tanították, a YapToText pedig a Whispert mindig csak átírásra kéri, sosem fordításra.
  • Egy letöltés. Egy helyi modellnek is meg kell érkeznie egyszer. A whisper.cpp szkriptje a Hugging Face-ről tölti le, a YapToText App Store-os verziójában benne van, a Homebrew-s változat pedig az AI Models oldalról tölti le.
  • Intel Macek. A whisper.cpp támogatottként sorolja fel az Intel és az Arm Maceket. A YapToText Apple chipet és macOS 14 vagy újabb rendszert igényel, Intel Macekre semmit sem állítok.
  • Pontossági számok. Egyetlen modellhez sem teszek közzé pontossági százalékot. A csillagok és a saját History az útmutató.

Annak bizonyításához, hogy egy beállítás tényleg helyi, az offline diktálás oldal egyperces tesztet ad: kapcsold ki a Wi-Fit, és diktálj.

A rövid változat

  • Helyi Whisper. Egy modellfájl és egy motor a Maceden, feltöltés nélkül.
  • A modell. Az 5 bites turbo fájl, a whisper.cpp listájában 547 MiB, az, amelyet a YapToText szállít.
  • Csináld magad. Klónozd a whisper.cpp-t, tölts le egy modellt, építsd meg a CMake-kel, és futtasd a whisper-cli-t egy 16 bites WAV fájlon.
  • Vagy hagyd ki a Terminalt. A YapToText ugyanazt a fájlt futtatja, és bármelyik alkalmazásba gépel, ingyen.

Válaszd ki a modellt a Mac memóriája szerint, aztán a saját hangod szerint. Ha itt valami nem egyezik azzal, amit látsz, nyiss egy issue-t a GitHubon. Mindet elolvasom.

A YapToText letöltése a Mac App Store-bólIngyen letölthető. Nincs fiók és nincsenek zárolt funkciók. Apple chippel szerelt Mac és macOS 14 vagy újabb kell hozzá. Forráskód a GitHubon.

Aki írja. Ryleigh Newman szoftvert fejleszt, nehezen gépel, és minden nap a YapToText alkalmazással diktál, amelyről ez a webhely szól. Ez az oldal angolból készült fordítás. Az alkalmazás felülete és a webhely többi oldala angol nyelvű. Bővebben a projektről, angolul.

Útmutatók

További útmutatók, angolul

Források

Kérdések

Hogyan futtassam a Whispert helyben Macen?

Használd a whisper.cpp-t: klónozd a tárolót, tölts le egy modellt a download-ggml-model.sh szkriptjével, építsd meg a CMake-kel, és futtasd a whisper-cli-t egy 16 bites WAV fájlon. Vagy telepíts egy olyan alkalmazást, amely beépíti, például a YapToText-et, amely beállítás nélkül futtatja a Whisper Large v3 Turbo modellt.

Mennyi memória kell a Whispernek?

A modelltől függ. A whisper.cpp körülbelül 273 MB-ot sorol fel a tiny, 852 MB-ot a small, 2,1 GB-ot a medium és 3,9 GB-ot a large modellnél, és azt írja, hogy a kvantált modellek kevesebbet igényelnek. A turbóra nem ad memóriaadatot.

Melyik a legjobb helyi Whisper modell?

A Large v3 Turbo az, ahonnan én indulnék, és az 5 bites fájlja az, amelyet a YapToText szállít: a whisper.cpp listájában 547 MiB. Ha szűkös a memória, a small vagy a base sokkal kevesebbet használ, az OpenAI szerint pedig az angol nyelvű változatok a legkisebb méreteknél általában jobbak angolra.

Mekkora a Whisper Large v3 Turbo modell?

A whisper.cpp modelllistájában 1,5 GiB, az 5 bites q5_0 fájl pedig 547 MiB, ami tízes mértékegységgel számolva 574 MB. Az OpenAI a turbót 809 millió paraméteresnek sorolja fel.

Kell internet a helyi Whispernek?

Csak a modell egyszeri letöltéséhez. Utána a whisper.cpp és a YapToText kapcsolat nélkül ír át, a YapToText App Store-os verziója pedig a modellel együtt érkezik, így még ezt a letöltést is kihagyja.

Használhatok whisper.cpp modellt a YapToText alkalmazásban?

Igen. Az AI Models oldal Your own models részében az Add Model bármilyen whisper.cpp GGML .bin fájlt elfogad, és az alkalmazás magából a fájlból állapítja meg, mi az.