Paikallinen Whisper Macilla: mitä se vaatii, mitä se maksaa ja miten sitä ajetaan

Teksti: · Julkaistu

Paikallinen Whisper tarkoittaa OpenAI:n puhemallin Whisper ajamista omalla Macillasi, jolloin äänesi muuttuu tekstiksi koneella eikä jonkin palvelimen luona. Macilla tärkein moottori on whisper.cpp, joka kohtelee Applen sirua ensiluokkaisena kohteena, ja ratkaiseva valinta on mallitiedosto: isommat mallit kuulevat paremmin ja vievät enemmän levytilaa ja muistia.

Käyn läpi, miten palat sopivat yhteen, mitä kukin mallikoko maksaa whisper.cpp:n omien lukujen mukaan, komennot, joilla ajat sitä itse, ja mihin YapToText sopii. Tein YapToTextin, ilmaisen apin, joka ajaa whisper.cpp:tä vakiotiedostolla Whisper Large v3 Turbo (Q5), joten punnitse sitä osaa sen tiedon kanssa. Jos haluat vain tietää, onko Macille Whisper-appia, Whisper Mac -appisivu vastaa siihen.

Lataa YapToText Mac App StorestaLadattavissa ilmaiseksi. Ei tiliä eikä lukittuja ominaisuuksia. Vaatii macOS 14:n tai uudemman ja Macin, jossa on Applen siru. Lähdekoodi GitHubissa.

Tämä opas muilla kielillä: English, العربية, Čeština, Dansk, Deutsch, Ελληνικά, Español, Français, עברית, हिन्दी, Magyar, Bahasa Indonesia, Italiano, 日本語, 한국어, Norsk, Nederlands, Polski, Português, Română, Русский, Slovenčina, Svenska, ไทย, Türkçe, Українська, Tiếng Việt, 简体中文, 繁體中文

Tällä sivulla: 12 osiota
  1. Vaiheet
  2. Tunne paikallisen Whisperin kolme osaa
  3. Valitse malli levytilan ja muistin mukaan
  4. Aja Whisperiä itse whisper.cpp:llä
    1. Vaihe 1: hae koodi ja malli
    2. Vaihe 2: käännä se ja litteroi esimerkki
    3. Vaihe 3: muunna oma äänesi ensin
    4. Tai käytä OpenAI:n Python-pakettia
  5. Käytä samaa mallia YapToTextissä ilman Terminalia
  6. Jos paikallinen Whisper on hidas tai kuulee väärin
  7. Mitä paikallinen Whisper ei muuta
  8. Lyhyesti
  9. Oppaat
  10. Lisää oppaita, englanniksi
  11. Lähteet
  12. Kysymyksiä

Vaiheet

  1. Kloonaa whisper.cpp-repositorio GitHubista ja avaa sen kansio sovelluksessa Terminal.
  2. Lataa malli projektin skriptillä download-ggml-model.sh, esimerkiksi large-v3-turbo-q5_0.
  3. Käännä projekti CMakella käyttäen README:n kahta cmake-komentoa.
  4. Muunna äänite 16-bittiseksi WAV-tiedostoksi, esimerkiksi ffmpegillä.
  5. Aja whisper-cli mallitiedostollasi ja WAV-tiedostollasi ja lue tekstimuunnos sovelluksessa Terminal.

Tunne paikallisen Whisperin kolme osaa

Paikallisessa Whisperissä on kolme osaa, ja kaikki kolme ovat Macillasi. Malli on tiedosto, moottori ajaa sitä, eikä äänesi tarvitse koskaan poistua koneelta.

  • Malli. Whisper on OpenAI:n puheentunnistusmalli, ja OpenAI julkaisi sen koodin ja mallipainot MIT-lisenssillä. Lataat mallitiedoston kerran, ja se tiedosto tekee kuuntelun.
  • Moottori. whisper.cpp on Whisperin selkeä C- ja C++-toteutus, sekin MIT-lisenssillä. Sen README kutsuu Applen sirua ensiluokkaiseksi kohteeksi, optimoituna ARM NEONin, Acceleraten, Metalin ja Core ML:n kautta, ja kertoo, että Applen sirulla päättely ajetaan kokonaan GPU:lla Metalin kautta. OpenAI:n oma paketti ajaa Whisperiä sen sijaan Pythonista.
  • Äänesi. Äänite tai mikrofoni menee sisään ja teksti tulee ulos. Internetiä tarvitaan vain mallitiedoston lataamiseen alun perin.

Se erottaa sen pilvipalvelusta: mitään ei ladata palvelimelle litteroitavaksi. Se tarkoittaa myös sitä, että Macisi tekee työn, joten valitsemasi malli ratkaisee, kuinka paljon muistia ja levytilaa työ vie.

App Storen juliste, jonka otsikko kertoo, ettei mikään lähde Macistasi, YapToTextin AI Models -sivun päällä, jossa molemmat mallit on merkitty Included-tilaan.
Kuva 1. Malli ja moottori samalla rivillä YapToTextissä: Whisper Large v3 Turbo (Q5), OpenAI:lta, whisper.cpp:n ajamana, 574 Mt ja merkitty Included-tilaan.

Valitse malli levytilan ja muistin mukaan

whisper.cpp julkaisee, mitä kukin malli vie levyltä ja muistista, ja OpenAI julkaisee, kuinka monta parametria kullakin on. Turbo on OpenAI:n nopeampi versio mallista large-v3, ja sen 5-bittinen tiedosto vie noin viidenneksen largen levytilasta.

Tarkistettu 3. lokakuuta 2026 whisper.cpp:n README-tiedostosta ja mallilistasta sekä OpenAI:n Whisper-README:stä.

MalliParametrit (OpenAI)Tiedosto levyllä (whisper.cpp)Muisti (whisper.cpp)
tiny39 milj.75 MiBNoin 273 Mt
base74 milj.142 MiBNoin 388 Mt
small244 milj.466 MiBNoin 852 Mt
medium769 milj.1,5 GiBNoin 2,1 Gt
large (v1, v2 tai v3)1550 milj.2,9 GiBNoin 3,9 Gt
large-v3, 5-bittinen (q5_0)Kvantisoitu large-v31,1 GiBEi luetteloitu
large-v3-turbo809 milj.1,5 GiBEi luetteloitu
large-v3-turbo, 5-bittinen (q5_0)Kvantisoitu turbo547 MiBEi luetteloitu

MiB ja GiB lasketaan 1 024:n askelin, joten whisper.cpp:n listan 547 MiB:n turbotiedosto on sama tiedosto, jonka YapToText näyttää kokona 574 Mt. Siksi kaksi rehellistä sivua voi luetella saman tiedoston lukuina 547 ja 574 ja molemmat ovat oikeassa. whisper.cpp:n muistitaulukko kattaa viisi alkuperäistä kokoa eikä anna lukua turbolle tai kvantisoiduille tiedostoille.

YapToTextin AI Models -sivu: Whisper Large v3 Turbo (Q5) ja Phi-3.5 Mini Instruct merkittyinä Included-tilaan, mallikirjasto alla.
Kuva 2. YapToText näyttää koot Mt-yksiköissä, minkä vuoksi turbotiedosto, jonka whisper.cpp luettelee kokona 547 MiB, näkyy täällä kokona 574 Mt, ja muut Whisper-mallit on lueteltu sen alla.

Muutama huomio lisää kahdesta projektista:

  • Vain englantia osaavat mallit. tiny, base, small ja medium tulevat myös .en-tiedostoina samassa koossa, jotka kuulevat vain englantia. OpenAI sanoo niiden pärjäävän yleensä paremmin englannilla, erityisesti tiny.en ja base.en, ja että ero pienenee mallien small.en ja medium.en kohdalla.
  • Kvantisoidut mallit. Tiedostot, jotka päättyvät q5_0, ovat kvantisoituja. whisper.cpp sanoo kvantisoitujen mallien tarvitsevan vähemmän muistia ja levytilaa ja että laitteistosta riippuen ne voidaan käsitellä tehokkaammin.
  • Turbo. OpenAI kutsuu sitä optimoiduksi versioksi mallista large-v3, jossa litterointi on nopeampaa ja tarkkuus heikkenee minimaalisesti, ja arvioi sen noin 8 kertaa largea nopeammaksi. Se suhde mitattiin A100-näytönohjaimella, ei Macilla, ja OpenAI sanoo, ettei turboa ole koulutettu kääntämiseen.
  • Kielet. OpenAI sanoo Whisperin suorituskyvyn vaihtelevan paljon kielestä riippuen.
  • OpenAI:n muistisarake. OpenAI:n README luettelee Python-paketilleen tarvittavan VRAM-muistin: noin 1 Gt mallille tiny ja base, noin 6 Gt turbolle ja noin 10 Gt largelle. Ne eivät ole whisper.cpp:n lukuja.

Valitsin 5-bittisen turbotiedoston YapToTextiin, koska omilla sanelullani se kuuli lähes täsmälleen saman kuin täysi malli, kolmanneksella muistista. Se on yhden ihmisen sanelut eikä vertailumittaus, joten kokeile kahta kokoa omalla äänelläsi ennen kuin päätät.

Aja Whisperiä itse whisper.cpp:llä

whisper.cpp:n ajaminen itse vaatii sovelluksen Terminal ja kaksi työkalua, joita sen README:n komennot olettavat, Gitin ja CMaken. Nämä ovat README:n omat komennot, mallin tilalla 5-bittinen turbotiedosto. Saat äänitiedoston tekstimuunnoksen sovelluksessa Terminal, et sanoja kirjoitettuna appeihisi.

Vaihe 1: hae koodi ja malli

Terminal: Kloonaa whisper.cpp ja lataa 5-bittinen turbomalli.

git clone https://github.com/ggml-org/whisper.cpp.git
cd whisper.cpp
sh ./models/download-ggml-model.sh large-v3-turbo-q5_0

Mitä tapahtuu: Projekti päätyy kansioon whisper.cpp, ja skripti lataa tiedoston ggml-large-v3-turbo-q5_0.bin Hugging Facesta sen kansioon models. Vaihda tilalle base.en tai small saadaksesi pienemmän latauksen.

Vaihe 2: käännä se ja litteroi esimerkki

Terminal: Käännä whisper-cli ja aja se projektin mukana tulevalle esimerkkiäänitteelle.

cmake -B build
cmake --build build -j --config Release
./build/bin/whisper-cli -m models/ggml-large-v3-turbo-q5_0.bin -f samples/jfk.wav

Mitä tapahtuu: CMake kääntää projektin, ja whisper-cli litteroi esimerkin lataamallasi mallilla ja tulostaa tekstin sovellukseen Terminal.

Vaihe 3: muunna oma äänesi ensin

README kertoo, että whisper-cli toimii tällä hetkellä vain 16-bittisillä WAV-tiedostoilla, ja antaa ffmpeg-komennon kaiken muun muuntamiseen. ffmpeg on erillinen asennus.

Terminal: Muuta MP3 WAV-muotoon, jota whisper-cli lukee.

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

Mitä tapahtuu: ffmpeg kirjoittaa tiedoston output.wav 16 kHz:n monoäänenä 16 bitin äänenä, jonka annat sitten whisper-clille valitsimen -f jälkeen.

Tai käytä OpenAI:n Python-pakettia

Terminal: Asenna OpenAI:n oma paketti, jos mieluummin työskentelet Pythonilla.

pip install -U openai-whisper

Mitä tapahtuu: pip asentaa komennon whisper. OpenAI:n README kertoo koodin odotettavasti toimivan Pythonin versioilla 3.8:sta 3.11:een, se tarvitsee ffmpegin, ja sen oletusmalli on turbo.

Puheelle livenä whisper.cpp sisältää komennon whisper-stream, joka ottaa mikrofonistasi näytteen puolen sekunnin välein ja litteroi jatkuvasti. Se tarvitsee SDL2:n, ja README kutsuu sitä naiiviksi esimerkiksi. Sanojen vieminen Mailiin, Slackiin tai editoriisi on se osa, jonka appi lisää.

Käytä samaa mallia YapToTextissä ilman Terminalia

YapToText ajaa samaa moottoria ja samaa tiedostoa ilman komentoriviä: whisper.cpp:n kopio on rakennettu appiin Metalin ja Acceleraten kanssa, ja ggml-large-v3-turbo-q5_0.bin on App Store -latauksen sisällä. Sen SHA-256 täsmää Hugging Facen tiedostoon, joten se on vakiomalli, ei erikseen viritetty tai uudelleenkoulutettu. Tein apin, koska käteni tekevät kirjoittamisesta vaikeaa, ja halusin Whisperin kirjoittavan jokaiseen appiin sen sijaan, että se tulostaa ikkunaan sovelluksessa Terminal. Se on tiedosto, jonka skripti lataa. Kaikki sen ympärillä on erilaista.

App Storen juliste, jonka otsikko on Yap it. Bam. It's typed., YapToTextin Home-ikkunan ja kolmen kelluvan paneeliasettelun päällä.
Kuva 3. Sama Whisper-tiedosto ilman Terminalia: sanat muodostuvat kelluvaan paneeliin puhuessasi ja päätyvät kohdistimen kohdalle siinä apissa, joka on edessä.

Tämän appi lisää mallin ympärille:

  • Muisti, jonka se antaa takaisin. Sivulla Energy asetus Keep models in memory ratkaisee, kuinka kauan malli pysyy ladattuna sanelun jälkeen: oletuksena 2 minuuttia käytön jälkeen, valinnat vaihtelevat arvosta Only while dictating arvoon Until quit. Aiempi purkaminen säästää energiaa ja muistia, ja purkamisen jälkeinen seuraava sanelu kestää muutaman sekunnin pidempään.
  • Tilaa macOS:lle. Kun macOS:n muisti käy vähiin, YapToText pudottaa ladatut mallinsa heti ja odottaa viisi minuuttia ennen niiden lämmittämistä uudelleen.
  • Kevyempi malli akulla. Asetus Switch models with the power source, oletuksena pois päältä, antaa sanelumallille ja siistimismallille kummallekin valinnan verkkovirralle ja akulle.
  • Oma tiedostosi. Sivun AI Models kohdassa Your own models toiminto Add Model ottaa minkä tahansa whisper.cpp:n GGML .bin -tiedoston, joten skriptillä lataamasi malli toimii myös. Appi lukee tiedoston selvittääkseen, mikä se on, ja hylkää kaiken muun.
  • Macisi luvut. Sivun Energy kortti This Mac näyttää sirusi ja muistisi, mikä on luku, jota verrata yllä olevaan taulukkoon.

Sivun AI Models kohdassa Dictation Model Library on kymmenen muuta Whisper-mallia, mallista Tiny malliin Large v3, kullakin appin näyttämä koko. AI-mallien opas luettelee ne, ja energiaopas selittää muistiasetukset. App Store -lataus on noin 2,9 Gt, koska appin molemmat mallit ovat sen sisällä. Homebrew-versio on noin 12 Mt ja tarvitsee puhemallin latauksen ennen ensimmäistä sanelua.

Jos paikallinen Whisper on hidas tai kuulee väärin

Aloita halvoista korjauksista, ennen kuin lataat isomman mallin. Korjaa mikrofoni ja sanat ennen kuin vaihdat mallia.

  1. Odota ensimmäinen ajo. Mallin täytyy latautua ennen litterointia. YapToTextissä ensimmäinen sanelu käynnistyksen jälkeen kestää hetken. Jos käänsit whisper.cpp:n Core ML:llä, sen README kertoo, että ensimmäinen ajo laitteella on hidas, kun Neural Engine -palvelu kääntää mallin.
  2. Aseta kieli, jota puhut. YapToTextin valitsin Language sivulla AI Models alkaa Macisi järjestelmäkielestä, ja kieli, jota Whisper ei voi käyttää, palaa automaattiseen tunnistukseen. Kielisivu luettelee kaikki 29.
  3. Korjaa mikrofoni. Bluetooth-mikrofonit ovat puhelinlaatua, joten Macin oma mikrofoni kuulee paremmin. Valitse se YapToTextissä valikkorivin paneelin valitsimesta Input.
  4. Opeta sille sanasi. YapToTextin sivu Dictionaries virittää Whisperin nimillä ja termeillä eikä vain korjaa kirjoitettua. Sanakirjaopas näyttää miten.
  5. Käytä englannille vain englantia osaavaa mallia. Jos muisti on tiukalla ja puhut vain englantia, OpenAI sanoo .en-versioiden pärjäävän yleensä paremmin, eniten kooilla tiny ja base.
  6. Vaihda mallin kokoa. Mene isompaan, jos se kuulee väärin ja muistisi sallii, tai pienempään, jos se on hidas. YapToTextissä sivun AI Models tähtiarviot näyttävät vaihtokaupan, ja jokainen sanelu sivulla History näyttää oman aikansa lopetuksesta tekstiin.
YapToTextin History-merkintä, jonka putken tiedot on avattu: raakateksti, siistitty teksti, tila, toimitustapa, kohdeappi ja ajoitukset.
Kuva 4. Jokaisella sanelulla sivulla History on omat ajoituksensa: kuinka kauan puhuit, sekä aika lopetuksesta tekstiin jaettuna litterointiin, tekoälysiistimiseen ja toimitukseen.

Mitä paikallinen Whisper ei muuta

Whisperin ajaminen paikallisesti siirtää työn Macillesi, ja se on kaikki, mitä se siirtää. Paikallinen muuttaa sitä, minne äänesi menee, ei sitä, kuinka hyvin se kuullaan.

  • Virheet. Malli ratkaisee, kuinka hyvin se kuulee, missä tahansa se ajetaankin, joten nimi, jonka se kuulee väärin, tarvitsee sanakirjamerkinnän tai paremman mikrofonin, ei toista sijaintia.
  • Käännös. OpenAI sanoo, ettei turboa ole koulutettu kääntämiseen, ja YapToText pyytää Whisperiä vain litteroimaan, ei koskaan kääntämään.
  • Yksi lataus. Paikallisen mallin täytyy silti saapua kerran. whisper.cpp:n skripti hakee sen Hugging Facesta, YapToTextin App Store -versiossa se on sisällä, ja Homebrew-versio hakee sen sivulta AI Models.
  • Intel-Macit. whisper.cpp luettelee Intel- ja Arm-Macit tuetuiksi. YapToText tarvitsee Applen sirun ja macOS 14:n tai uudemman, eikä Intel-Maceista väitetä mitään.
  • Tarkkuusluvut. En julkaise tarkkuusprosentteja mistään mallista. Tähdet ja oma History ovat ohjenuora.

Jos haluat todistaa, että asetelma on todella paikallinen, offline-sanelusivulla on minuutin testi: laita Wi-Fi pois päältä ja sanele.

Lyhyesti

  • Paikallinen Whisper. Se on mallitiedosto ja moottori Macillasi, eikä mitään ladata palvelimelle.
  • Malli. 5-bittinen turbotiedosto, 547 MiB whisper.cpp:n listassa, on se, jonka YapToText toimittaa.
  • Tee itse. Kloonaa whisper.cpp, lataa malli, käännä CMakella ja aja whisper-cli 16-bittiselle WAV-tiedostolle.
  • Tai ohita Terminal. YapToText ajaa saman tiedoston ja kirjoittaa mihin tahansa appiin, ilmaiseksi.

Valitse malli Macisi muistin mukaan ja sitten oman äänesi mukaan. Jos jokin täällä ei vastaa sitä, mitä näet, avaa issue GitHubissa. Luen jokaisen.

Lataa YapToText Mac App StorestaLadattavissa ilmaiseksi. Ei tiliä eikä lukittuja ominaisuuksia. Vaatii macOS 14:n tai uudemman ja Macin, jossa on Applen siru. Lähdekoodi GitHubissa.

Kuka kirjoittaa. Ryleigh Newman kehittää ohjelmistoja, kirjoittaa näppäimistöllä vain vaivoin ja sanelee joka päivä YapToTextillä, apilla, josta tämä sivusto kertoo. Tämä sivu on käännetty englannista. Apin käyttöliittymä ja sivuston muut sivut ovat englanniksi. Lisää projektista, englanniksi.

Oppaat

Lisää oppaita, englanniksi

Lähteet

Kysymyksiä

Miten ajan Whisperiä paikallisesti Macilla?

Käytä whisper.cpp:tä: kloonaa repositorio, lataa malli sen skriptillä download-ggml-model.sh, käännä se CMakella ja aja whisper-cli 16-bittiselle WAV-tiedostolle. Tai asenna appi, jossa se on mukana, kuten YapToText, joka ajaa mallia Whisper Large v3 Turbo ilman asennustyötä.

Kuinka paljon muistia Whisper tarvitsee?

Se riippuu mallista. whisper.cpp luettelee noin 273 Mt mallille tiny, 852 Mt mallille small, 2,1 Gt mallille medium ja 3,9 Gt mallille large ja sanoo kvantisoitujen tarvitsevan vähemmän. Turbolle se ei anna muistilukua.

Mikä on paras paikallinen Whisper-malli?

Large v3 Turbo on se, mistä aloittaisin, ja sen 5-bittinen tiedosto on se, jonka YapToText toimittaa: 547 MiB whisper.cpp:n listassa. Jos muisti on tiukalla, small tai base vie paljon vähemmän, ja OpenAI sanoo vain englantia osaavien versioiden pärjäävän yleensä paremmin englannilla pienimmillä koilla.

Kuinka iso Whisper Large v3 Turbo -malli on?

1,5 GiB whisper.cpp:n mallilistassa tai 547 MiB 5-bittisenä q5_0-tiedostona, mikä on 574 Mt desimaaliyksiköillä laskettuna. OpenAI luettelee turbon 809 miljoonan parametrin malliksi.

Tarvitseeko paikallinen Whisper internetiä?

Vain mallin lataamiseen kerran. Sen jälkeen whisper.cpp ja YapToText litteroivat ilman yhteyttä, ja YapToTextin App Store -versio tulee mallin kanssa, joten se ohittaa senkin latauksen.

Voinko käyttää whisper.cpp-mallia YapToTextissä?

Voit. Sivun AI Models kohdassa Your own models toiminto Add Model ottaa minkä tahansa whisper.cpp:n GGML .bin -tiedoston, ja appi tunnistaa, mikä se on, itse tiedostosta.