音声入力のモード：同じ言葉を、行き先に合わせて整える
著者 Ryleigh Newman · 公開日
音声入力のモードは、WhisperがMac上であなたの声を聞き取ったあと、YapToTextが言葉をどう扱うかを決めます。Raw Transcriptionは話したとおりに入力し、Clean Up、Note、Email、Message、Code Commentは、あなたの言葉を保ったまま、その種類の文章に合わせて書き直します。初期設定でオンのAutoモードは、そのたびに自動で選びます。
モードはModesページにあります。内蔵のモードも含めて、どれも編集できます。自分用のモードを普通の文章で書くことも、アプリごとに専用のモードを持たせることもできます。すべてMac上で実行されるので、モードがあなたの言葉をどこかへ送ることはありません。
無料でダウンロードできます。アカウント不要で、機能の制限もありません。AppleシリコンのMac、macOS 14以降に対応しています。 ソースコードはGitHubにあります。
ほかの言語で読む： English, العربية, Čeština, Dansk, Deutsch, Ελληνικά, Español, Suomi, Français, עברית, हिन्दी, Magyar, Bahasa Indonesia, Italiano, 한국어, Norsk, Nederlands, Polski, Português, Română, Русский, Slovenčina, Svenska, ไทย, Türkçe, Українська, Tiếng Việt, 简体中文, 繁體中文
それぞれのモードの働き
アプリには六つのモードが入っていて、そのほかにAutoがあります。
- Auto。 音声入力のたびに内容を読み取り、扱い方を自分で選びます。専用のガイドがあります：Autoモード。
- Raw Transcription。 AIを使わずに、基本的な句読点だけを付けて、話した言葉をそのまま速く文字にします。Autoがオフのときは、別のモードを選ぶまで、これが選択されたモードになります。
- Clean Up。 言いよどみや言い直しを取り除き、文法、大文字小文字、句読点を直し、マイクが明らかに聞き間違えた言葉を直します。口調や言葉づかいはそのままで、ぶっきらぼうな表現や汚い言葉も残し、文を削除したり、短くしたり、要約したりはしません。話したウェブやメールのアドレスは正しい形で書き、話した数字は単位を足さずに数字にします。アプリはこれを推奨の初期設定としています。
- Note。 短い見出しと箇条書きにし、やることは一覧にまとめ、あなたが言っていないことは何も足しません。
- Email。 メールの本文を書き、件名の行は書きません。宛先の名前を言ったときだけ挨拶を付け、署名はSettings、Advanced、Your nameの名前を使い、[Your Name]のような仮の文字は使いません。
- Message。 チャット向けの軽い整形です。言いよどみを取り、はっきりした文法の誤りを直し、くだけた口調は保ちます。
- Code Comment。 コードのコメントやコミットメッセージ向けに、簡潔で技術的な言い方にします。識別子と大文字小文字は話したとおりに保ち、引用符やコードのフェンスは付けません。
Raw Transcription以外のモードはどれも、それぞれの指示を付けて、文字起こしを整形用のモデルに渡します。初期設定のモデルはPhi-3.5 Mini Instructです。結果がアシスタントの返事のようになったり、話した内容を大きく超えて長くなったり、参考のテキストを繰り返したりした場合は、アプリはその結果を捨てて、生の文字起こしを入力します。Raw TranscriptionはAIモデルにまったく触れません。ほかのモードはどれも、あなたの言葉を保ち、それ以外を直します。
モードを選ぶ、途中で切り替える
モードを選ぶ方法は四つあります。
- メニューバーから。 カピバラをクリックして、Modeのピッカーを使います。そこでモードを選ぶとAutoがオフになり、Autoはピッカーから消えます。戻すには、Homeページか、ModesページのAutoの行でオンに切り替えます。
- 話している間に。 1から9を押すか、広げたパネルのモードのチップをクリックします。Autoがオンのときは、その音声入力だけに有効です。Autoがオフのときは、選択されたモードになります。
- Modesページから。 モードを右クリックしてUse This Modeを選びます。現在のモードにはCurrentのタグが付きます。
- ショートカットで。 Settings、General、ShortcutsのCycle modeは一覧を順に切り替え、どのモードにも、そのモードで音声入力を始める専用のActivation shortcutを設定できます。
番号はModesの一覧の順番に従うので、モードを上や下へドラッグすると番号も変わります。Show in the quick switcherをオフにしたモードには、番号が付きません。モードに付いた番号は、そのモードを選ぶキーです。 すべてのキーはYapToTextのキーにあります。
モードを編集する、自分用に作る
Modesページでモードをクリックすると、そのエディタが開きます。カードは、Basics（名前、アイコン、説明、Show in the quick switcher、Activation shortcut）、Apps that use this mode、On batteryの選択があるSpeech model、Recording & language、AI cleanup、Dictionaries、Where the text goes、Try it outです。
手順1：近いモードから始める
- 操作: モードを右クリックしてDuplicateを選ぶか、プラスのボタンを押してNew Modeを選びます。
- YapToText: 新しいモードのエディタを開きます。
- 確認: 新しいモードがModesページの一覧に表示されます。
手順2：指示を書く
- 操作: AI cleanupカードでRewrite the transcript with AIをオンのままにして、Instructionsの欄に希望を書きます。内蔵モードの指示から始めたいときは、Start fromのボタンを押します。
- YapToText: 入力するたびに保存します。整形用のモデルは、このモードの音声入力のたびに、この指示に従います。
- 確認: 指示に、変えたいことだけでなく、残したいことも書いてあります。
モードの指示： チャットアプリでの短い返信の例です。
私の音声入力を、短くて親しみやすい返事にしてください。私の言葉と意味は保ってください。私が言っていないことは何も足さないでください。結果: 整形用のモデルが、このモードの音声入力のたびに、Mac上でその方向に書き直します。
手順3：試す
- 操作: Try it outカードにサンプルを入力して、Preview with AIを押します。
- YapToText: 音声入力をせずに、サンプルにそのモードを実行します。
- 確認: Resultが思ったとおりに読めます。違う場合は、指示を直してもう一度プレビューします。
AI cleanupでは、Cleanup modelも選べます。また、三つのスイッチで、モデルが見られる文脈を決めます。内蔵モードは右クリックメニューにReset to Defaultがあり、Restore Built-in Modesはプラスのボタンの下にあり、Undoのボタンは直前のモードの変更を取り消します。Export ModeとImport Modeは、モードをファイルとして移します。モードは、読んで書き直せる指示にすぎません。
アプリごとに専用のモードを持たせる
どのアプリにも専用のモードを持たせられるので、そのアプリでの音声入力は、選ばなくてもそのモードになります。たとえば、メールをEmailに、メッセージをMessageに、エディタをCode Commentにします。
- 操作: モードのエディタのApps that use this modeで、Add appを押して起動中のアプリを選ぶか、ほかのアプリはChoose Appで選びます。Settings、Advanced、Per-app modesでも同じ一覧を編集できます。
- YapToText: 音声入力を始めたときにそのアプリが最前面にあれば、そのモードに切り替えます。これにはアクセシビリティの許可は不要です。
- 確認: Autoモードをオフにすると、そのアプリでの音声入力は、そのモードで整えられて出てきます。
Autoモードがオンの間は、Autoが音声入力ごとの書き方を決めるので、アプリごとのモードが文章を整えるのはAutoがオフのときだけです。 たくさんのアプリに音声入力する場合は、Macのどのアプリにも音声入力する方法のガイドが、アプリごとに説明しています。
すでにあるテキストにモードを使う
すでに書いてあるテキストにモードを使える場所は、三つあります。
- メニューバーのRegenerate。 カピバラをクリックしてRegenerateを開きます。Redo it asは直前の音声入力を好きなモードでやり直し、Rewrite it asは選択したテキストを好きなモードで書き直し、1回限りの編集ではAIアクションを適用します。
- History。 どの項目にも生の文字起こしが残っているので、Regenerate with AIで古い音声入力を別のモードでやり直せます。くわしくはHistoryのガイドをご覧ください。
- Utility。 Transform textカードは、貼り付けたテキストを好きなモードで整え直します。たとえば、メモをメールにします。そのページのほかの内容はUtilityのガイドにあります。
選択したテキストの書き直しには、アプリが入力するのと同じ許可である、アクセシビリティが必要です。モードは、先週音声入力した言葉も含め、どんなテキストにも使えます。
制限
- 整形用のモデル。 Raw Transcription以外のモードにはどれも必要です。Homebrew版はモデルなしで配布されるので、AIモードを使う前に、AI ModelsページでPhi-3.5 Mini Instruct、2.3 GBをダウンロードしてください。
- 文字起こしのあとの分析。 Homeページにあるこのマスタースイッチがオフのときは、どのモードも実行されません。音声入力はすべて話したとおりに入力され、Modesページにそう表示されます。
- 小さなモデル。 整形用のモデルはMac上で動くので、新しいモードは、頼る前にTry it outでプレビューしてください。
- 音声入力の途中での切り替え。 新しいモードの整形は進行中の音声入力に適用されますが、音声認識のモデルと言語は次の音声入力から適用されます。
- 九つの番号。 番号キーが届くのは、切り替えの一覧の先頭の九つのモードまでです。
モードの動きがおかしいとき
- どのモードが実行されたか確認する。 Historyで、その音声入力のShow pipeline detailsをクリックします。Modeの行にモードの名前が出て、Auto detectedにAutoが選んだモードが出ます。
- マスタースイッチを確認する。 HomeページのAfter transcriptionカードで、Post-transcription analysisがオンになっている必要があります。
- 同じ言葉でプレビューする。 話した内容を、モードのエディタのTry it outに貼り付けて、比べます。
- 指示を直す。 変えたいことだけでなく、残したいことも書くか、内蔵モードならReset to Defaultを使います。
- 別のモデルを試す。 モードのエディタで別のCleanup modelを選ぶか、その種類の文章にはRaw Transcriptionを使います。
- 知らせてください。 モード、話した内容、出てきた結果を添えて、GitHubでissueを作成してください。
まとめ
- Raw Transcription。 AIを使わず、話したとおりに入力します。
- Clean Upとその仲間。 メール、メモ、チャット、コードのコメント向けに、言葉を整えます。
- Auto。 初期設定でオンで、自動で選びます。
言葉の行き先に合わせてモードを選ぶか、Autoに選ばせます。 superwhisperから乗り換える場合は、superwhisperの代わりのページで2つを比べています。モードの動きが意外だった場合は、GitHubでissueを作成してください。すべて読んでいます。
無料でダウンロードできます。アカウント不要で、機能の制限もありません。AppleシリコンのMac、macOS 14以降に対応しています。 ソースコードはGitHubにあります。
ガイド
そのほかのガイド（英語）
よくある質問
YapToTextではどのモードを使えばよいですか
初期設定でオンの Auto が、自動で選びます。自分で選ぶなら、Clean Up は意味を変えずに「えーと」などを取って文法を直し、Raw Transcription は話したとおりに入力します。
Raw TranscriptionはAIを使いますか
いいえ。基本的な句読点だけを付けて、話した言葉をそのまま速く文字にします。Whisperが聞き取り、言葉を書き直すものはありません。
自分用の音声入力のモードを作れますか
はい。近いモードを複製するか、Modesページのプラスのボタンの下で New Mode を選び、普通の文章で指示を書いて、Try it out で試します。
Emailモードが件名を書かないのはなぜですか
指示が、メールの本文だけを書くようになっているからです。内蔵のモードはどれも編集できるので、変えられます。
アプリごとに別のモードを使えますか
はい。モードのエディタの Apps that use this mode か、Settings、Advanced、Per-app modes でアプリを追加します。Auto モードがオンの間は、書き方は Auto が決めます。
モードは私のテキストをどこかに送りますか
いいえ。音声認識のモデルも整形用のモデルもMac上で動き、あなたの言葉と指示はMacの中にとどまります。