Apple SpeechAnalyzer、オンデバイス音声認識でWhisper Smallを上回る結果

AppleのSpeechAnalyzerは、単なる新APIではなく、オンデバイス音声認識の基準を考え直させる結果を出した。InscribeはLibriSpeechのtest-clean 2,620発話とtest-other 2,939発話を使い、Apple M2 Pro上で同じ条件の比較を行った。

結果はかなり明確だ。SpeechAnalyzerの単語誤り率はtest-cleanで2.12%、test-otherで4.56%。WhisperKit CoreMLのWhisper Smallは3.74%と7.95%、旧SFSpeechRecognizerは9.02%と16.25%だった。新APIは旧APIの誤りを大きく減らし、Whisper Smallよりも低い誤り率を示したことになる。

開発者にとって大きいのは、精度だけではない。Whisper Smallは約460MBのモデルを扱う必要がある一方、SpeechAnalyzerはシステムAPIとして使える。英語音声認識という範囲では、Appleハードウェア上の標準機能が別途モデルを組み込む選択肢に十分対抗し始めた。

コミュニティでの関心は、Appleが公式の精度指標を出していない中で、開発者がどう判断材料を作るかに向かった。データセットの偏り、多言語対応、会議室や屋外の雑音環境で同じ差が出るかはまだ検証が必要だ。

それでも、SFSpeechRecognizerを長めの文字起こしに使い続ける理由はかなり弱くなった。移行コストを確認する価値は高い。