脳波で打った文章を読み取る新技術

Meta AIはBrain2Qwerty v2を発表しました。これは、非侵襲的な脳の記録から自然な文章をリアルタイムで解読します。このシステムは、人がタイピングしている間に脳磁図（MEG）信号を読み取ります。インプラントや手術なしで、タイピングされた内容を再構築します。これは、2025年2月にリリースされたBrain2Qwerty v1の続編です。Metaは両バージョンの完全なトレーニングコードも公開しています。このパイプラインは、convolutional encoder、transformer、そして文字レベルの言語モデルを組み合わせています。TL;DR Brain2Qwerty v2は、インプラントや手術なしで、非侵襲的なMEG信号からタイピングされた文章を解読します。以前の非侵襲的な方法での8%から向上し、平均単語精度は61%（WER 39%）に達しました。最高の参加者では78%の単語精度を記録し、半数以上の文章で単語エラーが1つ以下でした。このパイプラインは、convolutional encoder、transformer、文字レベルの言語モデルに加えて、fine-tuned LLMsを組み合わせています。精度はデータ量に対して対数線形にスケールします。v1とv2のトレーニングコードはCC BY-NC 4.0の下で公開されています。What is Brain2Qwerty v2? Brain2Qwerty v2は、脳活動を文字、そして単語や文章にマッピングする脳テキストデコーダーです。Metaは、9人のボランティア参加者から得られた約22,000の文章でこれを訓練しました。各参加者は、積極的にタイピングしている間、10時間にわたって記録されました。記録はMEGデバイスから得られます。MEGは、高時間分解能でサンプリングされた、神経活動によって生成される磁場を測定します。このモデルは、文字、単語、および文章レベルの表現を活用しています。この階層的な設計により、より広範な文脈を使用して局所的なエラーを修正できます。重要なのは、これは研究であり、製品ではないということです。このデコーダーは消費者向けデバイスではなく、少数のボランティアグループでテストされました。データはスペインのBCBL（Basque Center on Cognition, Brain and Language）と共同で収集されました。このデータはその研究センターに属します。How the Decoding Pipeline Works 以前の非侵襲システムは、神経イベントを検出するために手作業で作成されたパイプラインに依存していました。Brain2Qwerty v2はそのステップを置き換えます。