Googleは、指差しのジェスチャーと視線の方向からユーザーの質問を認識するARメガネの特許を出願した。出願は2026年9月に行われ、15月に公開された。このシステムは音声コマンドやタッチを必要とせず、対象を指差すだけでよい。
2つのニューラルネットワークモジュールが連携して動作する。1つ目は手の動き、指の位置、視線の方向をテキストのクエリに変換する。2つ目は答えを見つけ、視野内の実在の物体に「貼り付けられた」仮想ラベルや線の形で表示する。メガネはジェスチャーの持続時間、指までの距離、周囲の物体の文脈を考慮する。
明細書の例：ルーターを設定する際、ユーザーがポートを指差すと、メガネは接続手順をその場でデバイス上に直接表示する。このシステムはラベルの文字を読み取ったり、リスクを警告したりすることもできる。たとえば、コーヒーの入ったカップがハードディスクのそばに置かれている場合などだ。さらに、ジェスチャーを「これらの部品をどうつなぐの」といった短いフレーズと組み合わせることもできる。
特許には、データをクラウドに送信する前に顔や書類をぼかすためのオンデバイス処理についての言及がある。これによりプライバシー上のリスクが軽減される。ただし、特許は製品の登場を保証するものではない。Googleは定期的にアイデアを登録しており、その多くは量産には至っていない。
この特許はAndroid XRの方向性とGeminiの統合を補完するものだ。以前、GoogleはI/Oで高度なAIを搭載したメガネのプロトタイプを披露したが、この機能を備えたモデルの発売時期については具体的な予定はまだない。競合のMetaやAppleも、ARメガネ向けの同様のソリューションの特許を積極的に取得している。
この特許は余計な手順を省いた便利な操作方法を説明しているが、実際の精度や日常使用での使いやすさはまだ検証されていない。
