Google は、リアルタイムのコンテキスト認識で動作するスマート マウス ポインターである Magic Pointer を発表しました。この機能は、同社の人工知能研究部門であるDeepMindによって5月12日に明らかにされた。このツールはすでにGoogle AI Studioでテストされており、2024年後半に発売予定の新しいAIノートパソコン「Googlebook」に統合される予定だ。
Magic Pointer operates simply.ポインタをわずかに動かすとシステムが起動し、画面のコンテンツをフルコンテキストで読み取り、AI モデルを使用して情報を処理します。専用ウィンドウに限定された AI ツールとは異なり、Magic Pointer はユーザー インターフェイス内で直接動作します。 You don’t need to write long, specific commands.さまざまなコンテンツを選択し、一般的な指示を与えるだけで、AI が状況を理解し、対応するアクションを実行します。
実用的な機能を実証
Magic Pointer のデモでは、スプレッドシートでの使用例が示されました。カーソルを 2 つの列の上に置き、「結合」と言うと、システムは即座にそれらを 1 つの列に統合します。この機能は、画像編集や地図上の位置など、他のコンテキストでも機能します。 DeepMind released the main application scenarios:
- 簡単なコマンドでスプレッドシート内の列を自動的にマージします
- 画像内の複数の要素を素早く選択して編集する
- ヘルパー ウィンドウを使用しないブラウザ統合コンテキスト検索
- Web ページ上で複数のアイテムを選択すると、自動的に製品が比較されます。
- 特定のタスクに対してカーソルによって直接 Gemini をアクティブ化する
Chrome および Gemini との統合
Googleは、Magic PointerはChromeブラウザに統合された人工知能であるGeminiのアクティベーターとしても機能すると説明した。ユーザーが Web ページ上で複数の製品を選択して「比較」と言った場合、Gemini は追加のタブを開かなくても、これらの項目を自動的に比較します。この統合により、一般的なワークフローが簡素化され、反復的なタスクにかかる時間が削減されます。
Chrome ブラウザはこの機能のネイティブ サポートを受け、ユーザーはページ上の直接選択を通じて Gemini の AI 機能をトリガーできるようになります。この対話モデルは、長いテキストのプロンプトに基づく従来のインターフェイスからの脱却を示し、より自然でコンテキストに応じたコマンドのシステムを目指しています。
現在および将来の可用性
Magic Pointer のテストに興味のあるユーザーは、Googlebook の発売を待つ必要はありません。 Google AI Studio でベータ版が利用可能になり、画像編集や地図検索のシナリオで機能を試すことができます。試用版にアクセスすると、新しいラップトップに完全に統合する前に、システムの精度を評価し、フィードバックを提供できます。
Magic Pointer が統合された Googlebook の発売は 2024 年末に予定されています。このマシンは、Apple や Microsoft などの競合他社が独自の統合アシスタントで確立したトレンドに倣い、ネイティブ AI を備えたハードウェアにおける Google の戦略の深化を表しています。 Magic Pointer を差別化要因として位置付けていることは、Google が AI インタラクションを別個のアドオンとしてではなく、デバイスのユーザー エクスペリエンスの中心部分として捉えていることを示唆しています。
