Google、Pixel 10 および Galaxy S26 ラインナップのアプリ向けに新しい Gemini 高度な自動化を発表

Google は、一部のモバイル デバイス上の Gemini アシスタント向けに、新しいマルチステップ タスク自動化機能の展開を開始しました。この新機能により、スマートフォンの所有者がクリックやスクロールごとに手動で介入する必要がなく、人工知能がサードパーティのアプリケーション内で複雑なアクションを直接実行できるようになります。

この新機能は最初はベータ形式で提供され、モバイル テクノロジー市場の最新の最先端モデルに限定されます。この実装の第 1 段階に含まれるデバイスには、これらの機能専用の処理アーキテクチャを備えた Samsung Galaxy S26 シリーズのデバイス全体に加え、Google Pixel 10、Pixel 10 Pro、Pixel 10 Pro XL の各バージョンが含まれます。

正式な発売は米国と韓国で同時に行われ、世界的な発売前に激しい使用シナリオでツールの安定性をテストするために戦略的に選ばれた市場が選ばれました。システムのアクティブ化は簡単で、デバイスのサイドボタンを長押しした後に詳細な音声コマンドを入力するだけです。

日常生活で複雑なコマンドを実行する

このシステムの主な革新は、さまざまな画面、メニュー、ダイアログ ボックスを介した連続的なナビゲーションを必要とするリクエストを解釈して実行する機能にあります。デジタル アシスタントは、選択したアプリケーションのインターフェイスを一時的に制御して、ある地点から別の地点への私的移動のリクエストや、配達プラットフォームでの特定の食事の注文などの実際的なアクションを実行します。

実行プロセス中に、人工知能はグラフィカル インターフェイスで利用可能なオプションを分析し、アドレス フォームに記入し、ユーザーの過去の好みに基づいて項目を選択します。このシステムにはセキュリティ ロックがあり、金融​​取引を完了したり注文を確認したりする前に、操作が自動的に一時停止され、画面上で最終承認が要求されます。

隔離された仮想環境での運用

個人データの整合性を確保するために、Gemini はスマートフォンのオペレーティング システムの他の部分から完全に分離された安全な仮想ウィンドウ内ですべての自動化を実行します。このカプセル化方法により、サードパーティ アプリケーションの閲覧中に人工知能が不正な情報にアクセスしたり、プライベート ドキュメントを読み取ったり、重要なデバイス設定を変更したりすることが防止されます。

アシスタントは最初の音声コマンドで提供された指示に厳密に従い、その動作を個人が要求したタスクの範囲のみに限定します。ユーザーがエスプレッソの購入を要求した場合、ツールは対応するコーヒーショップ アプリのみを開き、デバイスのメモリに存在するテキスト メッセージ、仕事用メール、写真ギャラリーを完全に無視します。

この機能用に開発されたソフトウェア アーキテクチャにより、プロセスがバックグラウンドで、またはメイン画面に重ねられた半透明のインターフェイスを通じて目に見えないように実行されます。これにより、通常の電話使用の流れが突然中断されることがなくなり、注文が処理されている間も記事を読んだり、ビデオを見たりすることができます。

テスト段階の互換性のあるアプリケーション

公開テストのこの初期段階では、この機能は何百万もの消費者の日常業務の一部であるオンデマンド サービスの特定のカテゴリをカバーしています。公式立ち上げサポートには、DoorDash、Grubhub、Uber Eats などの人気のフードデリバリー プラットフォームが含まれており、音声だけで日常的な注文を簡単に繰り返すことができます。

都市モビリティ分野では、このシステムは Uber および Lyft アプリケーションとネイティブに統合され、都市内の移動を最適化します。ユーザーは自然言語で希望の目的地を入力するだけで、アシスタントが地図を開き、正確な住所を入力し、利用可能な車両カテゴリを比較し、最終的な価格見積もりを提示して承認を得ることができます。

家庭用品の場合、Instacart サービスとの統合により、以前の買い物リストや特定のレシピに基づいて仮想ショッピング カートを迅速に組み立てることができます。人工知能は、要求された製品を識別し、店舗のカタログから最適なオプションを検索し、選択した施設で特定の商品が在庫切れの場合に実行可能な代替品を提案することもできます。

韓国市場では、言語モデルをさまざまな消費者文化や地域のインターフェースに適応させるため、ベータ段階で需要の高いローカル サービスが含まれます。モビリティ用の Kakao T や食品用の Kaemin など、国内で広く普及しているアプリケーションは、テストが現地住民の実際の使用状況を反映していることを確認するために互換性リストに含まれています。

ローカル処理とハードウェアの最適化

この機能が Pixel 10 および Galaxy S26 ライン向けに一時的に独占的に提供されるのは、人工知能モデルをデバイス上で直接処理するために高度に最適化されたハードウェアが不可欠であるためです。これらのスマートフォンには、クラウド サーバーだけに依存せずにアプリの自律ナビゲーションに必要な膨大な計算負荷を処理できる最先端のニューラル プロセッシング ユニットが搭載されています。このハイブリッド処理アプローチにより、アシスタントの応答の遅延が大幅に短縮され、モバイル インターネット接続が不安定または遅い状況でも、タスクが問題なくスムーズに実行されることが保証されます。

ハードウェア メーカーとオペレーティング システム開発チーム間の技術提携により、仮想アシスタントとモバイル デバイスの物理層が緊密に統合されました。タスクをローカルで実行すると、日々の自動化の速度が向上するだけでなく、インターネット上でデータ パケットを継続的に転送する必要があった古いプロセスと比較してバッテリー消費も削減されます。オペレーティング システムは所有者の使用パターンを識別し、RAM リソースを動的に割り当てることができるため、アシスタントがバックグラウンドで複雑なコマンドを実行するために静かに動作している間、電話機は最高のブラウジング パフォーマンスを維持できます。

アクションの継続的な制御と監視

インターフェイスを操作するために人工知能に高度な自律性が与えられているにもかかわらず、システム アーキテクチャは、デバイス所有者がデジタル操作のすべての段階を絶対的に制御できるようにすることを目的として設計されました。複雑なタスクを実行している間、ユーザーはいつでも、カタログから特定のレストランを選択したり、フォームに配送先住所を入力したりするなど、そのミリ秒間にアシスタントが実行したアクションを正確に詳細に示す視覚的な通知とリアルタイムのアラートを受け取ります。ツールがプロセス中にあいまいさ（ターゲットの場所の近くに同じ店舗の 2 つの支店があるなど）に遭遇した場合、自動化フローはすぐに停止され、口頭での説明または確認のためのタップを求めるパネルが画面に表示されます。さらに、オーバーレイ インターフェイスには常に表示される緊急キャンセル ボタンがあり、自動化を即座に中止し、安全な仮想ウィンドウを閉じて、画面の手動制御に戻すことができます。この厳格な監督層は、誤って購入したり、輸送車両を間違った場所に送ったり、不都合や経済的損失を引き起こす可能性のあるその他の望ましくない行為を回避するために不可欠であり、テクノロジーがルーチンの促進者として厳密に機能し、人間による適切な監督なしに独立したエージェントとして機能することが決してないことを保証します。

地理的拡大と新しい言語

現在利用できるのは米国と韓国の市場に限定されており、ビジュアル ナビゲーションとコンテキスト理解アルゴリズムを継続的に改善するためのリアルタイム ラボとして機能します。この機能の新しい国への拡大と他の言語のサポートの組み込みは、このテスト段階で得られた安定性の結果と、さまざまな地域のアプリケーション レイアウトへのシステムの適応に直接応じて、今後数か月かけて段階的に行われます。

モバイル インタラクション パラダイムの変化

モバイル エコシステムでグラフィカル インターフェイスを操作できる自律エージェントの導入は、人々がスマートフォンを操作する方法における大きな技術的進化を表しています。画面の繰り返しタップに基づく基本的なコマンドから、具体的なアクションを生成する包括的な口頭指示への移行により、日常のデジタル ライフにおける官僚的なタスクに費やす時間が削減されます。

サードパーティ アプリケーションを独立して操作するツールの開発に焦点を当てていることは、消費と生産性に適用されるニューラル ネットワークの成熟を示しています。技術的な期待としては、アシスタントが将来のアップデートでさらに複雑で相互接続されたルーチンを管理できるようになり、都市生活のための真の自動コマンドセンターとしてプレミアムデバイスが統合されることが期待されています。