Appleが2026年9月に提供するSiri AIは画面認識やアプリ間連携を含む6つの支援機能を端末上で直接実行する

Appleは2026年9月、生成人工知能の処理基盤を組み込んだSiri AIに関して、端末内の作業効率を高める6つの基幹機能を公表した。利用者が日常的に扱う情報や画面上の表示を直接解析し、複数の作業工程を自動化する仕組みをiPhoneなどの対応機器へ順次配備する。

技術刷新は広範囲に及ぶ。

表示中の内容を即座に判別して処理する画面認識

利用者が開いているアプリケーションの表示内容を認識する機能は、画面上の写真やメッセージに含まれる住所や日程を即座に識別して後続の操作へ引き渡す。手動で文字を複写して別の入力欄へ移動する作業を省き、連絡先に新規登録する作業や地図上で位置を確認する処理を単一の指示で完了できる。Siri AIは表示領域内の視覚情報を保持したまま、指定された宛先へ関連データを添付して送信する手順も同時に進める。

端末の画面構造を直接解析するアルゴリズムは、プライバシー保護の観点から外部サーバーへ送信せずハードウェア内部で完結させる。この処理方式によって通信環境が不安定な場所でも遅延を生じさせずに動作する。

複数ツールをまたいで連続実行するアプリ間連携

写真ライブラリから特定の人物が写る画像を抽出して編集ツールに送るなど、独立したアプリケーション同士を連携させる制御が標準で動作する。従来の音声指示では各ソフトウェアの起動に限定されていた動作が、内部の個別コマンドを連結して実行する形式へと拡張された。複数の開発元が配布するサードパーティ製ツールに対してもAPIを介して同様の操作体系が適用される。

個人データから文脈を読み解く情報検索とテキスト入力

受信した電子メールや登録済みの予定表を照合し、過去のやり取りに基づいた最適な回答を作成する文脈把握機能が稼働する。フライト番号や荷物の配送日程といった断片的な記録を探し出し、利用者の現在位置と移動時間を計算して出発時刻を提示する。音声を発することが困難な公共空間に配慮し、画面下部のダブルタップで呼び出せる文字入力専用の操作窓口も常設された。入力形態の切り替えは会話の文脈を失わずに維持される。

日常の利用履歴から関連データを整理する機能は以下の要素を含む。

• 送受信したメッセージやメールの履歴から約束の日時や場所を抽出する文脈インデックス
• 端末の画面を叩くだけで音声を使わずに指示を入力できる専用テキストインターフェース
• Apple製品の設定項目や操作マニュアルを検索して変更手順を案内する機能解説システム

Apple製デバイスの機能設定に関する問い合わせに対しては、公式サポート文書のデータベースを照合して変更画面へ直接誘導する。利用者が設定項目の階層を辿る手間を省き、画面上で該当する切り替えスイッチを即座に提示する設計が採用された。OSの基本設定だけでなく標準搭載された各種ツールの使い方全般にも対応する。

外部AIツールの接続と複雑な要約処理の分担

標準の端末内処理で対応しきれない高度な専門知識の検索や長文文書の要約には、ChatGPTなどの外部生成AIを呼び出す選択肢が用意された。外部ツールへ通信を中継する際は、事前に送信内容の確認画面を表示して利用者の明示的な許可を求める安全機構が義務付けられている。送信されるデータは外部サービスの学習用途には利用されない。

外部サーバーとの通信は暗号化された経路を経由する。