画面を超えて: 仮想現実ゲームが人間の感情を解読する

新しいテクノロジーの時代が到来しており、非言語表現を解釈する能力が重要な差別化要因となります。人工知能 (AI) やさまざまなデバイスが私たちの日常生活にますます存在するようになる一方で、非言語コミュニケーションは依然として人間と機械の間の複雑な障壁となっています。しかし、革新的なビデオ ゲームなどの最近の取り組みにより、この困難を克服する道が開かれています。
ノースイースタン大学の博士課程の学生が、プレイヤーの感情の記録に焦点を当てた、これまでに例のない仮想現実ゲームを開発しました。主な目的は、LGBTQIA+ コミュニティに対する共感を育み、偏見に満ちた世界に立ち向かうヒーローの体験に参加者を没入させることです。ゲーム中に呼び起こされる記憶や感情は、勝利を達成するための重要な報酬として機能します。
他の人の立場に立つことは、意見の相違を克服し、異なる視点を理解し、相互尊重を促進する最も効果的な方法であることは広く認識されています。ほとんどの状況では困難ですが、テクノロジーは没入型エクスペリエンスを作成するための貴重なリソースを提供します。それらは個人を日常の現実から連れ出すだけでなく、現実世界を解読し、よりよく対話できるようにも助けます。
画像には、メタ社 CEO のマーク・ザッカーバーグ氏がスマートグラスを使用している様子が示されています。メタ社は、ユーザーが体験したあらゆる瞬間を記録できる、人工知能を活用した「スーパーセンサー」を搭載したメガネのプロトタイプをテストしているとの報道がある。
この文脈で使用される仮想現実デバイスは、喜び、悲しみ、驚きなどの 6 つの基本的な感情のレパートリーに関連付けられた顔の動きをキャプチャできます。さらに、「嬉しい驚き」、「悲しい怒り」、「恐れと嫌悪感」などの感覚を組み合わせた15の複合感情を特定し、人間の感情の複雑なニュアンスを明らかにしています。
ゲームの名前は Rekindle で、学際的なデザインとメディアの博士課程の学生である Hector Fan によってデザインされました。ファン氏は、このプロジェクトを実行するために、ノースイースタン大学のマーク・シバク教授とキャスパー・ハートベルト教授の支援と協力を頼りにしました。
Rekindle ゲームのストーリーと主人公の現実への没入
リキンドルの物語は、全体主義政府が反体制的または罪深いとみなされる性的アイデンティティの痕跡を根絶するために記憶を操作するディストピア的な未来で展開します。プレイヤーは主人公の役割を果たし、その使命は自分の記憶を取り戻してゲームを進め、最終的にゲームに勝つことです。回収されたこれらの記念品は、ストーリーを進める上で重要なコレクションとして機能します。
それぞれの記憶を発見しながら感情的な反応を記録することで、プレイヤーは物語に深く関わっていくことになります。彼は、日常的に差別に直面している LGBTQIA+ コミュニティの人間の視点を体験しながら、主人公と感情的なつながりを築きます。この方法論は、ゲームを共感を築くための強力なツールに変えます。
グラフィックは、ゲームがノースイースタン大学のユーザーの感情をどのように捉えているかを示しています。 Rekindle の作成者は、Augmented World Expo で公開された紹介記事の中で、パラダイム シフトを強調しています。伝統的に、感情はゲームにおける「入力」として扱われ、プレイヤーは受動的に反応していました。革新的な点は、この概念を逆転させ、プレイヤーの感情が体験の発展に積極的に関与する点にあります。
ゲームのストーリー構造は、収集可能な各「記憶の断片」に対応する感情を積極的に表現するようにユーザーを動機付ける指示を備えて注意深く作成されています。このダイナミックな相互作用は、ストーリーの進行を促すだけでなく、主人公との感情的な絆も強化します。
Rekindle ビデオ ゲームのシーンが 1 枚の画像に掲載されており、ゲームプレイの瞬間が捉えられています。ある特定のセグメントでは、戦闘シーンが 1969 年の歴史的なストーンウォール暴動や、最近 3 月にウエスト ハリウッドで起きた大規模な口論を暗示しています。これらの思い出は収集可能であり、マリオ コインやパックマン ポイントとは異なり、プレイヤーが共感できる状況を表すように設計されています。これらは、LGBTQIA+ コミュニティ内で「文化的に共有される」重要な出来事を引き起こします。
Rekindle の革新的な方法論は、他の無数の技術変数に適応でき、将来の有望なパノラマを切り開きます。その中でテクノロジーは、コマンドやボタンだけでなく、非言語情報を解釈することによって人間を支援し、相互理解を促進します。

仮想現実メガネがゲーマーの感情を分析する方法
仮想現実メガネは、顔の筋肉の動きを識別し、それを「アクション ユニット」(AU)に変換することができます。たとえば、眉を上げたり、目を細めたりすることは、別個の UA とみなされます。この情報はその後、21 の考えられる感情のそれぞれを、相対的な強さを示す 0 から 1 の範囲のスコアで分類するシステムに入力されます。スコア 0 は、その瞬間に特定の感情が完全に存在しないことを意味します。
この研究の開発には、2 つのモデルの仮想現実ヘッドセットが使用されました。 1 つ目は、2023 年にリリースされる Meta Quest 3 で、ビデオ ゲーム デザイン教授の Casper Harteveld が使用しているのが見られます。使用された 2 番目のモデルは、市場で最も最近リリースされたモデルの 1 つである Samsung Galaxy XR です。
次の画像は、Samsung Galaxy XR イマーシブ メガネを示しています。韓国の巨人は昨年このデバイスを発表し、Apple Vision Proの直接の競合製品として位置付けた。このデバイスを使った最近のテストでは、高度なセンサー、カメラ、ハードウェアのおかげで、頭、手、目の動きを正確に追跡し、完全に没入型の体験を提供できることがわかりました。ただし、Rekindle ビデオ ゲームの文脈では、このシステムはプレーヤーの身体的な動きだけでなく、プレーヤーの感情を分析するために特に使用されます。
このモデルは現在米国と韓国でのみ販売されており、価格は 1,799.99 米ドル、つまり約 1,575.89 ユーロです。スペインやその他の国際市場でのこれらのメガネの発売日や入手可能性については、まだ具体的な情報はありません。






