谷歌推出了 Magic Pointer，这是一款在实时环境中工作的智能指针，并使用人工智能来识别屏幕上的内容。该工具由该公司的人工智能研究部门 DeepMind 开发，并于 5 月 12 日发布。该系统已经在 Google AI Studio 中进行测试，并将集成到计划于 2024 年底推出的新 Googlebook 笔记应用程序中。
魔术指针的工作原理
魔术指针的操作方式简单直观。当用户稍微移动指针时，系统就会被激活，并使用人工智能处理信息来读取屏幕内容。与仅限于特定窗口的其他 AI 工具不同，Magic Pointer 直接在用户界面中工作，无需长的特定命令。用户只需选择不同的内容并提供一般指令，让人工智能了解上下文并采取相应的行动。
实用功能展示
在魔术指针测试中，展示了电子表格中的使用示例。当光标位于两列上并且用户说“合并”时，系统会自动将它们合并为一列。此功能还可以在其他环境中运行，例如图像编辑和地图搜索。该工具在多种应用中展示了多功能性。
- 使用简单的命令合并电子表格中的列。
- 快速选择和编辑图像中的多个元素。
- 无需使用浏览器帮助窗口即可搜索网页上的项目。
- 在购物网站上选择产品时自动比较产品。
- 通过光标直接激活 Gemini 来执行特定任务。
与 Chrome 和 Gemini 集成
谷歌解释说，Magic Pointer 将作为 Gemini 的推动者，Gemini 是集成到 Chrome 浏览器中的人工智能。当用户在页面上选择多个产品并说“比较”时，Gemini 会打开一个附加选项卡并自动比较这些项目，而无需打开新选项卡。这种集成简化了常见的工作流程，节省了重复任务的时间。对话模型的开发是为了摆脱基于长提示的传统界面，寻求更自然和上下文化的命令。
Chrome浏览器将获得对此功能的原生支持，允许用户通过在页面上直接选择来触发AI功能。这种方法代表了人们与数字助理交互方式的演变，使过程更加流畅并且更少依赖于复杂的指令。
目前的可用性和未来的前景
有兴趣测试 Magic Pointer 的用户无需等待 Googlebook 的推出。测试版现已在 Google AI Studio 上发布，您可以在图像编辑和地图搜索场景中试用该工具。访问试用版时，系统会评估其准确性并提供改进反馈，然后再完全集成到新的笔记应用程序中。
Googlebook计划于2024年底推出，标志着Magic Pointer正式进入市场。这一举措反映了谷歌紧随苹果和微软确立的趋势，深化其在硬件集成人工智能助手领域的战略。 Magic Pointer 作为差异化因素的地位表明，谷歌正在将用户体验集中在与人工智能的自然交互上，巩固人工智能作为现代设备核心元素的作用。