谷歌发布了 Magic Pointer，这是一款具有上下文感知功能的实时智能鼠标指针。该工具由该公司人工智能研究部门 DeepMind 开发，并于 5 月 12 日公开披露。该系统已在 Google AI Studio 处于测试阶段，并将集成到计划于 2024 年底推出的新 Googlebook 人工智能笔记本中。
魔术指针的工作原理
魔术指针的操作方式简单直观。当用户在屏幕上移动指针时，系统会自动激活并读取完整上下文中的视觉内容。人工智能模型处理捕获的信息并执行相应的操作。与仅限于专用窗口的其他人工智能工具不同，Magic Pointer 直接在用户界面中工作，无需长而特定的命令。用户只需选择不同的内容并提供一般指令，以便人工智能了解情况并采取适当的行动。
实用功能展示
在魔术指针测试中，提供了电子表格中的使用示例。当光标位于两列上并且用户说“合并”时，系统立即将它们合并为一列。该功能还可以在其他环境中运行，例如图像编辑和地图搜索。 DeepMind发布了该资源的主要应用场景：
- 使用简单的命令自动合并电子表格中的列。
- 快速选择图像中的多个元素进行编辑。
- 在浏览器中搜索而不使用辅助窗口。
- 选择商品时自动比较网页上的商品。
- 通过光标直接激活 Gemini 以执行特定任务。
与 Chrome 和 Gemini 集成
谷歌解释说，Magic Pointer 是 Gemini 的推动者，Gemini 是集成到 Chrome 浏览器中的人工智能。当用户在页面上选择多个产品并说“比较”时，Gemini 会打开一个附加选项卡并自动比较这些项目。这种集成简化了常见工作流程并减少了重复性任务所花费的时间。 Chrome浏览器将获得对此功能的原生支持，允许用户通过在页面上直接选择来触发人工智能功能。
对话模型是基于长文本提示开发的，展示了相对于传统界面的演变。该系统寻求在环境中更加自然，远离人工命令并转向更直观的交互。这种方法代表了谷歌创建一个自然适应用户工作流程的命令系统的目标。
目前的可用性和未来的前景
对 Magic Pointer 感兴趣的用户无需等待 Googlebook 的推出。 Beta 版本现已在 Google AI Studio 上发布，允许在图像编辑和地图搜索场景中进行测试。当访问试用版时，系统会评估该工具的准确性，并在完全集成到新笔记本电脑之前提供改进反馈。 Googlebook计划于2024年底推出，巩固谷歌在硬件与集成人工智能方面的战略。
Magic Pointer标志着谷歌在硬件嵌入式人工智能助手领域战略的深化。苹果和微软等公司已经通过自己的集成助手设定了类似的趋势。谷歌的定位表明，原生人工智能笔记本电脑市场的竞争非常激烈。 Magic Pointer 的与众不同之处在于它集中人工智能交互的方法，而不是作为一个单独的工具，而是作为设备上用户体验的重要组成部分。
