谷歌通过更新的 Gemini API 扩展了其人工搜索功能，该 API 现在在统一的向量空间中同时处理文本和图像。新的多模式检索功能支持对将文本内容与视觉元素相结合的文档进行复杂查询，例如带有图表的 PDF、扫描页面和技术报告。这一进步简化了涉及异构数据合成的工作流程。
这一变化意义重大，因为它消除了以前的限制。用户现在可以通过一次操作从产品手册中提取信息以及书面说明和补充图表。处理多种数据模式的能力减少了碎片化，提高了工程、医疗保健和法律等领域的效率。
元数据过滤准确细化结果
API 引入了对键值元数据的支持，允许您将标签附加到文档以按特定条件优化搜索。示例包括“部门：财务”或“地区：北美”。在拥有巨大存储库的企业环境中，此功能可确保查询仅返回相关结果，从而节省搜索时间并减少信息噪音。
管理不同数据集的组织可以按类别快速定位文档。金融公司可以在几秒钟内按地区过滤报告。律师事务所无需浏览整个数据库即可访问特定的法律文档。元数据过滤作为一种分段工具，使有针对性的搜索大规模可行。
页面级引用提高了可追溯性
另一个亮点是能够识别文档中信息所在的确切页面。当API检索数据时，它不仅返回结果，还指向精确的来源。这对于需要严格验证的任务至关重要。
法律分析师可以确认合同条款的页面。研究人员可以快速交叉验证引用。合规专业人员跟踪检索到的每条数据的来源以供审核。可追溯性消除了歧义并增强了基于人工智能的分析的可靠性。
结构化管道处理多模态数据
Gemini API 遵循有组织的处理流程来集成文本和图像：
- 摄取：加载通过 API 扫描的 PDF、图像和页面
- 分段：将文本分成由标记分隔的块，将图像分成更小的部分
- 嵌入：将文本和视觉数据转换为共享空间中的向量
- 存储：向量在具有搜索系统和元数据的存储库中的持久性
- 查询：通过元数据过滤和页面级引用检索相关片段
即使对于混合格式的复杂文档，这种系统方法也能确保准确的结果。与分段多模式数据的解决方案相比，统一处理简化了开发人员体验并减少了实施时间。
跨多个领域的实际应用
Gemini API 的多模式功能为多个行业开辟了可能性。在健康，可以在一次咨询中检索文本患者记录和诊断图像，从而加速临床决策过程。在工程，图文并茂、详细说明相结合的技术手册可综合查阅。在保险，对包括附加文件和照片的赔偿索赔的分析变得更加灵活。
该部门合法的特别是好处。规格、带注释的图表和分析图表现在是同一搜索的一部分，消除了信息孤岛。从工程规范到医疗报告的任何类型的业务文档的管理都获得了显着的效率。
灵活的定价模式使访问民主化
Google 制定了 API 定价结构，以适应初创公司和大型企业的需求。免费计划提供 1 GB 的总存储空间，让您无需预付费用即可探索资源。每个文件的大小限制为 100 MB。矢量存储和查询时嵌入是免费的，仅对响应生成期间的文档摄取和令牌使用收费。
这种结构使得小型团队和需求不断增长的组织都可以访问 API。初创公司无需大量投资即可构建解决方案原型。随着数据量的增加，老牌公司会扩大成本。
与现有流程简单集成
使用先前版本 Gemini 文件搜索 API 的用户将发现可以无缝过渡到新功能。多模式功能集成到现有工作流程中，干扰最小。无论是管理法律文档、技术手册还是多媒体文件，更新后的 API 都是当前操作的自然扩展，无需重新设计整个系统。