小讯AIGC

这项由Google Research、Google DeepMind、Google Cloud以及Kaggle联合开展的重量级研究发表于2024年12月，研究团队包括Aileen Cheng、Alon Jacovi、Amir Globerson等数十位顶尖研究员。他们共同推出了名为FACTS（Factuality Assessment for Contemporary Text Synthesis）的全新评估基准套件，这是迄今为止最全面的AI事实准确性评估体系。有兴趣深入了解的读者可以通过arXiv:2512.10791v1查询完整论文。

在人工智能快速发展的今天，大型语言模型就像一个知识渊博但有时会胡说八道的朋友。虽然它们能够回答各种问题，写出流畅的文章，但却经常会编造一些看似合理实则错误的信息。这种现象被研究者称为"幻觉"问题，就像一个健谈的人有时会不小心说出一些并非事实的话语，让听者难以分辨真假。

为了解决这个问题，Google的研究团队开发了一套全新的评估体系，就像为AI设计了一场全方位的"事实核查考试"。这场考试包含四个不同的测试科目，每个科目都专门检验AI在特定情况下处理事实信息的能力。研究团队发现，即使是目前最强的AI模型，在这套全新的测试中也只能达到69%的平均准确率，这意味着还有很大的改进空间。

这项研究的意义就像为汽车工业制定了全面的安全测试标准一样重要。在AI技术日益融入我们生活的今天，确保AI提供准确可靠的信息变得至关重要。无论是帮助学生写作业，还是协助医生查阅资料，甚至是为企业决策提供信息支持，AI的事实准确性都直接影响着结果的可靠性。

一、FACTS基准的四大测试维度

FACTS基准就像一个全科医生的综合体检，包含四个不同角度的专项测试。每个测试都像体检中的不同项目一样，专门检查AI在特定能力方面的表现。

第一个测试叫做FACTS多模态测试，就像考察一个人能否准确描述眼前看到的画面。研究团队给AI展示各种图片，然后问它关于图片内容的问题。这不仅要求AI能够"看懂"图片，还要结合它已有的知识来回答问题。比如给AI看一张火车的照片，不仅要问它看到了什么，还会问这种型号的火车是什么时候制造的。这种测试包含约1500个问题，涵盖了从日常生活场景到专业图表的各种类型。

第二个测试是FACTS参数化测试，专门检验AI对世界知识的掌握程度。这就像一场百科知识竞赛，AI必须仅凭自己"脑中"储存的知识来回答问题，不能借助任何外部工具。研究团队精心设计了2104个问题，这些问题都是用户在现实中真正关心的，同时又具有一定难度。为了确保测试的挑战性，研究团队采用了一种巧妙的筛选方法：他们先用几个开源AI模型来尝试回答这些问题，只保留那些没有任何模型能正确回答的问题。这确保了测试不会因为问题太简单而失去意义。

第三个测试叫做FACTS搜索测试，模拟的是AI在能够使用搜索工具时的表现。这就像考察一个人在图书馆或互联网上查找信息并整理答案的能力。测试包含1884个问题，这些问题都需要通过搜索才能找到准确答案。研究团队特别关注那些需要多步推理的复杂查询，比如"创作《黑道家族》的编剧写过的所有电影中，哪一部发行得最早"这样的问题，需要AI先搜索找到编剧是谁，再搜索他的作品列表，最后确定发行时间。

第四个测试是FACTS文档理解测试的升级版本，主要检验AI能否准确地从给定文档中提取信息并回答问题。这就像考察学生阅读理解能力，要求AI必须严格按照文档内容来回答，不能添加任何文档中没有的信息。研究团队特别注重检测AI是否会"画蛇添足"，即添加一些看似合理但实际上文档中并未提及的内容。

二、精密的评估机制设计

为了确保测试结果的准确性和公正性，研究团队设计了一套精密的评估机制，就像建立了一个多重把关的质量检测体系。

在多模态测试中，研究团队采用了一种双重评判机制。他们首先让人类专家为每个问题创建详细的评分标准，就像为每道考试题制定标准答案一样。这些标准答案不是简单的对错判断，而是包含了所有相关事实的详细清单。比如对于一张火车图片的问题，标准答案会列出火车的型号、制造年份、当前位置等所有重要信息，并标明哪些是"必需知道的核心事实"，哪些是"有用但非必需的补充信息"。

然后，研究团队训练了一个专门的AI评判员来检查其他AI的答案。这个AI评判员需要做两个重要判断：第一，检查答案是否包含了所有必需的核心事实；第二，检查答案中是否包含任何与图片或已知事实相矛盾的错误信息。只有同时满足这两个条件的答案才被认为是准确的。

为了验证这套自动评判系统的可靠性，研究团队进行了大量的人工验证工作。他们让人类专家对同样的问题进行评判，然后比较人工评判和自动评判的结果。结果显示，自动评判系统与人类专家的判断具有很高的一致性，覆盖率评判的相关系数达到0.64，矛盾性检测的F1分数达到78.2，这表明自动评判系统是可靠的。

在参数化测试中，研究团队采用了一种更加严格的评分方式。他们使用强大的AI模型作为评判员，为每个答案生成三次独立的评分，然后取平均值作为最终分数。这种方法不仅考虑答案的准确性，还会识别AI是否在不确定时选择了回避回答，这是一种更加诚实的做法。比如，如果AI不知道某个问题的答案，选择说"我不知道"而不是瞎猜，这在某种程度上也是值得鼓励的行为。

在搜索测试中，评估变得更加复杂，因为需要考虑AI使用搜索工具的整个过程。研究团队不仅关注最终答案的准确性，还分析AI进行了多少次搜索，每次搜索的关键词选择是否合理，以及如何整合搜索结果形成最终答案。他们发现，最优秀的AI模型往往不是搜索次数最多的，而是能够用较少但更精准的搜索找到正确答案的那些。

三、令人深思的测试结果分析

测试结果揭示了当前AI技术发展的真实状况，就像一面清晰的镜子反映出各种AI模型的真实能力水平。

在整体排名中，Google自家的Gemini 3 Pro模型表现最佳，平均得分达到68.8分，但即使是这个最高分也意味着仍有约30%的错误率。紧随其后的是Gemini 2.5 Pro（62.1分）和OpenAI的GPT-5（61.8分）。这些分数看起来可能不够理想，但考虑到测试的高难度，这样的表现已经相当不错了。

更有趣的是，不同AI模型在各个测试项目中表现出明显的特色差异。Gemini系列模型在多模态测试中显示出"宁可多说也不漏说"的特点，它们倾向于提供更加详细和全面的答案，即使有时可能会包含一些不够精确的信息。相比之下，GPT系列模型则表现出"精准至上"的特点，它们的答案通常更加谨慎和准确，但有时可能会遗漏一些重要信息。

在参数化测试中出现了一个特别有趣的现象：一些AI模型开始学会了"知之为知之，不知为不知"的智慧。比如GPT-5和Claude系列模型，当遇到不确定的问题时，它们更倾向于承认自己不知道，而不是强行给出可能错误的答案。这种"诚实的无知"在某些情况下比错误的"自信"更有价值。

搜索测试的结果揭示了AI使用工具能力的差异。表现最好的Gemini 3 Pro平均只需要3.39次搜索就能找到答案，而一些其他模型需要进行超过4.5次搜索。这就像有些人能够用很少的关键词就在搜索引擎中找到想要的信息，而另一些人则需要尝试很多次不同的搜索词汇。

在文档理解测试中，结果显示AI在保持事实准确性和提供完整信息之间仍然存在平衡难题。一些AI为了避免说错话，会给出过于简短的答案，虽然没有错误但也没有充分回答用户的问题。另一些AI则试图提供详细答案，但可能会不小心添加一些文档中没有的信息。

四、技术创新与方法学贡献

这项研究不仅是一次简单的AI能力测试，更像是为整个AI评估领域建立了一套全新的标准和方法。

研究团队在数据收集方面采用了独创的"对抗性筛选"方法。他们不是随机选择问题，而是故意挑选那些能够"难倒"现有AI模型的问题。这个过程就像一个不断升级的挑战游戏：首先用几个不同的AI模型来尝试回答候选问题，然后只保留那些所有模型都答错的问题。这确保了测试始终具有挑战性，不会因为AI能力的提升而变得过时。

在多模态测试中，研究团队创新性地结合了视觉理解和知识推理两个方面。他们不满足于简单的图片描述任务，而是设计了需要将图片信息与背景知识相结合的复杂问题。比如，给AI看一张特定型号机车的图片，不仅要求它识别出这是什么，还要回答这个型号是什么时候设计的、在哪里制造的等需要专业知识的问题。

在评判系统的设计上，研究团队解决了一个长期困扰AI评估的难题：如何自动化地评估开放性答案的质量。传统的方法要么过于严格（只接受完全匹配的答案），要么过于宽松（容易被钻空子）。他们开发的双重评判机制既检查答案的完整性，又检查其准确性，就像有两个检查员分别负责"有没有遗漏重要信息"和"有没有说错话"。

研究团队还特别关注了AI评估中的"游戏化"问题。他们发现一些AI可能会通过给出极其简短的答案来避免犯错，虽然这样可以获得较高的准确性分数，但实际上没有为用户提供有用的信息。为了解决这个问题，他们引入了"响应充分性"评估，确保AI不仅要说得对，还要说得足够详细和有用。

在搜索测试的设计中，研究团队模拟了真实的信息检索场景。他们使用统一的搜索API确保所有AI模型面对完全相同的信息环境，这就像让所有参赛者在同一个图书馆里查找资料，确保测试的公平性。同时，他们还分析了AI的搜索策略，记录每次搜索的关键词选择和结果利用方式，为理解AI的推理过程提供了宝贵数据。

五、深远影响与未来展望

FACTS基准的推出标志着AI评估进入了一个新的时代，其影响就像GPS系统的出现改变了导航方式一样深远。

对于AI开发者而言，FACTS提供了一个清晰的改进方向。以前，开发者可能只是笼统地知道自己的AI"有时会说错话"，但现在他们能够精确地了解问题出现在哪些具体场景中。比如，某个AI可能在处理图片相关问题时表现不错，但在回答需要多步推理的搜索问题时就会遇到困难。这种精细化的诊断信息对于针对性改进AI系统具有重要价值。

对于AI应用的普通用户来说，FACTS基准提供了一个客观的参考标准。当面对多种AI产品选择时，用户可以根据这些测试结果来判断哪个AI更适合自己的需求。如果用户主要需要AI帮助处理文档和资料，那么在文档理解测试中表现优异的AI可能更合适；如果用户需要AI帮助搜索和整理信息，那么在搜索测试中得分较高的AI会是更好的选择。

研究团队特别注重基准的长期可持续性。他们将测试数据分为公开和私有两部分，公开部分允许开发者了解测试标准并进行初步优化，私有部分则用于正式评估，防止AI模型"刷分"现象。这种设计就像考试系统一样，提供样题供学习参考，但正式考试题目保持神秘，确保评估结果的真实性。

基准测试还揭示了AI技术发展中的一些重要趋势。研究发现，简单地增加模型规模并不能解决所有问题，不同类型的能力需要不同的技术方法来提升。比如，提高图像理解能力可能需要更好的视觉处理技术，而提高事实准确性可能需要更好的知识整合机制。

更重要的是，FACTS基准为AI安全性研究提供了重要工具。在AI越来越多地参与重要决策的今天，确保AI提供准确可靠的信息变得至关重要。无论是医疗诊断、法律咨询还是教育辅导，AI的事实准确性都直接关系到结果的可靠性和用户的安全。

展望未来，研究团队计划持续扩展和改进FACTS基准。他们正在考虑添加更多的测试维度，比如处理快速变化信息的能力、多语言环境下的事实准确性，以及在专业领域（如医学、法律）的表现等。随着AI技术的不断发展，评估标准也需要同步进化，确保始终能够准确反映AI的真实能力水平。

这项研究也为其他研究者提供了宝贵的方法学参考。FACTS基准展示了如何设计全面、公正、可持续的AI评估体系，这些方法可以被应用到其他AI能力的评估中。从某种意义上说，FACTS不仅仅是一个测试工具，更是AI评估方法学的一次重要创新。

说到底，FACTS基准的真正价值在于为AI技术的健康发展提供了一个重要的指南针。它不仅告诉我们现在的AI能力水平如何，更重要的是为未来的改进指明了方向。随着越来越多的AI系统接受FACTS测试，我们有理由期待AI在事实准确性方面的显著提升，最终让AI成为我们更可靠、更值得信赖的智能伙伴。对于关注AI技术发展的读者，可以通过访问Kaggle平台上的FACTS基准页面来了解最新的测试结果和技术进展。

Q&A

Q1：FACTS基准包含哪些测试内容？

A：FACTS基准包含四个测试维度：多模态测试检验AI描述图片的准确性，参数化测试考察AI的世界知识储备，搜索测试评估AI使用搜索工具的能力，文档理解测试检验AI从给定文档中准确提取信息的能力。每个测试都针对AI在特定场景下的事实准确性表现。

Q2：为什么最好的AI模型在FACTS测试中只能达到69%的准确率？

A：FACTS测试故意设计得具有挑战性，问题都经过筛选，只保留那些能够"难倒"现有AI模型的内容。这确保了测试的前瞻性和实用性。69%的得分实际上已经相当不错，但也说明AI在事实准确性方面还有很大改进空间。

Q3：普通用户如何利用FACTS基准的测试结果？

A：普通用户可以根据FACTS测试结果选择最适合自己需求的AI产品。比如需要处理图片相关任务时可以选择在多模态测试中表现优异的AI，需要搜索整理信息时可以选择在搜索测试中得分较高的AI，从而获得更准确可靠的服务体验。