GPT-4，作为目前最强大的通用语言大模型，引发了广泛关注。然而，圣达菲研究所的科研人员通过严谨的定量研究方法发现，GPT-4在推理和抽象方面与人类水平存在较大差距，挑战着从GPT-4水平发展出超级智能的艰巨任务。
GPT-4的辉煌与疑虑
一经发布，GPT-4以其在各种任务上的卓越表现成为备受瞩目的焦点。然而，随之而来的疑虑也如影随形：GPT-4是否代表了强人工智能（AGI）的来临？它是否预示着人工智能将取代人类的那一天？
Twitter上的投票显示，对此存在不同观点，其中一些质疑主要集中在GPT-4的有限推理能力和任务特定的泛化上。
圣达菲研究所的研究
最近，圣达菲研究所的科研人员系统性地对比了人类与GPT-4在推理和抽象泛化方面的差距。通过论文链接，他们对GPT-4的文本版和多模态版在抽象推理能力方面进行了ConceptARC基准测试评估，结果显示GPT-4仍然与人类存在较大的差距。
ConceptARC测试的设计
ConceptARC基于ARC，其中ARC是一组包含1000个手动创建的类比谜题的任务，每个谜题都包含演示和测试输入网格。测试者的任务是归纳演示的基础抽象规则，并将该规则应用于测试输入，生成一个经过变换的网格。
改进后的ConceptARC包含480个任务，涵盖特定核心空间和语义概念的系统变化，强调抽象推理的核心。这些概念包括Top和Bottom、Inside和Outside、Center、Same和Different等，每个任务以不同的方式实例化该概念，并具有不同程度的抽象性。
GPT-4的测试结果
在对纯文本的GPT-4和多模态的GPT-4V进行测试时，研究人员发现GPT-4在480个任务中的准确率远远低于人类水平。即使在对GPT-4的纯文本版本使用更丰富的提示进行评估时，其准确率仍然无法与人类相提并论。而在多模态实验中，GPT-4V的性能甚至明显低于仅文本情况。
网友分析与展望
有网友指出，大型语言模型的基准测试存在一定的问题，因为测试方式可能未能正确引导模型进行逻辑推理，使其陷入重新生成训练数据或提供与逻辑不完全发展相关的最接近答案的错误模式。
研究人员表示，为了提升GPT-4和GPT-4V在抽象推理能力方面的表现，可能需要尝试其他提示或任务表示方法。然而，对于大型模型是否能达到人类水平，目前仍然是一项艰巨的任务，充满了未知和挑战。
