随着各大模型的纷纷出击，AI技术的升级似乎让上下文窗口变得越来越庞大。然而，在进行一项极限测试时，发现大部分人并未正确使用这些模型，未能充分发挥AI的潜力。这引发了对AI在真实场景中准确找到关键信息的质疑，而颜色越红则代表AI犯错越多。
测试不尽如人意
默认情况下，一些先进的大模型如GPT-4-128k和最新发布的Claude2.1-200k，在特定测试中表现并不理想。然而，在Claude团队的介入下，他们提供了一个简单的解决方案，通过在回答的开头添加一句话，将测试成绩从27%直接提升到98%。
改变AI回答的开头
对于测试者来说，关键在于让AI在回答的开头先声明：“Here is the most relevant sentence in the context:”（这就是上下文中最相关的句子：）。这一简单的改变使得AI能够更精准地回答问题，如同在大海中找到针一般。
干草堆里找针实验
作者Greg Kamradt在进行这项测试时，耗费了至少150美元的个人经费。幸运的是，在测试Claude2.1时，Anthropic公司提供了免费额度，免去了额外开销。测试选用了YC创始人Paul Graham的218篇博客文章作为测试数据，通过在不同位置添加特定语句，测试GPT-4和Claude2.1在不同上下文长度和文档位置下的表现。
AI公司自我解决方案
Claude背后的Anthropic公司分析后发现，AI通常不愿回答基于文档中单个句子的问题，特别是当这个句子是后来插入的，与整篇文章关系不大时。解决方案在于在回答开头添加一句话：“Here is the most relevant sentence in the context:”来规遍AI，要求其在回答中考虑到这个句子。
不同AI公司的尝试
国内的大模型公司也对这项测试产生了兴趣，试图找到让自家大模型通过测试的方法。月之暗面Kimi大模型团队也测试出了问题，但提供了不同的解决方案，取得了良好的成绩。这表明，在修改用户提问Prompt方面比在回答中添加一句话更容易实现，尤其是在直接使用聊天机器人产品的情况下。
实验结果显示，这一测试在一定程度上存在局限性，不同的AI模型可能需要不同的方法。Anthropic公司表示将持续训练Claude，使其更好地适应此类任务。同时，对于API调用时要求AI以指定开头回答等技巧，也在AI应用中发挥了不小的妙用。在AI领域的不断创新中，我们有望看到更多模型不断优化，以更好地服务用户需求。
