根据LMSYS Org最新公布的基准测试报告，Claude-3以微弱优势超越了GPT-4，成为了Chatbot Arena平台上的“最佳”大语言模型。这一消息引起了业界的广泛关注。
LMSYS Org简介
LMSYS Org是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的研究组织。该机构推出了Chatbot Arena，这是一个针对大型语言模型（LLM）的基准平台，以众包方式匿名、随机对抗测评大模型产品。
Chatbot Arena的评估方法
Chatbot Arena使用Elo评分系统，通过用户投票产生评分结果。系统每次会随机选择两个不同的大模型机器人和用户聊天，并让用户在匿名的情况下选择哪款大模型产品的表现更好一些，以保证评估的相对公正性。
GPT-4的统治与Claude-3的崛起
Chatbot Arena自去年上线以来，GPT-4一直稳居头把交椅，甚至成为了评估大模型的黄金标准。然而，昨天Anthropic的Claude-3 Opus以1253比1251的微弱优势击败了GPT-4，将OpenAI的LLM挤下了榜首位置。尽管比分接近，但出于误差率方面的考量，该机构让Claude-3和GPT-4并列第一。
Claude-3 Haiku的惊艳表现
更令人印象深刻的是，Claude-3 Haiku成功进入了前十名。Haiku是Anthropic的local size模型，相当于谷歌的Gemini Nano，比拥有数万亿参数的Opus要小得多，因此速度更快。根据LMSYS的数据，Haiku在排行榜上名列第七，展现出了与GPT-4媲美的表现。
Claude-3的胜出标志着新一代大语言模型的崛起，也彰显了LMSYS Org基准测试的公正性和权威性。这一消息无疑将在人工智能领域掀起一股新的浪潮，引发更多关于大语言模型性能的讨论与研究。
通过LMSYS Org最新报告，Claude-3以微弱优势超越了GPT-4，成为了Chatbot Arena平台上的“最佳”大语言模型。这一新闻将为人工智能领域带来更多探讨与研究的机会。
