上海人工智能实验室等联合发布“书生·浦语”大语言模型 在多项中文考试中成绩超过ChatGPT

图说：实验室联合团队对多个模型开展全面测试 采访对象供图（下同）

随着AI大语言模型越来越多地表现出接近人类的智能，面向人类设计的高难度、综合性考试被越来越多地引入对语言模型的智能水平进行评测。2023年高考今日开考，中文大语言模型是否能够在高考中赶超ChatGPT呢？

7日，上海人工智能实验室、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。

“书生·浦语”具有1040亿参数，是在包含1.6万亿token的多语种高质量数据集上训练而成。全面评测结果显示，“书生·浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越ChatGPT的成绩，其中就包括中国高考各科目的数据集（GaoKao）。

综合“大考”：多项成绩领先于 ChatGPT

“书生·浦语”联合团队选取了20余项评测对其进行检验，包含全球最具影响力的四个综合性考试评测集：由伯克利加州大学等高校构建的多任务考试评测集MMLU；微软研究院推出的学科考试评测集AGIEval（含中国高考、司法考试及美国SAT、LSAT、GRE 和 GMAT等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval；以及由复旦大学研究团队构建的高考题目评测集Gaokao。

实验室联合团队对“书生·浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试。结果显示，“书生·浦语”不仅显著超越了GLM-130B和LLaMA-65B等学术开源模型，还在AGIEval、C-Eval、以及Gaokao等多个综合性考试中领先于 ChatGPT；在以美国考试为主的MMLU上实现和 ChatGPT 持平。这些综合性考试的成绩反映出“书生·浦语”扎实的知识掌握程度和优秀的综合能力。

图说：Gaokao是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。在Gaokao测评中，“书生·浦语”在超过75%的项目中均领先ChatGPT

虽然“书生·浦语”在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生·浦语”受限于2K的语境窗口长度（GPT-4的语境窗口长度为32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。

另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题；这些局限使得大语言模型在开放场景中的使用还有很长的路要走。

分项评测：阅读理解、推理能力表现出色

为了避免“偏科”，研究人员还通过多个学术评测集，对“书生·浦语”等语言模型的分项能力进行了评测对比。结果显示，“书生·浦语”不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得了较好的成绩——

图说：“书生·浦语”在数学推理、编程能力等评测中也取得了较好的成绩

在知识问答方面，“书生·浦语”在TriviaQA和Natural Questions两项评测上得分为69.8和27.6，均超越LLaMA-65B（得分为68.2和23.8）。

在阅读理解（英语）方面，“书生·浦语”明显领先于LLaMA-65B和ChatGPT。它在初中和高中英语阅读理解中得分为92.7和88.9，⽽ChatGPT得分为85.6和81.2，LLaMA-65B则更低。

在中文理解方面，“书生·浦语”的成绩全面超越主要的两个中文语言模型 ERNIE-260B和GLM-130B。

在多语翻译方面，“书生·浦语”在多语种互译中的平均得分为33.9，显著超越LLaMA（平均得分15.1）。

在数学推理方面，“书生·浦语”在GSM8K和MATH这两项被广泛用于评测的数学考试中，分别取得 62.9 和14.9的得分，明显领先于Google的PaLM-540B（得分为 56.5 和 8.8）与LLaMA-65B（得分为 50.9 和 10.9）。

在编程能力方面，“书生·浦语”在HumanEval和MBPP这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分（其中经过在代码领域的微调后，在HumanEval上的得分可以提升至45.7），明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。

此外，研究人员还对“书生·浦语”的安全性进行评测，在“主要评价回答的事实准确性”以及“主要评价回答是否含有偏见”上，“书生·浦语”均达到领先水平。

新民晚报记者 郜阳

‍

‍