2023-08-13 20:48
新华社发布国内AI大模型2.0横向测评：科大讯飞星火大模型斩获冠军
最近一年，人工智能技术迎来了大变革，伴随着ChatGPT的异军突起，科技企业们纷纷加大投入，AIGC大模型的发展日新月异、推陈出新。
为直观感受国内科技大厂所推出的大模型产品的现状、优势及特点。8月12日，新华社研究院对外发布《人工智能大模型体验报告2.0》，通过抓取7月31日~8月4日最新的网络数据组成复合型问答测试卷，以人机互动问答等形式，对国内主流大模型进行使用体验的横向测评。
本次测评在今年6月发布的《人工智能大模型体验报告1.0》基础上，在题目设定、对标Benchmark参照（人类）、人工打分权重、专家测评团队四大方面进行了全面升级：
在题目设置方面，测评题目由6月的300道扩展至8月的500道，并完善了题目分类；在对标Benchmark方面，本次测评将以接受过高等教育的人类作为对照组；在人工打分项目上，本次测评根据对产业、生活的实际价值，引入了人工打分的权重指数；在测评团队方面，邀请了北大文化与传播研究所的专家学者参与。
报告首先提出，大模型概念红利正在逐渐消失，大模型产品的估值将被重新衡量，回归实际应用。事实上，最近两个月AI概念一直在降温，ChatGPT官网的月活访问也在不断下行。报告认为，主流大模型架构的开发进程已过半，在竞争的下半场，如何将AI真正走进千家万户成为关注焦点。
为了更好地还原国内大模型的真实表现，本次测评的对象将围绕以下这些国内企业的大模型产品开展：360智脑、百度文心一言、澜舟科技Mchat、讯飞星火、昆仑万维天工、阿里通义千问、商汤商量、智谱科技ChatGLM（排名不分先后）。
相关文章
雷小军
新智元
