2024-01-31 10:53
科大讯飞发布首个基于国产算力训练的通用大模型—星火大模型V3.5：整体接近GPT-4 Turbo，还推出开源模型
1月26日，美国商务部长雷蒙多表示，拜登政府正在尽全力阻止中国获得训练AI模型所需的算力资源。美国的云计算公司可能将被要求验证是否有外国实体正在访问美国数据中心以训练AI模型。
雷蒙多表示：
我们不能让非国家主体、中国或我们不希望访问我们的云计算系统的人，来训练他们的模型。
在被算力卡脖子的当下，深度适配国产算力的开源大模型，意义格外重大。就在此契机之下，1月30日，科大讯飞重磅发布首个基于全国产的算力训练的通用大模型——讯飞星火V3.5。
实测结果显示，讯飞星火V3.5在七大核心能力上都获得了全面提升。甚至，在数学、语言理解和语音交互能力上还超越了GPT-4 Turbo。
而同时发布的星火语音大模型，也在首批的37个主流语种上，实现了对OpenAI Whisper V3的超越。
此外，科大讯飞还首次开源了深度适配国产算力，拥有130亿参数的iFlytekSpark-13B模型(星火开源-13B)。不仅场景应用效果领先，而且还对学术和企业研究完全免费。
具体来说，此次开源不仅包括基础模型iFlytekSpark-13B-base、精调模型iFlytekSpark-13B-chat，还有微调工具iFlytekSpark-13B-Lora，以及人设定制工具iFlytekSpark-13B-Charater。
基于这些全栈自主创新的套件，企业和机构可以方便地训练自己的大模型了。
那么，基础模型和精调模型性能如何？
可以看到，在C-EVAL、MMLU、CMMLU、AGIEVAL、FinancelQ等多项榜单测试中，与同尺寸开源模型相比，iFlytekSpark-13B更胜一筹。
而针对典型的应用场景，iFlytekSpark-13B在文本生成上提升23%，在语言理解上提升13%，文本改写提升25%，行业问答提升50%，机器翻译提升17%，头脑风暴提升29%。
正是科大讯飞团队对学习辅助、语言理解等领域的深入研究和优化，大幅提升了模型实用性，使得处理复杂任务时更得心应手。
这种优化不仅提高了模型的理解能力和生成质量，还确保了其在面对多样化和专业化的应用场景时能够保持高效和准确。
这对于追求高性能、低成本的企业来说，无疑有着巨大的吸引力，同时为各行各业的企业提供了一种性价比高的解决方案。
面对算力的紧缺，只有国产算力取得突破，才能为大模型行业的发展提供强有力的支撑。
为此，讯飞星火与华为昇腾强强联合，打造了全国产的通用智能新底座，和基于自主创新的算力平台。
2023年8月15日，「星火一体机」正式发布——不仅可以为大模型提供源源不断的算力，还能提供大模型的训练、推理、优化、部署等全流程能力。
紧接着，在2023年10月24日又发布了国内首个可以训练万亿浮点参数大模型的大规模算力平台「飞星一号」。
合作期间，科大讯飞发挥多年积累的算法优势，深度参与大模型底层算子库开发和优化、大模型算法迁移和超大规模集群智能化运维软件开发等工作。
而攻关团队也放弃了中秋等节假日的休息时间，才加班加点地推出了「飞星一号」平台。
具体来说，「飞星一号」平台采用的是华为昇腾AI集群和大容量交换机构建无损ROCE组网，以及高空间的全闪和混闪并行文件系统。模型通过昇思MindSpore AI框架的训练效率提升了40%，与昇腾AI硬件协同实现超强性能。
此外，训练策略针对昇腾算力进行了极致优化，充分展示了国产算力在追赶国际先进水平方面的决心和能力。
有了国产软硬件环境的深度优化，模型的训练效果也直接翻番。
如今“星火开源-13B”开源模型的发布，距离去年的10月24日发布讯飞星火大模型V3.0的升级才刚刚过去三个月。
而开源，则是为了推动人工智能和机器学习领域的协作，在全球范围内促进技术革新。
它可以让更多的做理论研究和学术探索的科研院所、企业和个人加入进来，以此增进学术合作，增进产业探索。
因为，只有当开源有更多的落地场景，才能更好地促进生态合作。
此前，科大讯飞开源的中文预训练模型，成为许多高校和企业打造创新应用的基石，推动了业界在语音和语言处理技术上的快速发展。
而现在，iFlytekSpark-13B的发布，成为中国在自主创新和科技自立自强道路上的重要里程碑。
针对算力安全问题，科大讯飞提出了一种全新的实践方案——「全栈国产化」开源。
自主开发的大模型和算力平台，不仅能促进国内科研人员和企业的创新，还可以推动相关领域科技进步，增强国家技术安全，加速AI技术的社会和经济应用。为此，科大讯飞还在2023年7月正式成立了“星火军团”，负责助力客户大模型产品打造和应用落地，赋能千行百业。
未来，在全国产化算力平台的支撑下，星火认知大模型将进一步对标国际先进水平，而星火开源大模型，也将使国内开源生态更加欣欣向荣。
相关文章
近期文章
更多
雷小军
