英伟达近日与Hugging Face和ServiceNow合作发布了名为StarCoder2的LLMs系列模型,旨在成为代码生成领域的新标杆,具备性能、透明度和成本效益等多重优势。
多款模型包含丰富参数选择
StarCoder2系列模型包括三款不同规模的模型,分别是由ServiceNow训练的30亿参数模型、由Hugging Face训练的70亿参数模型以及由英伟达训练的150亿参数模型。
基于Stack v2数据集训练
这些模型基于名为Stack v2的新代码数据集训练而成,该数据集比Stack v1扩大了七倍;新的训练技术使得这些模型能够更好地理解COBOL等低资源编程语言、数学和程序源代码讨论。
支持多种专业任务
StarCoder2经过619门编程语言的培训,可以执行源代码生成、工作流生成、文本摘要等专业任务。开发人员可以利用它进行代码补全、高级代码总结、代码片段检索等,从而提高工作效率。
性能提升和参数优化
相比初版StarCoder LLMs,新的30亿参数模型进一步精简和筛选了优质参数,其性能相当于150亿参数模型的初版StarCoder。
开源许可证和获取方式
StarCoder2采用BigCode Open RAIL-M许可证,允许免版税访问和使用。感兴趣的用户可从BigCode项目的GitHub页面获取源代码,也可从Hugging Face下载模型。