10月30日,昆仑开源昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,天工并罕见地配套开源了600GB、模型门槛150B Tokens的商用超大高质量开源中文信息集。
昆仑万维「天工」Skywork-13B系列目前包括130亿参数的昆仑开源两大模型:Skywork-13B-Base模型、Skywork-13B-Math模型,天工它们在CEVAL,模型门槛 GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果,其中文能力尤为出色,商用在中文科技、昆仑开源金融、天工政务等领域表现均高于其他开源模型。模型门槛
Skywork-13B下载地址(Model Scope): https://modelscope.cn/organization/skywork
Skywork-13B下载地址(Github): https://github.com/SkyworkAI/Skywork
除模型开源外,商用Skywork-13B系列大模型还将开源600GB、昆仑开源150B Tokens的天工高质量中文语料信息集Skypile/Chinese-Web-Text-150B,这是模型门槛目前最大的开源中文信息集之一。
同时,昆仑万维「天工」Skywork-13B系列大模型即将全面开放商用——开发者无需申请,即可商用。
130亿参数、两大模型、最大中文信息集之一、全面开放商用。昆仑万维「天工」Skywork-13B系列大模型堪称业内开源最彻底的百亿高质量商用模型。
Skywork-13B系列大模型的开源将为大模型的场景应用和开源社区增长提供最佳工艺支持,降低大模型商业门槛,推动机器智能工艺落地千行百业,为机器智能生态建设添砖加瓦,携手开源社区探索未知世界、创造美好未来。
两大模型 领先行业
昆仑万维「天工」Skywork-13B系列包括两大模型及150B高质量中文信息集。
Skywork-13B-Base模型是Skywork-13B的基础模型,其经由3.2万亿个多语言高质量信息训练,在CEVAL, CMMLU, MMLU, GSM8K等评测与基准测试上都展现了同等规模模型的最佳效果。
Skywork-13B-Math模型经过专门的数学能力强化训练,在GSM8K等信息集上取得了同等规模模型的最佳效果。
Skypile/Chinese-Web-Text-150B信息集。该信息集是根据我们经过精心过滤的信息处理流程从中文网页中筛选出的高质量信息。本次开源的信息集大小约为600GB,总token数量约为(1500亿),是目前最大得开源中文信息集之一。
除此之外,Skywork-13B系列还公开了模型中使用的评估方法、信息配比研究和训练基础设施调优方案等。希望这些开源内容能够进一步启发社区对于大型模型预训练的认知,并推动机器智能通用智能(AGI)的实现。
五大特点 全面超越
昆仑万维「天工」Skywork-13B系列大模型在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果,其中文能力尤为出色,在中文科技、金融、政务等领域表现均高于其他开源模型。
Skywork-13B系列模型的五大特点:
1.最强参数表现:全面超越同等规模大模型
本次开源的Skywork-13B系列模型在CEVAL, CMMLU, MMLU, GSM8K等几大权威评估基准中全面超越LLaMA2-13B等开源大模型,在同等规模大模型间取得最佳效果。(截止至10月25日信息)
2.最多训练信息:3.2T高质量的多语言训练信息
Skywork-13B系列大模型拥有130亿参数、3.2万亿高质量多语言训练信息。模型的生成能力、创作能力和数学推理能力提升明显。
3.最强中文语言建模能力:中文语言建模困惑度评测,超越所有中文开源模型
Skywork-13B系列大模型在中文语言建模方面表现出色,具有优秀的中文文创能力。在中文文本创作领域的评测中,Skywork-13B系列大模型展现出了卓越的能力,尤其在科技、金融、政务、企业支持、文创、游戏等领域均表现高于业内其他开源模型。
4.最大中文开源信息集之一:150B Tokens高质量中文语料
Skywork-13B系列将配套开源600GB、150B Tokens的高质量中文语料信息集Skypile/Chinese-Web-Text-150B,这是目前最大的开源中文信息集之一。开发者可以最大程度地借鉴工艺报告中大模型预训练的过程和经验,深度定制模型参数,有针对性的进行训练与优化。
5.最有诚意的开源商用:无需申请,即可实现商用
目前开源社区中的中文大模型多数并非是完全可商用,一般开源社区客户通常需要进行复杂的商用授权申请流程,在某些情况,甚至有对公司规模、所在行业、客户数等维度有明确规定不给予商业授权。
昆仑万维对Skywork-13B系列开源的开放性和可商用性高度重视,将授权流程做到极简,取消对行业、公司规模、客户等方面的限制,目的是帮助更多对中文大模型感兴趣的客户和企业在行业中不断探索和进步。
此次Skywork-13B系列大模型将全面开放商用许可,客户在下载模型并同意并遵守《Skywork模型社区许可协议》后,无需再次申请授权即可将大模型进行商业用途。希望客户能够更便捷地探索Skywork-13B系列大模型工艺能力,探索在不同场景下的商业化应用。
推动开源生态繁荣,让更多开发者们参与到AIGC的工艺增长中,在共创和共享中推动工艺的提升。
面向AI的时代,蓬勃增长的开源生态建设是构建AI和应用融合的关键一环。降低模型的研发门槛,使用成本,最大化的共享工艺能力和经验,让更多的企业和开发者们参与到此次AI引领的科技变革中去。昆仑万维董事长兼CEO方汉是最早参与到开源生态建设的开源老兵,也是中文Linux开源最早的推动者之一,开源的精神和AIGC工艺的增长将会在昆仑万维战略中完美融合。
All in AGI与AIGC
All in AGI与AIGC是昆仑万维的战略。
4月17日,昆仑万维发布了中国第一个真正实现智能涌现的国产大语言模型——「天工3.5」,并启动邀请测试。
5月19日,北京市经济和信息化局公布第一批《北京市通用机器智能产业创新伙伴计划成员名单》。昆仑万维凭借在AIGC领域的前沿探索和投资布局,成为第一批模型伙伴和投资伙伴。
8月23日,昆仑万维发布国内第一款AI搜索产物——天工AI搜索。
9月1日,计算机视觉和机器学习领域的国际顶级专家颜水成教授正式加盟昆仑万维,与昆仑万维创始人周亚辉一起出任天工智能联席CEO,并兼任昆仑万维2050全球研究院院长,负责前沿工艺的研究。
9月5日,昆仑万维天工大模型在腾讯优图实验室联合厦门大学开展的多模态大语言模型测评中,综合得分排名第一。
9月25日,昆仑万维正式控股艾捷科芯,布局AI芯片。
今天,天工Skywork-13B系列大模型的开源标志着昆仑万维持续投资AGI生态的决心。
雷峰网(公众号:雷峰网)
雷峰网版权文章,未经授权禁止转载。详情见转载须知。
李彦宏在百度世界2023:我们即将进入一个AI原生的时代
脱衣舞爱豆在卫生间陪公子哥约p
反超 DeepSeek?马斯克「钞能力」砸出来的 Grok 3 终于上线了
大模型热度退潮,真正的技术创新者开始被「看见」
百川智能首款 AI 应用主打懂搜索,但王小川不做搜索 2.0
深谋科技独树一帜,发布高精度压电式六维力传感器「弹起」,满足多领域高动态力控需求
电视剧《锦绣芳华》展现东方美学魅力
脱衣舞爱豆在卫生间陪公子哥约p
女子孕前期长时间休假,“副处老公”扮演什么角色
对话UCL青年教授赵湖斌:可穿戴式DOT如何重塑脑机接口
Hammerspace携手驿心科技,为中国打造超大规模AI存储解决方案
Llama 4 刷榜作弊引热议,20 万显卡集群就做出了个这?
黑客大会遇上元宇宙:极客精神的又一次狂欢
从“棉田”到“烟火人间”:一场土地和生命的共生叙事,影展佳片《地上的云朵》定档5月7日
独臂警察VS五人劫匪团!电影《插翅难逃》定档7月5日
《非遗里的中国》带你探寻白山松水间的匠心传承
《少年书院行》:用青春脚步丈量文明厚度
受台风“丹娜丝”作用,福建江西部分旅客列车停运
阿德莱德大学吴琦:VLN 仍是 VLA 的未竟之战丨具身先锋十人谈
重温!中国动画电影经典之作
大模型生产力的头场变革,从英特尔商用 AI PC 说起
微软人工智能公开课概览
【即将启幕】2025中国时尚大会:海宁奏响产业升级最强音!
实测文小言升级:开始「卷体验」的百度都眉清目秀了
[list:i operate=+3]哀悼 !中国计算机视觉领军者、商汤创始人汤晓鸥去世
[list:i operate=+3]三大模型巨头比拼思考“幻觉”:DeepSeek 不敌 ChatGPT,Gemini 用词最少
[list:i operate=+3]阿德莱德大学吴琦:VLN 仍是 VLA 的未竟之战丨具身先锋十人谈
[list:i operate=+3]面壁智能获新一轮数亿元融资,引领端侧大模型高效发展与应用普及
[list:i operate=+3]上海交大新跑出一家具身智能公司「穹彻智能」
[list:i operate=+3]万人合唱“站在庄浪望北京”乌兰图雅庄浪演唱会上演了一场最美的雨中双向奔赴