-
阿里云开源通义千问140亿参数模型
(编辑/吕栋)
9月25日,阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。据介绍,Qwen-14B在多个权威评测中超越同等规模模型,部分指标接近Llama2-70B。就在一个多月前,阿里云开源70亿参数模型Qwen-7B等,下载量已破百万。
Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推理、认知、规划和记忆能力。Qwen-14B最大支持8k的上下文窗口长度。Qwen-14B-Chat是在基座模型上经过精细SFT得到的对话模型。借助基座模型性能,Qwen-14B-Chat生成内容的准确度大幅提升。
Qwen-14B在十二个权威测评中全方位超越同规模SOTA大模型
阿里云表示,Qwen拥有出色的工具调用能力,能让开发者更快地构建基于Qwen的Agent(智能体)。开发者可用简单指令教会Qwen使用复杂工具,比如使用Code Interpreter工具执行Python代码以进行复杂的数学计算、数据分析、图表绘制等;还能开发具有多文档问答、长文写作等能力的“高级数字助理”。
百亿以内参数级别大语言模型是目前开发者进行应用开发和迭代的主流选择。阿里云透露,Qwen-14B进一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12个权威测评中取得最优成绩,超越所有测评中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不逊色。与此同时,Qwen-7B也全新升级,核心指标最高提升22.5%。
Qwen-14B性能超越同尺寸模型
目前,开源是国产大模型的主流选择。《中国人工智能大模型地图研究报告》显示,超过一半国内发布的大模型已实现开源,并朝着通用类大模型和垂直领域的专业类大模型两个方向加速迭代。除了通义千问外,由王小川创立的人工智能创新科技公司百川智能也在一个月间将通用类开源模型参数规模翻倍。其在今年6月推出70亿规模参数的Baichuan-7B开源模型后,又在7月开源拥有130亿的参数规模的Baichuan-13B模型。
专业类大模型则受行业数据、适用程度等制约,开源模型参数规模差异较大。在搜索场景,知乎已于今年5月开源有100亿参数规模的CPM-Bee 10b。而在金融行业,度小满在9月才开源拥有70B参数量级和上下文长度可达8k以上的金融大模型“轩辕70B”。
有业内人士指出,在一些垂直领域并不需要参数量很高、通用能力很强的模型,几十到百亿左右参数规模的模型,结合垂直领域数据,就可以发挥很好的价值。对行业而言,开源大模型可以帮助用户简化模型训练和部署的过程,用户不必从头训练,只需下载预训练好的模型并进行微调,就可快速构建高质量模型。这正是开源大模型推动各行业发展的底层因素。
阿里云CTO周靖人表示,阿里云将持续拥抱开源开放,推动中国大模型生态建设。阿里云还牵头建设了中国最大的AI模型开源社区魔搭ModelScope。过去两个月内,魔搭社区的模型下载量从4500万飙升到8500万,增幅接近100%。
- 责任编辑: 林铃锦 
-
余承东:鸿蒙原生应用全面启动
2023-09-26 13:23 观网财经-科创 -
我国科研人员研制出仿生低碳新型建筑材料
2023-09-24 14:17 科技前沿 -
“AI使目前形势变得更加复杂,中美必须开展对话”
2023-09-23 15:37 中美关系 -
我国发起的蛋白质组大科学计划国际总部成立
2023-09-23 14:45 医学 -
清华全球碳中和年度进展报告:中国得分全球第五
2023-09-23 08:10 绿水青山就是金山银山 -
泰国与华为合作:共同开发泰国盘古气象大模型
2023-09-22 11:30 观网财经-科创 -
诺奖剑指AI?谷歌蛋白质结构预测模型获2023年拉斯克奖
2023-09-22 09:22 医学 -
我国科学家制备出全分散微球材料,可从废水中回收染料
2023-09-22 07:21 科技前沿 -
国产猫用疫苗实现零的突破
2023-09-22 07:09 医学 -
吉林一号高分04B星发射失利
2023-09-21 20:16 航空航天 -
中国空间站第四次太空授课活动取得圆满成功
2023-09-21 16:49 中西教育 -
“天宫课堂”第四课开课
2023-09-21 15:45 航空航天 -
国内首所空天信息大学获批筹建!落地济南
2023-09-21 14:18 中西教育 -
就在今天 ,百城市长聚在一起探讨大模型如何落地城市
2023-09-20 18:54 -
全球最大射电望远镜阵列首台中频天线正式吊装
2023-09-20 15:44 科技前沿 -
我国去年研发经费投入破3万亿,电子信息制造业超4千亿
2023-09-20 08:43 观网财经-科创 -
国际奥委会CITO:杭州亚运会用云计算创造历史
2023-09-19 18:17 亚运经济 -
去年长三角一市三省研发经费9386亿元,占全国30.5%
2023-09-19 17:37 -
我国科研团队为高密度大容量存储器件提供新思路
2023-09-19 07:44 科技前沿 -
我国科学家提出DNA数字存储纠错新算法
2023-09-19 07:39 科技前沿
相关推荐 -
内塔尼亚胡遭以战时内阁成员下“最后通牒” 评论 27“至少一代人不会把西欧视为合作伙伴” 评论 82“美国居然在锯自己骑着的那根树枝,蠢得可怕” 评论 197换一种方式,让国宝“回家” 评论 126矛头直指哈尔科夫,普京首次公开俄军意图 评论 204最新闻 Hot
-
内塔尼亚胡遭以战时内阁成员下“最后通牒”
-
“至少一代人不会把西欧视为合作伙伴”
-
换一种方式,让国宝“回家”
-
对抗中国?菲律宾加购5艘日本大型巡逻船
-
“我讨厌‘一带一路’,因为这绝妙的构想不是我们提出的”
-
斯洛伐克总理菲佐遭枪击后,他收到死亡威胁
-
12月6日前裁决,TikTok和美司法部要求法院启动快速通道
-
矛头直指哈尔科夫,普京首次公开俄军意图
-
“我们不承认台湾,今后也不会”
-
加拿大果然想跟,声称“不能给中国留后门…”
-
“美国居然在锯自己骑着的那根树枝,蠢得可怕”
-
法国邀请俄罗斯,英美不满
-
又在搞事,马科斯称菲律宾将“强力捍卫领土”
-
泽连斯基承认:我们很多旅都打光了...
-
中俄联合声明重量级要点,不只有图们江出海口
-
中国废食用油也被刁难,主要美企发声
-