-
“AI界的拼多多”DeepSeek推出新款大模型,水平如何?
-
连政gczhewanxgun
开源和闭源AI的差距,进一步被这家中国公司缩小了。
近日,被称为“AI界拼多多”的中国人工智能初创公司深度求索(DeepSeek)发布了全新大模型DeepSeek-V3(下称V3)并同步开源。该模型在Aider多语言编程测试排行榜中,已超越Anthropic的Claude 3.5 Sonnet大模型,仅次于榜首的OpenAI o1大模型。
开源No.1,多方面追平闭源大模型
DeepSeek是知名私募巨头幻方量化旗下的人工智能公司,根据DeepSeek公布的测试结果,其运行了多项基准测试来比较性能,V3模型已明显优于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一众领先开源模型。在大多数基准测试中,它甚至部分超越了OpenAI的闭源模型GPT-4o。
Deepseek-V3在多方面超越、追平各种开源、闭源大模型。Deepseek
首先是百科知识上,V3的知识类任务(MMLU, MMLU-Pro, GPQA, SimpleQA)水平相比前代 DeepSeek-V2.5 (下称V2.5)显著提升,接近当前表现最好的模型 Claude-3.5-Sonnet-1022。长文本测评方面,在DROP、FRAMES 和 LongBench v2 上,V3 平均表现超越其他模型。
此外,V3 在算法类代码场景(Codeforces),远远领先于市面上已有的全部非o1类模型,并在工程类代码场景(SWE-Bench Verified)逼近 Claude-3.5-Sonnet-1022。
值得注意的是,V3在中文和数学相关基准测试中表现尤为突出。
在美国数学竞赛(AIME 2024, MATH)和全国高中数学联赛(CNMO 2024)上,V3大幅超过了所有开源闭源模型。在中文能力上,V3 与 Qwen2.5-72B 在教育类测评 C-Eval 和代词消歧等评测集上表现相近,但在事实知识 C-SimpleQA 上更为领先。
训练成本极低
按照美媒Venture Beat的说法,虽然V3已成为市场上最强大的开源模型,但其训练成本却非常非常低。
通过在上一代DeepSeek-V2上的成功验证,V3沿用了可以大幅降低显存占用的MLA(多头潜注意)和DeepSeekMoE(混合专家)架构,其具有6710亿参数,每次推理激活370亿参数,这种方法确保了高效的训练及推理。在训练阶段,DeepSeek使用了多种硬件和算法优化,包括FP8混合精度训练框架和用于管道并行的DualPipe算法,以降低训练成本。
V3基础架构,DeepSeek创新的MLA被用于高效推理,DeepSeekMoE则用于经济训练。DeepSeek论文
DeepSeek声称,V3 实现了极高的训练效率。在约278.8万个英伟达 H800 GPU小时内完成了V3的整个训练,假设GPU的小时租金为2美元,总成本就是约为557万美元。这远低于通常用于预训练大语言模型动辄上亿美元的成本,比如Llama-3.1的预训练成本估计就超过5亿美元。
DeepSeek还通过算法和工程上的创新,使V3的生成吐字速度从20TPS大幅提高至60TPS,相比V2.5模型实现了3倍的提升,在处理多模态数据和长文本时表现突出。而随着性能更强、速度更快的V3更新上线,DeepSeek的模型API服务定价也调整为每百万输入tokens 0.5元(缓存命中)/2元(缓存未命中),每百万输出tokens 8元。
量化基金转型人工智能
公开资料显示,在DeepSeek背后是量化私募巨头幻方(High-Flyer Quant),也是大厂外唯一一家储备上万张英伟达 A100芯片的公司。幻方成立于2008年,总部位于中国杭州,专注于利用数学、统计学和计算机技术进行金融市场的量化分析和交易。
自2023年四季度以来,A股市场不断下行,而利用数学模型和计算机程序等技术手段进行投资决策的量化基金曾被作为“罪魁祸首”受到舆论的冲击,这也让幻方旗下基金表现一直落后于沪深300指数4个百分点。
不过,随着今年5月DeepSeek-V2发布,幻方量化却成功转型为人工智能先驱,其超低价格甚至引发了国内大模型的价格战,DeepSeek也被迅速冠以“AI界拼多多”之称。这反映出百度和阿里巴巴等科技巨头,尽管在生成式人工智能领域已处于领先地位,但仍需要面对着来自新玩家的激烈竞争。
幻方创始人梁文锋此前曾回应称,DeepSeek定价原则就是不贴钱,但也不赚取暴利。只是让他也没想到的是,DeepSeek的定价却让各大厂商纷纷降价,然而DeepSeek自身反而却是有利润的。
“字节是第一个跟进的,其旗舰模型降到和我们一样的价格,然后触发了其它大厂纷纷降价”,梁文锋解释说,“因为大厂的模型成本比DeepSeek高很多,所以DeepSeek没想到会有人亏钱做这件事,最后就变成了互联网时代的烧钱补贴的逻辑。”
梁文锋认为,更多的投入并不一定产生更多的创新,否则大厂可以把所有的创新包揽了。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 连政
-
旗舰配色搞国内外区别对待?OPPO称绝对没有
2024-12-27 12:39 观网财经-科创 -
美团发布情况说明:坚决治理骑手注册个体工商户
2024-12-27 10:53 观网财经-互联网 -
台媒称大陆手机镜头厂“暴雷”,涉事企业:与事实严重不符
2024-12-27 10:26 观网财经-科创 -
世界银行上调今年中国GDP增长预期
2024-12-27 09:43 中国经济 -
民调:只有19%的美国人认为国家走在正确的道路上
2024-12-27 08:58 美国政治 -
政企办公应用鸿蒙化,为什么刻不容缓?
2024-12-27 08:11 观网财经-科创 -
山寨台积电?韩产业界提议政府组建“韩积电”
2024-12-26 15:42 科技前沿 -
小米被曝正搭建GPU万卡集群,大力投入大模型
2024-12-26 13:49 观网财经-科创 -
规避美国制裁?药明康德出售海外高端治疗业务
2024-12-26 13:09 大公司 -
余承东:华为明年有大家想不到的产品
2024-12-26 10:12 观网财经-科创 -
得益于AI?苹果和台积电的股价都在创历史新高
2024-12-25 21:21 观网财经-科创 -
网友曝小米将大规模裁员,小米王化:造谣者百分百赔钱
2024-12-25 21:14 观网财经-科创 -
健身龙头威尔仕闭店近八成:上千人讨薪,有幸存门店连厕纸都断供
2024-12-25 17:26 产业万象 -
嘲讽大学生找不到工作,这个网红被禁止关注
2024-12-25 16:00 观网财经-互联网 -
被曝逼商家“选边站”,亚马逊急了?
2024-12-25 15:45 观网财经-海外 -
中国云市场重回两位数增长,阿里、华为、腾讯占70%份额
2024-12-25 10:51 观网财经-科创 -
腾讯辟谣微信“送礼物”纪要:不要给我们定商业计划了
2024-12-25 10:38 观网财经-互联网 -
1亿元,中国邮政正式涉足无人机制造
2024-12-24 18:55 低空经济 -
全球科技封锁加剧,中国量子计算如何追赶?
2024-12-24 18:35 观察者头条 -
受贿1776余万,工行原纪委书记刘立宪一审被判八年
2024-12-24 17:08 廉政风暴
相关推荐 -
-
日本突然发现:中国双航母首次同时现身西太 评论 6733年来首次调动!特朗普支持逮捕加州州长 评论 404炮灰还是既得利益者?他俩的决裂警示硅谷精英 评论 69洛杉矶抗议是如何被点燃的? 评论 98“美国已非首选,中国才是未来” 评论 2571作为0距离观察艾滋病患者的人,我想说多数人对艾滋病群体的行为逻辑缺乏直观认识评论 320 赞 212卢克文:这世界有一个巨大的包衣阶层评论 187 赞 1713女子花1.3万买乡下小院,专家称这更能够释放人们的情绪价值,你怎么看?评论 186 赞 14任正非:国家越开放,会促使我们更加进步评论 160 赞 695李书福称“当今世界汽车工业严重产能过剩”,你怎么看?评论 105 赞 16法山叔:“暧昧”入罪?一桩主动邀约后的强奸判决评论 97 赞 197日本小学生营养午餐只有一块鸡块引家长暴怒!网友:比监狱里吃的都差!评论 82 赞 68婚检结果保密致男方患HIV?一篇未经证实的帖子为什么引发共鸣评论 70 赞 69宁夏一地招社区工作者零彩礼可加分,有网友认为不公平,你怎么看?评论 70 赞 410洛杉矶之乱,特朗普没苦硬吃!美国要如何面对加州独立?评论 68 赞 57最新闻 Hot
-
日本突然发现:中国双航母首次同时现身西太
-
美高中生:震惊!从未听说日本人干这事
-
佩洛西发声,这回不提“美丽风景线”了?
-
33年来首次调动!特朗普支持逮捕加州州长
-
“这种稀土几乎全用于军事,每架F35需要50磅,但都产自中国”
-
印媒闻着味儿就来了:可制衡中国
-
“特朗普对华灵光一闪,美企又迎暴击”
-
“看啥战机损失啊,多看看…”
-
马斯克父亲称赞普京:令人印象深刻、坚韧
-
马克龙对美硬气一把:这些,都不卖
-
不装了?两周内三名中国学生,美国理由都不换
-
炮灰还是既得利益者?他俩的决裂警示硅谷精英
-
“特朗普是个大骗子!通话时还好好的,转头就调国民警卫队”
-
俄方称大规模报复打击乌军一机场
-
波兰候任总统:考虑到本国利益,反对乌克兰加入欧盟
-
网红“无语哥”被美移民局逮捕,“自愿离美”
-