马斯克开源Grok-1，3140亿参数迄今最大

APP下载

扫一扫

下载观察者APP

马斯克开源Grok-1，3140亿参数迄今最大

分享到：

2024-03-18 11:06:12 字号：A- A A+ 来源：观察者网

当地时间3月17日，特斯拉首席执行官（CEO）马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称，其遵照Apache 2.0协议开放模型权重和架构。

xAI官方网站截图

据第一财经报道，Grok-1参数量远超OpenAI GPT-3.5的1750亿，是迄今参数量最大的开源大语言模型。

17日，马斯克还在社交平台上发文对OpenAI进行了嘲讽：“告诉我们更多关于OpenAI开放部分的信息。”

2023年11月，xAI官网发布文章，公布了Grok的详细进展。

文章称，Grok是一款仿照《银河系漫游指南》设计的AI，几乎可以回答任何问题，它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆，所以如果你讨厌幽默，请不要使用它”。

xAI官方网站截图

文章介绍说，Grok的一个独特且基本的优势是，它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。

文章指出，Grok仍然是一个非常早期的测试版产品，是“我们在2个月的训练中所能做到的最好产品，期望在您的帮助下每周都能快速改进”。

文章表示，Grok-1的研发经历了四个月。期间，Grok-1经历了多次迭代。“宣布创立xAI后，我们训练了一个330亿参数的LLM原型（Grok-0）。这个早期模型在标准LM测试基准上接近LLaMA 2（70B）的能力，但只使用了一半的训练资源。在过去两个月里，我们在模型的推理和编码能力方面取得了显著进步，Grok-1终于诞生。”

文章称，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%，在MMLU中达到了73%。

为了了解对Grok-1所做的性能改进，xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准，对其进行一系列评估。

在这些基准测试中，Grok-1显示出了强劲的性能，超过了其计算类别中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型，例如GPT-4，才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。

同时，文章也指出，由于这些基准可以在网上找到，并且他们不能排除模型无意中进行了相应的训练。因此，他们在收集完数据集之后，根据去年5月底公布的2023年匈牙利全国高中数学期末考试题，对他们的模型（以及Claude-2和GPT-4模型）进行了人工评分。结果，Grok以C级（59%）通过考试，Claude-2也取得了类似的成绩（55%），而GPT-4则以68%的成绩获得了B级。文章称，他们没有为应对这个考试而特别准备或调整模型。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签
- 责任编辑: 房佶宜
- 台湾长荣客机一外籍乘客试图在厕所轻生
  
  2024-03-18 10:37
- “美国都动用国家力量对付特朗普了，那能叫民主？”
  
  2024-03-18 10:04 俄罗斯之声
- 普京首度回应纳瓦利内之死：美国监狱没死过人吗？
  
  2024-03-18 09:37 俄罗斯之声
- 中企承建，孟加拉国这个石油大工程全面运营
  
  2024-03-18 09:09 一带一路
- 以总理：以军或在几周后进攻加沙南部城市拉法
  
  2024-03-18 07:28 巴以恩仇录
- 俄总统选举选票已统计60.01%，普京得票率为87.26%
  
  2024-03-18 07:07 俄罗斯之声
- “波音遇到大麻烦了，但怎么解决，仍毫无头绪”
  
  2024-03-17 22:56 航空安全
- 马克龙称将要求俄“奥运停火”，扎哈罗娃：建议向中东冲突各方提出
  
  2024-03-17 20:46 俄罗斯之声
- 岸田文雄向日本国民道歉
  
  2024-03-17 19:56 日本
- 斯里兰卡逮捕21名印度渔民
  
  2024-03-17 19:23
- “几乎没男人了，人们像狗一样当街被抓去当兵”
  
  2024-03-17 19:10 乌克兰之殇
- 拜登：两个候选人，有一个太老了...
  
  2024-03-17 17:33 美国政治
- 特朗普谈移民：在我看来，某些情况下他们不是人
  
  2024-03-17 16:37 特朗普
- 首次！朝中社这样称呼金正恩女儿
  
  2024-03-17 16:30 朝鲜现状
- 威尔士工党选出新任党魁，“欧洲将产生首位黑人领导人”
  
  2024-03-17 16:04 不列颠
- 他再放话：将对中企在墨西哥生产汽车征收100%关税
  
  2024-03-17 14:58 美国大选
- 马克龙再提派兵，她附和上了
  
  2024-03-17 14:45 乌克兰之殇
- “美国警告欧盟：若重启对美诉讼，别怪我…”
  
  2024-03-17 14:34 欧洲乱局
- “我从小就被教育要讨厌中国”
  
  2024-03-17 11:40
- 特朗普：若我败选，对美国是场“大屠杀”
  
  2024-03-17 10:11 美国政治
搜索

   观察者头条查看全部

“还要梦游般陷入第三次战争？我们不批！” 评论 26

“决策关头，他俩被移出核心圈” 评论 92

“任何自诩为客观的电影，就像在进行殖民操作” 评论 96

“俄罗斯曾主动提出共研防空系统，但伊朗不感兴趣” 评论 361

到底打不打？特朗普让全世界都在猜评论 327

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

马斯克开源Grok-1，3140亿参数迄今最大

台湾长荣客机一外籍乘客试图在厕所轻生

“美国都动用国家力量对付特朗普了，那能叫民主？”

普京首度回应纳瓦利内之死：美国监狱没死过人吗？

中企承建，孟加拉国这个石油大工程全面运营

以总理：以军或在几周后进攻加沙南部城市拉法

俄总统选举选票已统计60.01%，普京得票率为87.26%

“波音遇到大麻烦了，但怎么解决，仍毫无头绪”

马克龙称将要求俄“奥运停火”，扎哈罗娃：建议向中东冲突各方提出

岸田文雄向日本国民道歉

斯里兰卡逮捕21名印度渔民

“几乎没男人了，人们像狗一样当街被抓去当兵”

拜登：两个候选人，有一个太老了...

特朗普谈移民：在我看来，某些情况下他们不是人

首次！朝中社这样称呼金正恩女儿

威尔士工党选出新任党魁，“欧洲将产生首位黑人领导人”

他再放话：将对中企在墨西哥生产汽车征收100%关税

马克龙再提派兵，她附和上了

“美国警告欧盟：若重启对美诉讼，别怪我…”

“我从小就被教育要讨厌中国”

特朗普：若我败选，对美国是场“大屠杀”

以方改口：袭击伊朗布什尔核设施的说法有误

埃尔多安称“内塔尼亚胡比希特勒更甚”，以色列怒了

因一通电话陷执政危机，泰国总理含泪道歉

“知情人士：C929目标2035年前实现商业首飞”

“还要梦游般陷入第三次战争？我们不批！”

“决策关头，他俩被移出核心圈”

“任何自诩为客观的电影，就像在进行殖民操作”

新西兰威胁上了：跟中国好，断援助

“美国自己没搞定供应链，凭什么干涉我们选中国”

美国松口了，但要强制审查社交账户

美前外交高官：面对中国，很少有亚洲国家会断然拒绝

“俄罗斯曾主动提出共研防空系统，但伊朗不感兴趣”

美企扬言“我们可以挑战中国”，一盆冷水泼来…

到底打不打？特朗普让全世界都在猜

真要打？美国最终决定撤人

普京：我孙女能说一口流利的中文