与清华合作，支持22种中文方言的语音大模型来了！

APP下载

扫一扫

下载观察者APP

与清华合作，支持22种中文方言的语音大模型来了！
- 张睿佳
分享到：

2025-04-02 20:06:31 字号：A- A A+ 来源：观察者网

最后更新: 2025-04-02 20:54:34

3月26日，一篇名为Dolphin —— 一款专为东方语言设计的语音大模型（Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages）的论文在arXiv （康奈尔大学图书馆运营的一个开放获取的预印本平台）上发表。

目前，Dolphin 的base与small版模型与推理代码已经全面开源。

据悉，该项目来自海天瑞声和清华大学电子工程系语音与音频技术实验室的合作，两者共同推出了支持40个东方语种，以及22种中文方言（含普通话）的语音识别系统。

在数据方面，该系统的训练数据总时长21.2万小时，其中海天瑞声高质量专有数据13.8万小时，开源数据7.4万小时。

性能层面，通过与OpenAI推出的Whisper在同等尺寸模型的比较，根据参考三个多语言数据集（海天瑞声、Fleurs、CommonVoice）的平均值得出：

Dolphin base版模型的WER（词错率）为 31.8%，而 Whisper large-v3 版模型的词错率为 52.3%。从这个角度看，尽管dolphin基础版模型的规模不到 Whisper large-v3 版模型的十分之一，但在针对这些语言进行评估时，其词错率与 Whisper large-v3 模型相比相对降低了 39%，这凸显了dolphin的性能优势。

具体技术上，Dolphin网络结构基于CTC-Attention架构，E-Branchformer编码器和Transformer解码器，并引入了4倍下采样层。

CTC-Attention架构能够提升模型的识别准确性和效率；Branchformer编码器采用并行分支结构，能够更有效地捕捉输入语音信号的局部和全局依赖关系，为模型提供了更丰富的特征表示；Transformer解码器确保系统能够提供高质量的文本输出；4倍下采样层可以减少输入特征的序列长度，从而加速计算过程，同时保留关键的语音信息，确保模型的识别效果不受影响。

此外，Dolphin还引入了两级语种标签系统，第一个标签指定语种（例如<zh>、<ja>），第二个标签指定地区（例如<CN>、<JP>）。

这种分层方法使模型能够捕捉同一种语言内不同方言和口音之间的差异，以及同一地区内不同语言之间的相似性，从而提高了模型区分密切相关的方言的能力，并通过在语言和地区之间建立联系增强泛化能力。

海天瑞声表示，通过共享技术成果，希望能够吸引更多的开发者和研究机构参与到东方语言语音识别的研究中来，共同推动技术进步。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签 Dolphin 东方语言语音大模型
- 责任编辑: 张睿佳
- 增利不增收的青岛啤酒，连续六年出现季节性亏损
  
  2025-04-02 20:40 观网财经-消费
- 业绩狂飙的老铺黄金，股价却即将承压？
  
  2025-04-02 20:03 观网财经-消费
- AI拐点到来，大厂集体抢人
  
  2025-04-02 19:49 观网财经-互联网
- 个人电脑就能运行，更便宜的Agent要来了
  
  2025-04-02 18:18
- 完成”瘦身”后，美的置业保留业务营收、利润双双增长
  
  2025-04-02 18:12 观网财经-房产
- 腾讯会议“崩了”？官方回应
  
  2025-04-02 17:47 观网财经-互联网
- 售价超7000元，Meta想用眼镜取代iPhone
  
  2025-04-02 17:16 观网财经-科创
- 京东工业，再度冲刺港股IPO
  
  2025-04-02 17:04 观网财经-互联网
- 内地行业龙头排队融资，香港IPO募资额反超印度
  
  2025-04-02 16:30 观网财经-科创
- 时隔50个交易日，A股两市成交额再度跌破1万亿
  
  2025-04-02 15:24 观网财经-科创
- 全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%
  
  2025-04-02 13:56 观网财经-科创
- 三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？
  
  2025-04-02 13:39 观网财经-科创
- 京东官宣：达达员工逐步升至20薪
  
  2025-04-02 13:35 观网财经-互联网
- 豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值
  
  2025-04-02 13:10
- 阿里收购两氢一氧，无招回归钉钉
  
  2025-04-02 11:19 观网财经-互联网
- 乘“AI东风”，良信股份欲掘金智算中心配电蓝海
  
  2025-04-02 10:14 观网财经-科创
- 智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单
  
  2025-04-02 08:41 产业万象
- 中国成2024年欧盟汽车进口最大来源国
  
  2025-04-02 08:19
- 日赚十亿的全球店王SKP或将易主
  
  2025-04-01 20:29 观网财经-消费
- 茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声
  
  2025-04-01 20:02 观网财经-消费
搜索

   观察者头条查看全部

“在以色列，就连死亡也不平等” 评论 19

巴黎航展4家展台被关，以方怒了：这些武器与法国竞争评论 84

“美国自己跟中国做生意，却要求我们别这么干” 评论 56

新一轮激烈互袭！伊朗：成功让以防空自己打自己评论 342

“以色列想杀死哈梅内伊，被特朗普否了” 评论 323

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

与清华合作，支持22种中文方言的语音大模型来了！

增利不增收的青岛啤酒，连续六年出现季节性亏损

业绩狂飙的老铺黄金，股价却即将承压？

AI拐点到来，大厂集体抢人

个人电脑就能运行，更便宜的Agent要来了

完成”瘦身”后，美的置业保留业务营收、利润双双增长

腾讯会议“崩了”？官方回应

售价超7000元，Meta想用眼镜取代iPhone

京东工业，再度冲刺港股IPO

内地行业龙头排队融资，香港IPO募资额反超印度

时隔50个交易日，A股两市成交额再度跌破1万亿

全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%

三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？

京东官宣：达达员工逐步升至20薪

豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值

阿里收购两氢一氧，无招回归钉钉

乘“AI东风”，良信股份欲掘金智算中心配电蓝海

智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单

中国成2024年欧盟汽车进口最大来源国

日赚十亿的全球店王SKP或将易主

茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声

“在以色列，就连死亡也不平等”

扎哈罗娃：下一轮俄美会谈已被美方取消

美国务院给所有驻外使领馆发指令：转达一下，我们没参与

巴黎航展4家展台被关，以方怒了：这些武器与法国竞争

“伊朗议员正起草法案，要退出《核不扩散条约》”

伊朗“独苗”加油机没了？以军称发动2300公里史上最远空袭

美国航母取消停靠越南，离开南海直奔中东

“美国自己跟中国做生意，却要求我们别这么干”

“快要崩了！特朗普连遭俄罗斯、中国、以色列蔑视…”

新一轮激烈互袭！伊朗：成功让以防空自己打自己

“这是梦吗？”欧洲议员分享中国高铁之旅，外国网友惊了

哈萨克斯坦：计划将第二座核电站建设项目交由中方主导

“G7峰会，不与特朗普起冲突就算成功”

“美国是同谋！”，沙特打电话：以色列想拖美国下水

来看卫星图，伊朗核设施受损有多大？

“以色列想杀死哈梅内伊，被特朗普否了”