根据图片识人、识物，钉钉AI升级多模态能力

APP下载

扫一扫

下载观察者APP

根据图片识人、识物，钉钉AI升级多模态能力
- 周毅是故意的还是不小心？
分享到：

2024-03-29 21:08:59 字号：A- A A+ 来源：观察者网

多模态、长文本与RPA（机器人流程自动化）技术，在AI应用的落地上又有新进展。

3月28日，钉钉AI助理迎来重要升级，正式上线图片理解、文档速读和工作流等产品能力。此次升级后，钉钉AI助理将拥有更强的视觉推理能力和长文本速读能力。在AI助理对话框，用户发送长文件、在线文档、网页链接、视频内容，即可进行多轮交互和智能问答。

资料显示，基于通义千问Qwen-VL-Max视觉理解模型，钉钉AI助理能够准确描述和识别图片信息，并进行信息推理、扩展创作、文字提取和翻译等；在收到用户发来的视频后，AI助理会根据视频内容生成字幕，提取关键词，并生成一份智能摘要，对于最高2GB的视频内容，仅需3分钟即可完成智能解读。

唤醒这些功能也并不复杂：用户在钉钉IM消息框或点击魔法棒按钮即可进入AI助理对话框。

从初步测试来看，钉钉新版AI助理，已经具备较为成熟的图片识别和智能对话能力。

如下图（左）所示，根据我们提供的照片，钉钉AI助理几乎瞬间认出了小猫的品种，并对该品种猫咪的特征和照片背景进行了简单描述；在没有任何文字提醒，以及照片内没有文字提示的情况下，钉钉AI助理准确识别了拍摄于上海迪士尼的城堡照片（如下图右）。

钉钉实测图片（下同）

多模态能力的加入，让AI助理更具实用性，例如翻译信息、提取文字等。

我们随手拍摄并上传了一张耳塞外包装（纯英文说明）图片。在识别产品品牌、功能等常规信息之外，钉钉AI助理在外包装明显破损的情况下，对英文说明进行了简单分析和翻译，并提取了关键词。令人感到意外的是，在密集的英文印刷中，AI识别出了模糊的NRR信息（降噪等级），并提示用户对此进行关注。

对于表情包和网络梗图，钉钉AI助理也展示出一定的识别和推理能力。

综合来看，基于通义千问Qwen-VL-Max视觉理解模型，钉钉AI助理能做的事情明显变多了。

公开资料显示，Qwen-VL-Max整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中超过业界所有开源模型，在文档分析（DocVQA）、中文图像相关（MM-Bench-CN）等任务上超越GPT-4V，位于世界第一梯队水平。

不过，AI助理也不是全能的。从实测来看，未来它仍有大量提升空间。例如对影视剧中穿戴墨镜的人物，以及身着古装服饰的人物，钉钉AI有时无法精准识别。此外，对于“一个月才几百块，你玩什么命啊”这样较为晦涩的网梗，AI的理解能力也有待继续完善。

更新后，AI助理强化了文档速读和视频速读能力：用户上传相关的文件和视频，即可得到一份内容总结。

值得一提的是，根据不同需要，AI助理能生成各细分领域的助手，用户还能通过链接等形式和他人分享。例如“我的歌曲助手”：用户只需输入音乐和唱法风格等“诉求”，在约5分钟左右的时间里，AI就会自动生成歌曲，并发送至指定邮箱——初步来看，这些歌曲和音乐其实都有不错的完成度。

据公开资料，此次更新后，钉钉对“工作流”玩法也进行了升级。用户可以通过工作流，对AI执行任务的流程进行拆解和编排，主动接管完成相应操作，并打通外部系统数据和API能力，例如搭建能自动写脚本并生成视频的创作AI助理等。为降低用户的使用门槛，钉钉官方还将提供多种工作流模板。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签钉钉阿里巴巴 AI
- 责任编辑: 周毅
- 华为去年营收7042亿，净利润增长144%
  
  2024-03-29 17:00 观网财经-科创
- “中国消耗这2000亿度电，给全球贡献了10万亿度清洁能源”
  
  2024-03-29 14:50 博鳌论坛
- 万科高管自愿降薪至每月税前1万元，曾年薪千万
  
  2024-03-29 11:14
- 投入百亿真金白银，淘宝加码内容电商
  
  2024-03-29 10:36 观网财经-互联网
- 光大银行营收净利双降、股价大跌，行长：经营基本面稳定
  
  2024-03-28 21:50 观网财经-金融
- 菜鸟归巢，阿里进入“分拆上市”冷静期
  
  2024-03-28 21:32 观网财经-互联网
- 遭网易《蛋仔派对》地图作者起诉，腾讯《元梦之星》回应
  
  2024-03-28 18:55 观网财经-互联网
- 中国在全球率先商用5.5G，首批百城名单公布
  
  2024-03-28 17:20 观网财经-科创
- 去年扣非亏损收窄，京东方砸630亿继续增产OLED
  
  2024-03-28 15:18 观网财经-金融
- 219克“堆料冠军”背后，中国折叠屏竞争正走向白热化
  
  2024-03-28 13:47 观网财经-科创
- 今年中央财政预计收入总额超16万亿元，“细账”公开
  
  2024-03-27 16:03 观网财经-宏观
- 百亿级股权交易，央企华润将成中国最大芯片封测厂实控人
  
  2024-03-27 15:57 观网财经-金融
- 淘宝清仓B站，阿里巴巴再“瘦身”
  
  2024-03-27 14:41 观网财经-互联网
- 沈辉接任高鑫零售CEO，原CEO林小海回归阿里
  
  2024-03-27 09:58 观网财经-互联网
- 阿里37.5亿美元收购菜鸟剩余股权，撤回上市申请
  
  2024-03-26 19:26 观网财经-互联网
- 再次掉头向下，2月国内手机出货急跌超30%
  
  2024-03-26 18:10 观网财经-科创
- 大户存款首破十万亿，招行收入为何14年来首次下滑？
  
  2024-03-26 17:53 观网财经-金融
- 8年财务造假累计逾10亿，上市公司及相关人员拟被罚超2000万
  
  2024-03-26 15:27 观网财经-金融
- 字节旗下飞书宣布裁员：组织不够精干效率在变低
  
  2024-03-26 15:20 观网财经-互联网
- 外媒炒中国政府采购“禁用”英特尔和AMD，真实情况如何？
  
  2024-03-26 13:43 观网财经-科创
搜索

   观察者头条查看全部

“投赞成票的欧盟国家，要注意了” 评论 121

美国把中资挤走，印度就能钻空子？评论 99

“美国人醒来发现：中国变全球第一，那又如何？” 评论 238

冲突一周年，中东距离“全面战争”还有多远？评论 98

“种族灭绝的一年!” 评论 58

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

根据图片识人、识物，钉钉AI升级多模态能力

华为去年营收7042亿，净利润增长144%

“中国消耗这2000亿度电，给全球贡献了10万亿度清洁能源”

万科高管自愿降薪至每月税前1万元，曾年薪千万

投入百亿真金白银，淘宝加码内容电商

光大银行营收净利双降、股价大跌，行长：经营基本面稳定

菜鸟归巢，阿里进入“分拆上市”冷静期

遭网易《蛋仔派对》地图作者起诉，腾讯《元梦之星》回应

中国在全球率先商用5.5G，首批百城名单公布

去年扣非亏损收窄，京东方砸630亿继续增产OLED

219克“堆料冠军”背后，中国折叠屏竞争正走向白热化

今年中央财政预计收入总额超16万亿元，“细账”公开

百亿级股权交易，央企华润将成中国最大芯片封测厂实控人

淘宝清仓B站，阿里巴巴再“瘦身”

沈辉接任高鑫零售CEO，原CEO林小海回归阿里

阿里37.5亿美元收购菜鸟剩余股权，撤回上市申请

再次掉头向下，2月国内手机出货急跌超30%

大户存款首破十万亿，招行收入为何14年来首次下滑？

8年财务造假累计逾10亿，上市公司及相关人员拟被罚超2000万

字节旗下飞书宣布裁员：组织不够精干效率在变低

外媒炒中国政府采购“禁用”英特尔和AMD，真实情况如何？

美国把中资挤走，印度就能钻空子？

“美国人醒来发现：中国变全球第一，那又如何？”

“若中方反制，我们将陷入巨大劣势”

印尼媒体敲打他勿自取其辱：东盟峰会上提对抗中国？达咩

“如果你们不袭击伊朗这几个目标，美国将提供补偿”

冲突一周年，中东距离“全面战争”还有多远？

“中国排第1，美国排第53”

“种族灭绝的一年!”

“以色列陷入更大规模战争，正合他意”

杜特尔特否认参选：我都这把年纪了，要我死？

“他如今只用笔和纸交流，被扣押人员可能就在他身边”

“中国这一庞大建设覆盖率达9成，远超美国”

特朗普重返“未遂暗杀”事发地，马斯克登台助阵

出生率创新低，“不生孩子的该加税”

大众CEO最新表态：与其对华搞惩罚性关税，不如…

内塔尼亚胡痛骂马克龙：可耻