-
根据图片识人、识物,钉钉AI升级多模态能力
-
周毅是故意的还是不小心?
多模态、长文本与RPA(机器人流程自动化)技术,在AI应用的落地上又有新进展。
3月28日,钉钉AI助理迎来重要升级,正式上线图片理解、文档速读和工作流等产品能力。此次升级后,钉钉AI助理将拥有更强的视觉推理能力和长文本速读能力。在AI助理对话框,用户发送长文件、在线文档、网页链接、视频内容,即可进行多轮交互和智能问答。
资料显示,基于通义千问Qwen-VL-Max视觉理解模型,钉钉AI助理能够准确描述和识别图片信息,并进行信息推理、扩展创作、文字提取和翻译等;在收到用户发来的视频后,AI助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要,对于最高2GB的视频内容,仅需3分钟即可完成智能解读。
唤醒这些功能也并不复杂:用户在钉钉IM消息框或点击魔法棒按钮即可进入AI助理对话框。
从初步测试来看,钉钉新版AI助理,已经具备较为成熟的图片识别和智能对话能力。
如下图(左)所示,根据我们提供的照片,钉钉AI助理几乎瞬间认出了小猫的品种,并对该品种猫咪的特征和照片背景进行了简单描述;在没有任何文字提醒,以及照片内没有文字提示的情况下,钉钉AI助理准确识别了拍摄于上海迪士尼的城堡照片(如下图右)。
钉钉实测图片(下同)
多模态能力的加入,让AI助理更具实用性,例如翻译信息、提取文字等。
我们随手拍摄并上传了一张耳塞外包装(纯英文说明)图片。在识别产品品牌、功能等常规信息之外,钉钉AI助理在外包装明显破损的情况下,对英文说明进行了简单分析和翻译,并提取了关键词。令人感到意外的是,在密集的英文印刷中,AI识别出了模糊的NRR信息(降噪等级),并提示用户对此进行关注。
对于表情包和网络梗图,钉钉AI助理也展示出一定的识别和推理能力。
综合来看,基于通义千问Qwen-VL-Max视觉理解模型,钉钉AI助理能做的事情明显变多了。
公开资料显示,Qwen-VL-Max整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中超过业界所有开源模型,在文档分析(DocVQA)、中文图像相关(MM-Bench-CN)等任务上超越GPT-4V,位于世界第一梯队水平。
不过,AI助理也不是全能的。从实测来看,未来它仍有大量提升空间。例如对影视剧中穿戴墨镜的人物,以及身着古装服饰的人物,钉钉AI有时无法精准识别。此外,对于“一个月才几百块,你玩什么命啊”这样较为晦涩的网梗,AI的理解能力也有待继续完善。
更新后,AI助理强化了文档速读和视频速读能力:用户上传相关的文件和视频,即可得到一份内容总结。
值得一提的是,根据不同需要,AI助理能生成各细分领域的助手,用户还能通过链接等形式和他人分享。例如“我的歌曲助手”:用户只需输入音乐和唱法风格等“诉求”,在约5分钟左右的时间里,AI就会自动生成歌曲,并发送至指定邮箱——初步来看,这些歌曲和音乐其实都有不错的完成度。
据公开资料,此次更新后,钉钉对“工作流”玩法也进行了升级。用户可以通过工作流,对AI执行任务的流程进行拆解和编排,主动接管完成相应操作,并打通外部系统数据和API能力,例如搭建能自动写脚本并生成视频的创作AI助理等。为降低用户的使用门槛,钉钉官方还将提供多种工作流模板。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 周毅 
-
华为去年营收7042亿,净利润增长144%
2024-03-29 17:00 观网财经-科创 -
“中国消耗这2000亿度电,给全球贡献了10万亿度清洁能源”
2024-03-29 14:50 博鳌论坛 -
万科高管自愿降薪至每月税前1万元,曾年薪千万
2024-03-29 11:14 -
投入百亿真金白银,淘宝加码内容电商
2024-03-29 10:36 观网财经-互联网 -
光大银行营收净利双降、股价大跌,行长:经营基本面稳定
2024-03-28 21:50 观网财经-金融 -
菜鸟归巢,阿里进入“分拆上市”冷静期
2024-03-28 21:32 观网财经-互联网 -
遭网易《蛋仔派对》地图作者起诉,腾讯《元梦之星》回应
2024-03-28 18:55 观网财经-互联网 -
中国在全球率先商用5.5G,首批百城名单公布
2024-03-28 17:20 观网财经-科创 -
去年扣非亏损收窄,京东方砸630亿继续增产OLED
2024-03-28 15:18 观网财经-金融 -
219克“堆料冠军”背后,中国折叠屏竞争正走向白热化
2024-03-28 13:47 观网财经-科创 -
今年中央财政预计收入总额超16万亿元,“细账”公开
2024-03-27 16:03 观网财经-宏观 -
百亿级股权交易,央企华润将成中国最大芯片封测厂实控人
2024-03-27 15:57 观网财经-金融 -
淘宝清仓B站,阿里巴巴再“瘦身”
2024-03-27 14:41 观网财经-互联网 -
沈辉接任高鑫零售CEO,原CEO林小海回归阿里
2024-03-27 09:58 观网财经-互联网 -
阿里37.5亿美元收购菜鸟剩余股权,撤回上市申请
2024-03-26 19:26 观网财经-互联网 -
再次掉头向下,2月国内手机出货急跌超30%
2024-03-26 18:10 观网财经-科创 -
大户存款首破十万亿,招行收入为何14年来首次下滑?
2024-03-26 17:53 观网财经-金融 -
8年财务造假累计逾10亿,上市公司及相关人员拟被罚超2000万
2024-03-26 15:27 观网财经-金融 -
字节旗下飞书宣布裁员:组织不够精干效率在变低
2024-03-26 15:20 观网财经-互联网 -
外媒炒中国政府采购“禁用”英特尔和AMD,真实情况如何?
2024-03-26 13:43 观网财经-科创
相关推荐 -
-
“在这里,国外电影人可以更多地了解中国” 评论 1“有了中国‘豪华SUV’,谁愿掏更多钱买美国货?” 评论 170G7同意用俄资产为乌放贷500亿美元,俄方警告 评论 554“欧盟在调查中,要求中国企业提供电池配方” 评论 606“这将是场不幸的峰会”,G7几乎人人“自身难保” 评论 220最新闻 Hot
-
“有了中国‘豪华SUV’,谁愿掏更多钱买美国货?”
-
“美国撺掇西方盟友,在G7声明中提中国…”
-
虚惊一场?NASA直播突然插入一段音频,吓坏众人…
-
这个中资控股港口即将竣工,“令美国后背发凉”
-
G7同意用俄资产为乌放贷500亿美元,俄方警告
-
忙了两个多月、耗资1.6亿美元,终于全面通航
-
日乌也将签署,为期10年
-
被问落选感受,这位欧洲“清流”议员毫不客气开怼了
-
“阿根廷人的命危在旦夕,我们已经喝下这毒药好几次了”
-
匈牙利收到2亿欧元罚单,欧盟法院:若不一次性支付,则...
-
亚美尼亚总理称要退出集安组织?俄方回应
-
法国白兰地生产商先慌了,中方反制利剑将出鞘?
-
阿根廷央行:中国同意了!
-
沙利文:美乌将签署为期十年的安全协议
-
马克龙首次解释:这是我能做的最后努力…
-
“谢谢中国球迷朋友‘隔空支持’,来吃饭再给钱就好”
-