-
腾讯混元文生图大模型宣布开源,未来还将跟QQ、企微和游戏做联动
-
周毅是故意的还是不小心?
文/观察者网 周毅 编辑 张广凯
5月14日,腾讯宣布旗下混元文生图大模型全面升级并对外开源。据悉,这是业内首个中文原生的DiT架构文生图开源模型。它支持中英文双语输入及理解,参数量15亿。目前,该大模型已在Hugging Face平台和Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用。
不同模型在图文一致性等方面的表现 图源Hugging Face
腾讯混元文生图负责人芦清林对观察者网表示,提升技术能力和更广泛的应用,是该大模型未来的两个方向。
“从技术能力的提升来说,如何让图片生成的速度更快,生成的质量更好,是我们永远都会追求的一个技术方向,它似乎是没有止境的。”芦清林表示,项目团队也希望该大模型,能在腾讯内外更广泛的业务场景应用起来。事实上,从去年开始,腾讯混元文生图就和腾讯的广告业务进行了一些协作。
“今年会跟社交业务,包括QQ、企业微信等很多业务场景做联动。跟他们合作做一些新的技术能力。”芦清林透露,同时,该大模型也会跟腾讯游戏做一些深入的技术合作,希望能够在美术场景中应用起来。包括QQ音乐等在内,也都是该大模型未来将会提供支撑的业务场景。
大模型的优异表现,往往离不开先进的技术架构。过去,视觉生成扩散模型主要基于U-Net架构,但随着参数量的提升,基于Transformer架构的扩散模型展现出了更好的扩展性,有助于进一步提升模型的生成质量及效率。升级后的腾讯混元文生图大模型采用了全新的DiT架构(即Diffusion With Transformer),这也是Sora和Stable Diffusion 3的同款架构和关键技术,它就是一种基于Transformer架构的扩散模型。
公开资料显示,在DiT架构的基础之上,腾讯混元文生图大模型还在算法层面优化了模型的长文本理解能力,能够支持最多256字符的内容输入,同时赋予其多轮生图和对话能力:在一张初始生成图片的基础上,用户通过自然语言描述,即可对其进行调整。
用户通过“对话”,即可调整文生图的具体内容 测试截图
此外,“中文原生”也是腾讯混元文生图大模型的一大亮点,此前,像Stable Diffusion等主流开源模型核心数据集以英文为主,对中国的语言、美食、文化、习俗理解有限。作为首个中文原生的DiT模型,混元文生图具备中英文双语理解及生成能力,在古诗词、俚语、传统建筑、中华美食等中国元素的生成上表现出色。
混元文生图大模型的部分能力展示 图源Hugging Face
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 周毅 
-
搭载英特尔处理器,华为再推AI PC等10余款新品
2024-05-15 18:50 观网财经-科创 -
“比行业便宜99.3%”,字节打响大模型价格战
2024-05-15 18:06 观网财经-科创 -
GMV两位数增长,淘宝天猫真的在回归用户了
2024-05-15 17:59 观网财经-互联网 -
杭州市临安区:收购一批商品住房用作公共租赁住房
2024-05-15 16:19 观网财经-房产 -
美国征收关税翻倍,多家光伏头部企业:基本没有影响
2024-05-15 13:31 观网财经-消费 -
成都高投集团收购鼎桥通信
2024-05-15 08:57 华为 -
深圳建筑设计新要求:减少公摊面积
2024-05-14 19:17 观网财经-房产 -
腾讯公布2024一季报:利润大涨62%,视频号用户时长增长超80%
2024-05-14 18:16 观网财经-互联网 -
手机巨头激烈混战,vivo再推6nm芯片加码影像
2024-05-14 14:49 观网财经-科创 -
碧桂园杨惠妍:房地产行业一定会迎来春天
2024-05-13 21:31 观网财经-房产 -
“鲇鱼”来袭!特斯拉上海储能超级工厂获开工许可
2024-05-13 16:07 观网ESG -
女子收到7年前1414元滴滴账单,滴滴致歉
2024-05-12 23:01 观网财经-互联网 -
创始人称创维汽车能治病延寿?官方回应:断章取义
2024-05-11 16:55 观网财经-汽车 -
最快本月申请?Shein或选择伦敦上市
2024-05-11 11:40 观网财经-海外 -
Visa难以进入中国市场,是因为中国的“科技民族主义”吗?
2024-05-11 08:02 -
中芯国际净利大跌68%,但当务之急并非利润
2024-05-10 22:30 观网财经-科创 -
连平:释放购房需求,接下来应从供给端入手
2024-05-10 21:52 观网财经-房产 -
汇率跌至历史新低,谁背刺了越南?
2024-05-10 21:38 -
璩静风波后,百度资深副总裁高调谈论“大厂病”
2024-05-10 16:25 观网财经-互联网 -
“百度大厂病问题,管理层也急”
2024-05-10 15:39 观网财经-互联网
相关推荐 -
-
美俄核潜艇同时现身古巴,“让人想起冷战” 评论 15美媒哀叹:既软弱又专横,美国已沦为“帮派头目” 评论 125“美国说中国捣乱有证据吗?有就拿出来” 评论 52又抹黑!“G7认为中国敢冒风险,是觉得西方衰落了” 评论 220最新闻 Hot
-
美媒哀叹:既软弱又专横,美国已沦为“帮派头目”
-
“美国说中国捣乱有证据吗?有就拿出来”
-
“抹黑中国疫苗,美国防部曾开展秘密行动”
-
“如果中国‘报复’,那将是噩梦”
-
又抹黑!“G7认为中国敢冒风险,是觉得西方衰落了”
-
“颠覆另一个大国太鲁莽,美国高估了影响中国的能力”
-
“在这里,国外电影人可以更多地了解中国”
-
连胜文:来大陆前刚追完《庆余年2》,里面这句话让我印象深刻
-
英国保守党支持率沦为第三,“大选后可能就没了”
-
“中国聪明啊,美国花大钱炸学校医院,他们修路建桥广交朋友”
-
“可口可乐可能重返俄罗斯市场”
-
“我们不在乎制裁,因为我们有人民币”
-
梅德韦杰夫向亚美尼亚喊话:不要指望欧盟会接纳你们
-
“有了中国‘豪华SUV’,谁愿掏更多钱买美国货?”
-
“美国撺掇西方盟友,在G7声明中提中国…”
-
虚惊一场?NASA直播突然插入一段音频,吓坏众人…
-