可灵AI发布2.0版基座模型,千万资金扶持AIGC创作者

视频大模型在语义理解和动态质量等方面尚存缺陷,基座模型需要再改造。可灵AI 2.0版本,提出了一个新的交互理念。

图片由可灵AI生成,提示词为本文标题。

图片由可灵AI生成,提示词为本文标题。

4月15日,钛媒体APP获悉,可灵AI宣布基座模型升级,面向全球正式发布可灵2.0视频生成模型及可图2.0图像生成模型。

可灵是全球首个用户可用的DiT(Diffusion Transformer)视频生成模型,其2.0版本的模型在动态质量、语义响应和画面美学做了相应提升,而可图2.0模型主要集中在指令遵循、电影质感及艺术风格表现等方面。

可灵AI官方披露,截至目前,全球用户规模已经突破2200万,累计生成1.68亿个视频及3.44亿张图片素材。自去年6月上线以来,10个月内,可灵AI的月活用户数量增长25倍。

“去年3、4月的时候,当我在内部看到可灵第一个DiT模型的产出结果时,我心中涌现出一个想法,什么时候我能够用AI把我心目中的《三体》拍摄出来。”快手高级副总裁、社区科学线负责人盖坤在发布会现场表示。

在视频生成方向上,钛媒体APP观察到,可灵AI正在朝着电影工业级美学上演进,然而,当前行业模型发展,远远无法符合这一需求,AI在生成内容的稳定性及用户复杂创意的传达上,仍有很多缺陷。

盖坤发现,各家视频模型都存在一些共性问题,主要来自两方面:一是,语义分析能力问题,创作者们的文字表达,有的时候,AI不能很精准地输出和控制生成结果;二是,动态质量的问题,通常是物体运动过快,或者不符合物理规律。

他认为,必须对基模型能力进行全方位提升。

在2.0模型中,可灵AI提出了AI视频生成的新的交互理念Multi-modal Visual Language(MVL),让用户能够结合图像参考和视频片段等多模态信息,将脑海中包含身份、外观、风格、场景、动作、表情、运镜在内的多维度复杂创意,直接传达给AI。

MVL由TXT(Pure Text,语义骨架)和MMW(Multi-modal-document as a Word,多模态描述子)组成,能从视频生成设定的基础方向,以及精细控制这两个层面,实现AI创作者们的创意表达。

基于MVL理念,可灵AI正式推出多模态编辑功能。据盖坤介绍,MMW(多模态描述子)将不只局限于图片和视频,也可以引入其他模态的信息,例如声音和运动轨迹等。

与此同时,基于MVL这一全新交互方式,可灵AI还发布了可灵2.0大师版,在语义响应、动态质量和画面美学等方面提升生成效果。

可灵2.0大师版升级了视频及图像创作可控生成与编辑能力,上线新的多模态视频编辑功能,能灵活理解用户意图,支持在一段视频的基础之上,通过输入图片或文字,对生成的视频内容实现元素的增加、删减、替换,让创作者可以二次编辑和处理。

据快手副总裁、可灵AI负责人张迪披露,当前,图生视频约占到可灵AI视频创作量的85%,图片质量对视频的生成效果有重要作用。

在图像生成大模型领域,可图2.0的优势体现在复杂语义理解能力,电影级的画面质感,以及多条件的可控风格化生成等。

新升级的可图2.0版本,提升了指令遵循能力、增强电影美学表现力以及更多元的艺术风格。在风格化响应上,可图2.0支持60多种风格化的效果转绘。

同时,可图2.0上线了图像可控编辑功能,即,局部重绘和扩图,支持图片的增加、修改和修复。在图像的多模态可控生成中,可图2.0上线了新的风格转绘功能,用户上传一张图片加上风格描述,能一键切换图片的艺术风格,同时保留原图的语义内容。

除了C端订阅用户,可灵AI面向B端商家提供API接入等服务。盖坤披露,来自世界各地的超过1.5万名开发者,已将可灵的API应用于不同的行业场景中,累计生成的图像数量约1200万个,生成的视频素材超过4000万个。

此外,可灵AI还发布了“可灵AI NextGen 新影像创投计划”,计划加大对AIGC创作者的扶持力度,并通过千万资金投入、全球宣发、IP打造和保障,以全资出品、联合出品和技术支持等合作方式,激发AI爱好者们的创作热情。(本文首发于钛媒体APP,作者|李程程)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

11:28

黄仁勋已结束中国之行,知情人士称全程未与DeepSeek会面

11:27

湖北宜兴高铁高岚河特大桥顺利合龙

11:21

北交所公布一季度证券公司执业质量评价结果

11:09

日机构:卫星观测数据显示北极冬季海冰面积创新低

10:20

美国加征关税冲击西班牙橄榄油出口

10:19

首个人形机器人半马冠军产生:天工机器人冲线完赛

09:44

瑞士工业界人士:美关税政策最大受害者是美国自己

09:44

阿联酋与中国合作伙伴签署有史以来合同量最大液化天然气协议

09:35

特朗普政府提议大幅削减美国卫生与公众服务部门的预算,考虑削减400亿美元预算

09:35

美政府要求哈佛大学提供有关外国资金和关系记录

09:34

阿联酋承诺投资1.4万亿美元之后,该国公司认为AI芯片获取方面取得进展

09:34

4月份以来公募基金发行已突破300亿元,逾七成为权益类

09:33

俄废除与挪威等三国签署的有关在巴伦支海开展合作协议

09:32

特斯拉据悉将推迟在美国生产更便宜的Model Y车型

09:30

贝森特与马斯克掀起权利争夺风波,美国国税局负责人将被免职

09:27

美机构提起集体诉讼,请求法院恢复被撤销签证国际学生的合法身份

09:26

联合国工发组织:美国滥施关税的做法是错误的

09:23

特朗普推动公务员制度改革,将更多联邦公务员纳入总统管辖

09:23

美联储戴利:若通胀更具粘性,今年降息次数可能会少于两次

09:22

晶盛机电:2024年净利润同比下降44.93%,拟10派4元

扫描下载App