中国版Sora来了！清华打造！背后创业公司已融资数亿元
时隔两个月，清华团队打造了一个中国版的Sora视频大模子。
4月27日，在中关村论坛改日东谈主工智能前卫论坛上，中国首个永劫长、高一致性、高动态性视频大模子Vidu负责发布。这一模子由清华大学和大模子创业公司生数科技长入发布，不错一键生成长度达16秒、诀别率为1080P的高清视频实验。
证券时报记者独家获悉，清华大学东谈主工智能考虑院副院长、生数科技首席科学家朱军在Vidu发布后发声暗意：“Vidu，we do， we did， we do together！感谢小伙伴们日以继夜的坚执，在实验室架构上吐花截止。”据先容，这亦然自OpenAI发布Sora以后，众人最初获取枢纽冲破的视频大模子。
Sora发布后，行业内一直有团队声称要追逐和复现Sora，而Vidu团队用两个月的时间最初跑出来。记者梳剃头现，生数科技在多模态大模子边界一经有较深的积蓄，亦然当今多模态大模子赛谈估值最高的初创公司之一。当今公司已完成三轮融资，融资额达数亿元东谈主民币，投资方包括启明创投、智谱AI、BV百度风投、锦秋基金等一众机构。
对标Sora，生成视频连贯高清
“画室里的一艘船驶向镜头”，只需要输入这么一句不详的教唆，即不错生成后果传神、镜头连贯的一段视频。在生数科技发布的Vidu模子生成视频样片中，视频的合座质感真实可与Sora相比好意思。
据生数科技先容，Vidu模子选拔团队原创的Diffusion与Transformer和会的架构U-ViT，复古一键生成长达16秒、诀别率高达1080P的高清视频实验。“U-ViT架构早在2022年9月就由团队薄情，早于Sora选拔的DiT架构，是众人首个Diffusion与Transformer和会的架构。”生数科技暗意。
记者瞩目到，本年3月生数科技完成新一轮融资后，公司就公开暗意，天然Sora的出现标明好意思国在多模态大模子边界具有稀薄性，“但中国也并非弥散从零启动的阶段”。据先容，朱军在2023年1月就薄情了基于Transformer的多模态扩散大模子UniDiffuser，选拔了U-ViT，该架构与Sora的架构门路弥散一致，区别在于UniDiffuser主要期骗于图像生成任务，但也不错以此为基础进行视频任务的拓展。
恰是基于在机器学习和多模态大模子的长久积蓄，团队才大略在短短的两个月时间里冲破了长视频暗意与处分的多项要道手艺，告捷研发推出Vidu视频大模子。朱军在Vidu模子发布现场暗意，Vidu主要有以下方面的特色与上风：
一是模拟真正物理天下，不错生成复杂、细节丰富的场景，光影后果与东谈主物神采王人大略得当真正的物理规定。
二是虚耗思象力，不错诬捏场景以及思象超现实宗旨的画面。
三是具有多镜头言语，恒指期货不再局限于固定镜头，大略在罢职主体一致性的情况下已矣出息、近景、中景、特写等不同镜头的动态切换，还不错已矣长镜头、追焦等后果。
四是有出色的视频时长，能复古16秒长度的视频生成，保执镜头和主体的连贯一致。
五是能和会中国元素，不错更好地和会生成熊猫、龙等虚耗中国文化特色的形象。
Vidu生成的龙、熊猫等中国文化元素视频
背后团队来自清华，已融资数亿元
Vidu的背后，是一家来自清华的明星创业公司生数科技。
公开贵府涌现，生数科技成立于2023年3月，中枢成员来自清华大学东谈主工智能考虑院，勤恳于自主研发天下稀薄的可控多模态通用大模子。公司的CEO本硕就读于清华大学猜度机系的唐家渝，首席科学家由清华东谈主工智能考虑院副院长朱军担任，CTO鲍凡则是清华大学猜度机系博士生、朱军素养的课题构成员，长久顺心扩散模子边界考虑。
记者瞩目到，本年3月，唐家渝曾在调换会上向媒体暗意，本年内公司的大模子一定能达到Sora当今版块的后果，“但很难说是三个月照旧半年”。有关词，Vidu却提前交出了一份令东谈主惊艳的考卷，这主要收获于团队是国内最早布局多模态大模子的团队之一，多年以来在这一边界变成了深厚的积蓄。
据唐家渝先容，生数科技当今选拔模子层和期骗层两条路步辇儿的阵势。一方面，构建隐敝文本、图像、视频、3D 模子等多模态才调的底层通用大模子，面向B端提供模子功绩才调；另一方面，面向图像生成、视频生成等场景打造垂类期骗，按照订阅等体式收费，期骗标的主如果游戏制作、影视后期等实验创作场景。
记者梳剃头现，生数科技自成立以来就备受老本顺心。天眼查数据涌现，生数科技当今共完成3轮融资。2023年6月，完成近亿元东谈主民币天神轮融资，投资方包括蚂聚拢团、BV百度风投、卓源亚洲、卓源老本；2023年8月，完成数千万东谈主民币天神+轮融资，投资方为锦秋基金；2024年3月，完成数亿元东谈主民币A轮融资，投资方除了启明创投、达泰老本、智谱AI等新机构除外，还有BV百度风投、卓源亚洲两个老鼓励。
在三轮融资共计数亿元东谈主民币的老本加执下，生数科技已成为当今国内多模态大模子中估值最高的初创公司之一。生数科技暗意，Vidu的问世不仅是U-ViT和会架构在大限制视觉任务中的又一次告捷考证，也代表了生数科技在多模态原生大模子边界的执续翻新才息争稀薄性。