「瞬息全宇宙」背后的 AI 公司,曾参与 Stable Diffusion 开发,去年获 5000 万美元融资
大数据文摘转载自HyperAI超神经
北京时间 3 月 13 日上午,2023 年奥斯卡颁奖礼在洛杉矶举行,影片《瞬息全宇宙》一举斩获七项大奖,成为最大赢家。主演杨紫琼也凭借该片将奥斯卡最佳女主角奖收入囊中,成为奥斯卡历史上首位华裔影后。
据了解,这部正在被热议的科幻电影背后的视觉效果团队仅有 5 人,为了尽快完成这些特效镜头,他们选择了 Runway 公司的技术来帮助创建某些场景,比如为图像去除背景的绿幕工具 (The Green Screen)。
「仅仅几次点击就让我节省几个小时,我可以用这些时间尝试三四种不同的效果,让影片效果更好。」导演兼编剧 Evan Halleck 受访时谈道。
Runway:参与初代Stable Diffusion开发
2018 年底,Cristóbal Valenzuela 联合其他成员创立 Runway。它是一家人工智能视频编辑软件提供商,致力于利用计算机图形学及机器学习的最新进展,为设计师、艺术家和开发人员降低内容创作的门槛、推动创意内容的发展。
据 Forbes 报道,该公司年收入将近 500 万美元,员工仅 40 人左右
除此之外,Runway 还有一个鲜为人知的身份--Stable Diffusion 初始版本的主要参与公司。
2021 年,Runway 与德国慕尼黑大学合作,构建了第一个版本的 Stable Diffusion,随后英国初创公司 Stability AI 「带资进组」,为 Stable Diffusion 提供了更多模型训练所需的计算资源和资金。不过目前 Runway 和 Stability AI 已经不再合作。
2022 年 12 月,Runway 获得 5000 万美元的 C 轮融资,除《瞬息全宇宙》团队外,客户还包括传媒集团 CBS、MBC,广告公司 Assembly、VaynerMedia,设计公司 Pentagram 等。
2023 年 2 月 6 日,Runway 官方推特发布 Gen-1 模型,可以通过应用文本提示或者参考图像所指定的任意风格,将现有视频转换为新视频。
Runway Twitter 官宣 Gen-1
Gen-1:structure + content 双管齐下
科研人员提出了一个结构 (structure) 和内容 (content) 引导的 video diffusion model--Gen-1,可以依据预期输出的视觉或文本描述,对视频进行编辑。
Gen-1 模型原理展示
所谓 content,是指描述视频的外表 (appearance) 和语义的特征,如目标物体的颜色、风格以及场景的灯光。
而 structure 则是指描述其几何和动态的特征,如目标物体的形状、位置以及时间变化。
Gen-1 模型的目标是在保留视频 structure 的同时,编辑视频 content。
在模型训练过程中,科研人员用到了一个由未加字幕的视频及 text-image pair 构成的大规模数据集,同时,用单目场景深度预测 (monocular depth estimates) 来表示 structure,用预训练神经网络预测的 embedding 来表示 content。
该方法在生成过程中提供了几种强大的控制模式:
1. 参考图像合成模型,训练模型使得推理的视频 content(如呈现或风格)与用户提供的 image 或 prompt 相匹配。
Guided Video Synthesis 示例
在保留输入视频(中间)structure 的同时
基于文本提示或图像合成的视频(上及下)
2. 参考 diffusion 过程,对结构表征 (structure representation) 进行 information obscuring,这使得开发者可以自行设定 model adhere 对于给定 structure 的相似程度。
3. 参考 classifier-free guidance,借助自定义 guidance 方法,调整推理过程,从而控制生成 clip 的时间一致性。
在该实验中,科研人员:
- 通过在预训练的图像模型中引入 temporal layer,并对图像和视频进行联合训练,将 latent diffusion model 扩展到视频生成中。
- 提出了一个 structure 和 content-aware 模型,可以在示例图像或文本的指导下修改视频。视频编辑完全是在推理阶段进行的,无需逐个视频进行训练或预处理。
- 对 temporal、content 和 structure 一致性的完全控制。实验表明,在图像和视频数据上的联合训练,能够在推理期间上控制一致性 (temporal consistency)。对于结构一致性 (structure consistency),在表征的不同细节水平上训练,使用户得以在推理过程中选择所需的设置。
- 一项用户调研表明,该方法比其他几种方法更受欢迎。
- 通过对一小部分图像进行微调,可以进一步定制训练过的模型,以生成更准确的特定 subject 的视频。
为了评估 Gen-1 的性能,科研人员用 DAVIS 数据集中的视频以及其他各种素材进行了评估。为了自动创建编辑 prompt,研究人员首先运行了一个 captioning 模型来获得原始视频内容的描述,然后使用 GPT3 生成编辑 prompt。
Gen-1 与其他模型生成效果的用户满意度对比
实验结果表明,在对所有方法生成效果的满意度调研中,75% 的用户更倾向 Gen-1 的生成效果。
AIGC:争议中前行
2022 年,生成式人工智能成为自十多年前移动和云计算兴起以来最引人注目的技术,我们正有幸见证其应用层的萌芽,许多大模型正迅速从实验室中走出来,扑向真实世界的各个场景。
然而,尽管有提高效率、节省成本等诸多好处,我们也需要看到,生成式人工智能依然面临多种挑战,包括如何提高模型的输出质量和多样性、如何提高其生成速度,以及应用过程中的安全、隐私和伦理宗教等问题。
有些人对 AI 艺术创作提出质疑,更有甚者认为这是一种 AI 对艺术的「入侵」,面对这种声音,Runway 联合创始人兼 CEO Cristóbal Valenzuela 认为,AI 只是工具箱中一个用来给图像等内容上色或修改的工具,与 Photoshop、LightRoom 并无二致。虽然生成式人工智能还存在一些争议,但它为非技术人员和创意人员打开了创作的大门,并将带领内容创作领域走向新的可能。
参考链接:
[1]https://hub.baai.ac.cn/view/23940
[2]https://cloud.tencent.com/developer/article/2227337?
点「在看」的人都变好看了哦!
相关文章
- 为何 JetBrains 公司做 IDE 就可以养活自己,而国内公司却很难做到?
- 被控侵犯INVT公司无线通讯专利,美法院确认苹果、HTC、中兴胜诉
- WidsMob AI Retoucher for mac(ai修图工具) 3.15免激活版
- 亚马逊联手AI初创公司开发ChatGPT竞品;百度公布2022年财报;高通推出付费云软件服务丨每日大事件
- AI直装版AI下载Ai 办公软件各版本分析--经验分享
- Keras之父看好的自动标注公司,获3300万美元新融资
- 加密货币行业公司正撤退向海外寻求金融生命线
- 大模型引发新一轮技术变革, AI芯片公司迎来新挑战
- 微软正式宣布以197亿美元收购AI语音技术公司Nuance
- ofo公司已无财产可供执行!你的押金退了吗
- 低成本助力传统便利店改造升级,这家AI公司在零售市场另辟蹊径
- 又一AI公司入驻阿里云市场,图普科技在该平台上线黄暴图像识别产品
- 什么技术能帮基金公司省下数千万成本?智能投顾转型的希望与忧困 | AI金融评论周刊
- 纽约排名前五的西奈山医院与医疗AI公司合作,检测和管理肾脏疾病
- 医疗AI公司Tempus完成1.1亿美元融资,团购教父再造独角兽
- 以色列AI芯片公司Hailo宣布完成6000万美元B轮融资,以创新架构攻占边缘市场
- 在人才竞争上,国内明星公司都使用哪些手段抢 AI 人才
- 预告:只拼“算法招式”的时代即将过去,AI 公司该如何修炼好“架构与工程内功”?丨硬创公开课
- Oracle为客户提供卓越的CRM支持(oracle公司crm)
- 盯盯拍罗勇:公司就是我最好的产品