VideoPoet

VideoPoet 是谷歌研究团队推出的 AI 视频生成模型，思路是把文本、图像、视频、音频这些不同信号放进同一套多模态架构里，直接产出带画面与声音的片段。它没有走常见的扩散模型路线，而是采用仅解码器的 Transformer，先做多模态预训练，再针对具体任务做适应。对想了解大厂在视频生成上如何落地的人来说，这个站点给出的能力说明和示例效果比较有参考价值。

• 官网入口：https://sites.research.google/videopoet/

主要功能

• 文本转视频：输入一段文字描述，就能产出最长 10 秒、带声音的视频片段。
• 图像转视频：给一张静态图片，让画面里的人物或景物按设想动起来。
• 视频风格化：对已有素材做风格转换，改变整体观感而保留原来的画面结构。
• 视频配音频：为画面生成匹配的音效或声音，不用另外找配音素材。

适用场景

• 影视制作：在正式拍摄前，用文字把分镜和画面先跑一遍，看看效果是否接近预期。
• 广告创意：把脚本草稿快速转成动态画面，用于内部提案和方案比对。
• 虚拟现实：生成循环播放的场景片段，填补沉浸式内容里的动态素材缺口。
• 个人创作：不需要视觉或音频方面的专业指导，凭文字提示就能试着完成一段短片。

从公开资料看，VideoPoet 把多模态理解与视频生成放在了同一个模型里，文本、图像、音频都能作为输入，输出则是一段完整视频，谷歌团队还用它根据文字提示做过一段浣熊旅行的故事短片。作为一款偏研究性质的 AI 视频生成工具，它目前展示的内容更多是用来验证技术路线，而不是现成的商用剪辑软件。关注 AI 视频生成这条线的人，不妨把这个站点当作观察谷歌研究进展的窗口。