谷歌DeepMind与布朗大学合作开发的力提示“力提示”(force prompting)技能,为视频生成范畴带来打破 。推出该技能无需3D模型或物理引擎 ,频生仅经过指定力的成更传神方向和强度 ,即可生成天然流通的力提示运动作用 。支撑大局力(如风)和部分力(如敲击)两种方式,推出力以矢量场方式输入体系。频生
研讨根据CogVideoX-5B-I2V模型 ,成更传神参加ControlNet模块处理数据 ,力提示使用Transformer架构生成49帧视频 ,推出仅需4台Nvidia A100 GPU练习一天 。频生练习数据彻底组成 ,成更传神包含旗号飘动