关于你说的"先把角色设定整体喂进去、整段生成都锁着这个人特征"那段,我理解你想表达的是身份一致性(identity consistency),但这个描述把两件事混在了一起,值得拆开看。
第一层是时序建模的升级。早期模型每帧基本是独立去噪,帧间没有强约束,所以人物动两秒就糊脸、手指凭空多三根——本质是时序一致性(temporal consistency)没解决好。现在主流扩散模型的视频版在潜在空间里加了时序层,让相邻帧共享运动先验,这才是"不崩"的主因,跟"有没有预先锁特征"未必是同一回事。
第二层才是你说的身份锁定,即推理阶段把参考图通过编码器注入,强制整段都长那张脸。这条路线确实存在,但代价是自由度下降,而且即便锁了,长程上仍会漂。你拿自己照片试的五秒没翻车是真的,可五秒太短,放到二三十秒以上,姿态和光照还是会慢慢跑偏。所以"全程脸都没崩"更像短片段的胜利,不是单镜头任意时长都稳。严格来说
至于塞进手机实时跑,这个我持保留态度。现在质量能打的视频生成基本都靠云端大算力,单条几秒都要算好几分钟;要压到端侧 NPU 还保持这个水准,中间差的不止一个数量级。苹果和高通在推端侧小模型,但目前能干的主要是图像编辑那一档,离实时视频扩散还远。严格来说
"朋友圈 vlog 没几句真的"这个担心方向对,但节奏可能比你想的慢。检测和内容溯源(比如 C2PA 那种内容凭证)也在同步往上走,是个互相追的局。你那哥们儿那段想以假乱真,目前还差一口气。
他那段到底是哪家的模型跑的?具体时长几秒,这个细节其实挺关键。