阿里淘宝搞了一个实时AI试衣视频生成定制框架:FashionChameleon,生成过程中交互式换衣服,单卡23.8 FPS
也就是说在视频生成过程中实时换衣,你可以实时更换衣服款式,同时动作连贯性保持的非常好
还能做长视频外推,整个过程在单卡H200上做到23.8 FPS实时播放,没有明显等待感,比现有基线快30-180倍
从效果看,服装还原度、人物一致性都还行,动作连贯切换不跳帧,能处理上下装分离、也能处理整套替换等
它用教师模型+上下文学习解决多服装视频数据稀缺问题,用单服装视频训练;用流式蒸馏+梯度重加权DMD解决速度慢和长视频崩坏问题;用免训练KV Cache重调度解决实时切换问题,最终做到边看边换AI虚拟试衣
搞电商的,虚拟试衣、直播带货的可以关注下
权重、代码还没放出来,可持续关注
项目页:http://t.cn/AXirRyZd
github:http://t.cn/AXirRyZg
#AI试衣##AI换装# http://t.cn/AXirRGCa
发布于 山西
