淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
Source :
mp.weixin.qq.com
Author :
澎鹏
近几个月，随着基于Stable Diffusion的相关技术发展，基于参考图的角色定制化技术[1,2, 3, 4, 7]受到相关行业以及学者的广泛关注。其中，人像定制化是指：给定任务角色（参考图），通过提示词控制生成多样新的图像，并且图像中的人物身份信息和参考图保持一致。人像定制化生成技术可以分为1）基于角色LoRA训练以及2）基于注入图像特征两种方案。其中，基于LoRA训练的技术通过收集定制化人物的多张图像（数量越多，效果越好），将该角色的身份信息隐式的表达在添加了LoRA的Stable Diffusion中（或称为训练数字分身），对于每一个人物，在线训练的时长3~5min不等，例如《妙鸭相机》。而基于注入图像特征的方案规避了“数字分身”的训练过程，受到学者的广泛关注，一些学者利用Stable Diffusion能够生成某些名人多种图像这一特性，开发了少样本的训练方案[8]，另一些研究集中于从输入图像中学习到一些特征，注入到Stable Diffusion中。这类方案往往需要较大的数据集，效果相对更加出色。我们基于预训练的人物肖像特征提取器，设计了一种保持人物身份信息的技术方案
