Making Self Portraits With Stable Diffusion and LoRA

  1. 近几个月，像Lensa和AvatarAI这样的产品涌现出来，可以生成艺术化的肖像和自拍照片，包括逼真难以区分真实的照片和高度风格化的绘画。
  2. 作为艺术家，作者对这些产品很感兴趣，因为它们使图像混合成不同的风格变得容易和民主化。然而，使用这些产品更像是应用Instagram滤镜而不是真正的创作。
  3. 文章介绍了一个名为Stable Diffusion的开源图像生成AI模型，并通过一种名为LoRA（即Low-Rank Adaptation）的技术对其进行微调，以生成自定义头像和自拍照。
  4. Stable Diffusion是一个简单的工具，只需要描述想要看到的内容，然后点击生成按钮。作者建议初学者在Replicate上尝试改变提示以了解其功能。
  5. 通过改变提示，可以生成不同风格的图像，作者展示了使用提示“astronaut riding a horse on mars, painting, impressionistic style, oil, highly detailed”生成的不同风格的图像。
  6. 由于Stable Diffusion是在互联网上的20亿张图像的子集上训练的，对于许多人物、地点或事物的表示并不了解。作者以自己的名字为例，展示了生成一个“Jake Dahn riding a horse on mars, drawing, sketch, pencil”的图像，但模型无法理解作者的身份。
  7. LoRA是一种微调技术，可以在大型基础模型（如Stable Diffusion）的基础上进行微调，使其适应个人数据。LoRA相比于其他技术（如DreamBooth）的优势在于训练时间短，产生的权重文件较小，同时可以混合匹配多个LoRA概念、对象和风格。
  8. 作者通过以下步骤展示如何使用LoRA微调Stable Diffusion：选择训练图像、准备实例数据.zip文件、上传并训练、下载权重文件。
  9. 文中提到了几个使用LoRA权重的Stable Diffusion模型，包括Realistic Vision 1.3、Inkpunk Diffusion、GTA5 Diffusion、Vintedois Diffusion等。作者分享了一些生成图像的提示和链接。
  10. 最后，作者尝试了使用多个LoRA概念同时进行风格转移，以及与Toy Faces Library的混合，生成了一些有趣的图像。总结文章时，作者表示自己在过去几个月里花费了数百小时来探索Stable Diffusion，并对其功能和工作原理有了一些了解。

lora