Stable Diffusion 的论文我粗看了一下,并没有完整的去看所有的数学推导,知道大概的过程后,随手找了几个科普性质的文章,最后又找了几段代码,Stable Diffusion 是好几个技术拼在一起,包括 openai 的 CLIP,U-NET等。
会用,利用开源的模型,可以自己运行起来。
明白其原理,大致的搞明白其原理,但是不会去纠小细节。
了解其各个参数的作用和用法。
找其原理实现的代码,把代码跑起来。
怎么用 stable diffusion 的文章一大把,讲其原理的视频和文章相对少一些,但是也是有的,推荐 beginners-guide-to-diffusion-models 这个文章解决的比较清楚,并且作者是还画了图,看完后你大概知道什么是 step,什么是 CFG,什么是调度器之类的了。
代码实现发现 fast.ai 有一个课程,讲解了基本的原理,并且实现了相应的代码,Stable Diffusion Deep Dive,他的整个代码也都可以看一看diffusion-nbs