AI 绘画技术原理解析

roy899

随着 AIGC 的发展，AI 绘画逐渐进入我们的生活和工作。本文将探讨 AI 绘画技术的各个方面。从图像生成技术迈出的里程碑事件，到对 AI 绘画技术的深度科普，再到未来的发展趋势分析，相信本文将能够为大家揭示 AI 绘画背后的神秘面纱，一起来深入了解其技术原理吧。

3 \; T# A& l' V5 R( {  K& k. p' p7 {
0 v8 }4 h/ w9 K' u- ]3 h9 H
我会通过两篇文章来对 AI 绘画产品进行分析，第一篇主要科普图像生成技术原理；第二篇是分析 AI 绘画产品商业化落地，算是我近期对 AI 绘画产品了解的一个总结输出，以下是第一篇内容。

  Z* O3 L) l& K; w2 A5 H

8 l: i3 M1 Q. D& ]) ]9 N2022 年 9 月一幅名为《太空歌剧院》的画作在数字艺术类别比赛中一举夺冠，这个震惊四座的画作由游戏设计师 Jason Allen 使用 Midjourney 完成，AI 绘画进入人们的视野。
- p6 e5 e$ a- L3 k' |/ P4 R# h) a5 g人们第一次意识到 AI 做出来的画可以如此精美，意识到 AI 绘画可能如同当年相机、数字绘画的出现一样，会给绘画设计行业带来一场深刻的变革。
这篇文章从产品经理视角，了解 AI 绘画产品的背后有哪些算法模型、他们的技术原理是什么？不同技术的边界在哪里，使用场景在哪里？产品经理要懂得将算法合理的组合使用，以满足日常工作的需求，实现产品目标。
/ H& e1 r# {* n0 L( Q' d$ S8 CAI 绘画发展的主要节点
  |5 C4 D$ y! y' yAI 绘画的底层原理
9 t/ Q! u$ G6 E4 o, N4 h5 Q4 L. |主流的图像生成模型解析
0 n( f. O# ~4 J1 M5 S: j/ ^AI 绘画的可控性有哪些
AI 绘画的技术研究趋势
一、AI 绘画发展的主要节点



1. 2012 年 AI 画出了一只模糊的猫
% d' w# K* H  [; x. x9 S吴恩达和杰夫安迪使用了 1.6 万个 CPU 和 You Tube 上 1000 万张猫的图片，用时 3 天时间训练了当时最大的深度学习模型，最终生成了一张猫脸。
虽然这张猫的图片看起来非常模糊，而且耗时又非常久，但对当时的计算机视觉来讲具有重要突破意义的尝试，开启了 AI 绘画研究的全新方向。
为什么当时基于深度学习模型的 AI 绘画那么麻烦？主要是整个模型需要利用大量标注好的训练数据，根据输入和所对应的预期输出，不断地调整模型内部的参数进行匹配。例如生成一张 512*512 *3（RGB）的画，要将这些像素有规律的组合，会涉及到庞大参数迭代调整的过程。
: O) Q2 z) h) D# P
$ c' l& m3 f* B& y

2. 2015 年文生图重要的拐点
2015 年出了一项人工智能的重大进展——智能图像识别。机器学习可以对图像中的物体贴上标签，然后将这些标签转化成自然语言描述。
一些研究人员产生了好奇，如果把这个过程反向，通过文字来生成画面，是否也能实现呢？
' f8 @% q' x% H: }于是他们向计算机模型输入了一些文字，看看能产生什么原因，结果模型真的生成了一些结果图片。如下图中所示，这时产生了 32*32 像素的小图片，基本很难辨别出啥，但已经预示着无限的可能性。

! d  Y! N8 I+ x7 }# d3 y

3. 2021 年 OpenAI 宣布 Dalle
2021 年年初，OpenAI 发布了引发巨大关注的 DALL-E 系统，但 DALL-E 的绘画水平还是很一般，之所以引发关注，是因为他实现了输入文字就可以绘画创作的可能，比之前生成的图片质量高很多。



' o/ v9 W  f1 z' l) j8 Y5 E0 Y$ h 4. 2022 年开启 AI 绘画的元年
0 u5 `3 R$ T4 k( f2 V) r2 月 Disco diffusion V5 发布
在 2022 年的 2 月，由 somnai 等几个开源社区的工程师做了一款基于扩散模型的 AI 绘图生成器—— Disco diffusion。从它开始，AI 绘画进入了发展的快车道，潘多拉魔盒已经打开。
越来越多的人开始使用 Disco diffusion 创作作品，但是它有一个致命的缺点就是它生成的画面都十分的抽象，这些画面用来生成抽象画还不错，但是几乎无法生成具象的人。
: H( E6 Y) n+ T6 r/ E由于生成速度较慢，操作复杂、生成的风格相对比较抽象， 目前使用的人没有 Stable Diffusion 和 Midjourney 那么多。

% {4 G0 e0 j4 m7 A, a
& ~1 S3 k7 ~9 U) ], l8 v
& {  |+ D1 `: J/ D6 j0 R" T0 N3 月 Midjouney
7 X! B! H- p( ]. [8 z) uMidjouney 选择搭载在 discord 平台，借助 discord 聊天式的人机交互方式，不需要之前繁琐的操作，也没有 Disco diffusion 十分复杂的参数调节，你只需要向聊天窗口输入文字就可以生成图像。更关键的是，Midjouney 生成的图片效果非常惊艳，普通人几乎已经很难分辨出它产生的作品，竟然是 AI 绘画生成的。
' V3 Y) g! M8 M% k" L' X% N% L

; v: G+ a  N( \6 Y  f- c7 Y' {
4 月 DALL · E 2
4 月 10 日，之前提到过的 OpenAI 推出的第二代图像生成人工智能模型 DALL · E 2。与第一代 DALL-E 相比，DALL-E 2 在图像质量、生成速度和多样性等方面都有显著提升。影响力不及 Chat GPT，个人消费者对他没有那么喜欢，因为他生成的图片的风格更倾向于更一本正经，比较传统一些。
/ W4 X; J9 T' A' g5 x6 I% h2 l


6 F( K* ?2 G3 N6 d3 t; U7 月 Stable diffusion
# y7 s$ `& T" l' c% T+ U7 月 29 日 一款叫 Stable diffusion 的 AI 生成器开始内测，人们发现用它生成的 AI 绘画作品，其质量可以媲美 DALL · E 2，而且还没那么多限制。
Stable diffusion 内测不到 1 个月，正式宣布开源，开源让 AI 绘画技术的普及，也是让领域能有更多人开发贡献，加快技术的应用发展。
2 f  p  F2 L1 `' Y1 s2 i% o


二、AI 绘画的底层原理
2 c$ M" ]4 x  s" e- LAI 绘画的根源来源于人工神经网络，科学家受人类神经元启发，设计出的人工神经网络长下面这样。

. T% G# F4 ^6 G5 [4 W1 d! M/ y
4 o2 M- X& L6 o$ f: C: |  }, p3 z
" e6 ^! g% p" o2 ^* V" w神经网络都是用数学公式表示的，没有实体结构，图里面的这些圈和连线是对神经网络的一种可视化呈现，方便我们理解。
* d2 o# o: w: h( j( ~这图中圆圈里都有一个计数器，当这个计数器接收到左边连线传来的数时，会进行一次简单的计算，然后把计算结果（也是一个数）输出，通过连线传给右边的圆圈，继续重复类似的过程，直到数字从最右侧的圆圈输出。
人类的不同神经元之间连接的强度是不一样的，有些粗一点，有些细一点。正是这些连接强度，让我们产生了记忆和知识。
8 i7 o* g3 ~) ~. Y$ B对于神经网络来说，也有相似的规律：圆圈和圆圈之间的连线的 " 权重 " 不同。
0 \/ w; k6 l1 w  m3 `, N神经网络左侧输入一些列数字，神经网络会按照圆圈里的计算规则及连线的权重，把数字从左到右计算和传递，最终，从最右侧的圆圈输出一系列数字。
9 }9 k7 ~4 k; l  k4 b/ r& E% I
3 U- q* h/ U) A/ E
; x. u" O1 Y/ L
4 R$ z- O; Q* R$ @那如何让神经网络画一幅画？

" e6 _9 L6 [# g



0 O' v; f$ l- W; R. x原理其实比较好理解，首先需要将图片转化成计算机能理解的数字语言，对于计算机而言图片就是一串数字，每个像素颜色由 3 个 RGB 数值表示。
然后将一串数字输入到没有训练过得神经网络模型，也会生成一串数字，只不过解码后可能就是一张乱码图片，所以需要大量数据和不断调整算法参数的权重，最终训练一个能画猫的模型。例如当输入图片猫或文字猫，都能转化成一串数字到模型中，输出一个正确的猫图片。
图像生成模型是在不断演化的，从最早的 VAE 到风靡一时的 GAN，到当今的王者 Diffusion 模型，那我们接下来介绍下不同模型的技术原理是什么。
三、主流的图像生成模型解析
& {6 T* z" q+ @: [$ Y 1. VAE — 打开生成模型的大门
) a, e8 Z- ?1 [5 u' w* \! i
2 p# f& Z3 S2 v' \4 E# Y8 y% g

/ q& |* }8 X# B- N; _* n7 K2 w" \VAE 是 AE 的升级版本，AE 由一个编码器网络和一个解码器网络组成。编码器将输入数据映射到潜在空间中的隐变量表示，解码器则将隐变量映射回重构的数据空间。
如上图，假设有一张图像，通过编码器提取了多种特征，比如特征 1 字体颜色、特征 2 字体粗细、特征 3 字体形状。传统的自编码器对输入图像的潜在特征表示为具体的数值，比如颜色 =0.5，粗细 =0.8，形状 =0.6。这些数值通过解码器恢复出于原图像相似的图像。
% b5 r$ q$ U: i3 r& E那这样的模型解决什么问题呢？
主要应用在降维 / 可视化和去噪的场景中。
- q; u9 a' u% h" ]9 ~* j我们生活存在大量的文本、图像、语音数据，这些数据存在大量的冗余信息，理论上是可以用极少的向量来表示，所以可以用来图像压缩处理，这跟传统的图像压缩技术完全不一样。后面讲到的 stable diffusion 模型就用到 AE 的潜空间来进行低维度的降噪和生成真实图像。
5 L# b3 }; F2 Q. @3 M8 a0 f8 |3 E在应用场景中也能发现，他仅适合用于重建图像，不适用于生成新的图像，所以有了 VAE 的诞生。

, u7 A: x$ g" @% u2 s# y! L2 x
8 G# [5 w$ L( B( H4 h, `9 f8 X
VAE 与 AE 的区别在，VAE 在编码器输出的分布曲线值，而非离散值，这样的话输入的图像就跟压缩向量就不是直接对应关系，这样就可以生成新的图像。
/ ]3 m2 |: U+ z* [: B4 n  k如上图，我们将每个特征通过概率分布进行表示。比如颜色的取值范围为 [ -1,1 ] ，粗细的取值范围为 [ -3,3 ] ，形状的取值范围为 [ -5,5 ] 。我们可以在范围内对每个特征进行取值，然后通过解码器生成新图像。例如给一张人脸可以生成不同表情的人脸。
: Q8 g2 p& c& Y2 C+ NVAE 不仅除了应用在压缩、去噪和生成新的图像也可以应用在图像分割上，例如自动驾驶的道路检测。
但 VAE 生成图像存在局限性，生成图像的质量不高，存在模糊和不真实。
6 t3 f9 u. v) Z6 q1 E


2. GAN — 创建 " 以假乱真 " 的新数据
2 l: M5 ]) I7 J$ [" l: ]4 |! Y


GAN 包含了两个模型，生成模型（Generator ) 和判别模型（Discirminator）, 给生成模型随机输入噪声，生成图片；给判别模型输入真实数据和生成的图片，判别生成的图片是真的还是假的。
" J8 o3 G9 R2 A3 e1 y) `刚开始生成器生成的图片给判别器，判别器一看就是假的，打回去让生成器重新生成，同样判别模型也要提升自己的判别水平，经过无数次的对抗，直到生成模型生成的图片骗过判别模型。
GAN 的应用场景有哪些？
GAN 的应用场景非常广泛，在图像生成，生成不存在的人物、物体、动物；图像修复、图像增强、风格化和艺术的图像创造等。不一一列举，想要详细了解的可以看链接：https://zhuanlan.zhihu.com/p/75789936
+ K  s& {  V( b3 `, L曾经大红大紫的 GAN 为什么会被 Diffusion 取代 ?
1 P4 Q! M9 K2 U! ~9 D+ n4 g$ R. p1.GAN 的训练过程过程相对不稳定，生成器和判别器之间的平衡很容易打破，容易导致模型崩溃或崩塌问题 ;
2. 判别器不需要考虑生成样品的种类，而只关注于确定每个样品是否真实，这使得生成器只需要生成少数高质量的图像就足以愚弄判别者 ;
+ n+ e* k7 S- c  Q6 @3. 生成的图像分辨率较低 ;
因此，以 GAN 模型难以创作出有创意的新图像，也不能通过文字提示生成新图像。
3. Diffusion — 图像生成模型的皇冠
8 L! S0 k& m# O目前主流国内外靠谱的图片生成技术主要基本都是基于 Diffusion Model ( 扩散模型 ) 来进行的实现，包括不限于 Stable Diffusion MidJourney 、 OpenAl DALL.E 、DiscoDiffusion、Google lmagen 等主流产品，但是实际技术在处理方面又各有区别，也导致会有不司的表现形态，核心一方面是底层模型训练的图语料不同，另外一个方面是一些算法方面的微调区别。
Diffusion 模型生成图片的过程可以理解像是石雕的过程，从一块石头经过不断的雕刻变成一件艺术作品，从一个噪点图像不断去噪生成一张真实图像。
& }9 j1 f( x; r

& p' o) D0 }8 \, i' p+ Z7 X. o
+ c; s. X/ P5 Q+ [  q0 y  `9 \' T那扩散模型是怎么训练的？
Diffusion 模型的训练可以分为两个部分：
; I* E( ]( ^6 F/ _7 r3 D" m' ]前向扩散过程（Forward Diffusion Process） —— 向图片中不断添加噪声，直到图片变成完全的噪点图片的过程。
& ^- S" T2 w& ?8 z9 f7 l$ N* b反向扩散过程（Reverse Diffusion Process） —— 是将噪点图片不断的还原为原始图片的过程。



) W. i+ H: @+ U- n$ Q2 _3 N- w官方给出的有 3 个训练步骤，如下图：
对于每张图像先随机生成一个长 T，T 表示从一张原始图到高斯噪声图要多少次。
4 `" Z& }: x1 o  s; r5 |0 {# H9 K$ R给原始图片添加 T 次高斯噪声，不同 T 时图像添加的噪声深度会有所不同。
0 ?/ {) P4 y) ]3 i- f将 T 和对应的图片放入到 UNet 模型中训练，这样还原图片就能预测 T 步骤中的噪声。

2 u. N! J9 s7 x+ N8 n$ h
+ G; I7 O) c' L( }+ r) y* [
反向扩散训练过程步骤如下图：
2 o5 a$ P- k6 _& Y采样一张高斯噪声图，假如 T 设置为 1000
将高斯噪声和 T 输入到 UNet 模型中预测噪声，下一步的高斯噪声为上一步高斯噪声减去预测噪声，以此步骤直到 T 为 0
T 为 0 时还原最终的图像
, y) e* V3 w% o% W* n1 c8 a4 S

  ]/ [) U7 d8 F: t& ^
! `- ]0 B$ _2 `( f- jDiffusion 模型的大数据训练，数据训练来自于 LAION-5B 包含 58.3 文本 - 图像对，并且是筛选了评分高的图片进行训练。通过大数据模型训练，让模型具有生成图像的能力。有了生成图像能力还不够，需要能听得懂需求的能力，根据文字输入就能生成图像。
8 K: M4 R9 s1 @0 q; Z: T' c 4. CLIP —打造图文匹配
CLIP 是 OpenAI 在 2021 年开源的模型，一种基于对比文本 - 图像对的预训练方法或者模型，确保计算机在文字描述和图像之间形成互通。
, ~$ q! N8 I& t7 m/ j在 CLIP 推出一年后，几个开源社区的工程基于 CLIP+Diffusion 就开发了 Disco Diffusion, 后面的 midjourney 和 stable diffusion 模型都有使用 CLIP 模型。


0 X$ Y. |1 i* I! ^, o& X
& ]9 o# \8 C8 V0 L据统计，CLIP 模型搜集了网络上超过 4 亿的 " 文本 - 图像 " 作为训练数据，为文本生成图像 / 视频应用的落地奠定了基础，实现了跨模态的创新。

4 ~. f& j. B1 K- ?  `* C

以上图像生成相关的模型都以解析完，那我们拿 Stable Diffusion 来进行梳理下整个图像生成的流程是怎么样和整体架构 , 其他图像生成模型大致也差不多。
1 l; y7 ]! c) y4 T/ l8 s0 p1 G' { 5. Stable Diffusion 模型结构
Stable Diffusion 主要有三部分组成，像素空间、潜在空间 、条件机制。
像素空间 : 使用的 AE 模型将图像压缩到潜在空间训练和将生成的低维向量转化成真实图像，这样提升生成速度和降低算力要求。
潜在空间：Diffusion 模型在潜在空间进行加噪和去噪的训练 , 去噪的过程需要导入条件，生成符合预期图片。
$ l# }+ H! P+ Q  A  f) _/ |4 g条件机制：条件可以是文字、图像、音频、视频，将条件转化成向量值，作为 Diffusion 模型生成过程中的引导因子。

# s/ |$ V9 m* C- _
; |; }2 s9 B* D6 v9 P
) j2 Z4 ^$ u& JStable Diffusion 图像生成流如下：



通过以上扩散模型原理大致也明白 AI 生成的图像带有较大的随机性，生成的每张图像都不一样，这种随机性带来的好处是无穷无尽的想象力，但同时也面临着不可控，有点靠运气，生成理想的图像只能多尝试。AI 绘画想要扩大商业化落地，必须要解决精准可控性问题。
四、AI 绘画的可控性有哪些
% g; O/ H2 d+ G. p' ~: }! [, j& q) p除了输入文字、垫图的方式还最流行的微调模型叫 Lora 和最近几个月更新的 Controlnet 来控制图片的生成，这几个小模型可以理解为 Stable Diffusion 的一种插件。
& e1 z. y3 s- j% i7 X& i 1. Lora 模型
* v8 }& s! A2 |在不修改 SD 模型的前提下，教会利用少量数据训练出只可意会不可言传的风格，实现定制化需求，对算力的要求不高，模型适中在几十 MB 大小。
0 k1 h) w+ }7 q6 v: K, `2 aLora 必须搭配在 SD 模型上一起使用。
( c1 ^) @1 T8 N8 D$ ELora 可以自己训练也可以在著名的模型分享网站 https://civitai.com/ 上下载，有大量 Lora 模型，其中 SD 模型仅有 2000 个，剩下 4 万个基本都是 LoRA 等小模型。
' M6 q% Z3 v8 o# k' s9 {: B( `, b例如想要生成下面风格的汽车，我们找到这款不同角度的一些图片作为 Lora 训练。生成汽车的风格跟想要风格汽车很相似。
0 \& m1 u) m, O1 S& H; _% R8 ~

& h# d( ~$ u4 K* n4 g5 [( a9 P; Z/ w
+ G5 |* W/ W1 k# m# K- x

+ k3 W( Z" H- Z; ?' ~& [# }4 n, h微调模型不止有 Lora 模型，还有 Textual Inversion、Hypernetwork、Dreambooth。只是 Lora 模型比较稳定，使用门槛相对低，所以目前比较流行。
. R! q% c: \" e% ` 2. Controlnet 模型
0 a9 W" J0 |6 w0 V  {. S
% h3 m5 f6 g, `1 k% T$ [
6 O+ c- j( ~9 Q% W$ D0 t
7 n/ u% w' k4 j9 BControlnet 就是控制网的意思，其实就是在大模型外部通过叠加一个神经网络来达到精准控制输出的内容。很好的解决了单纯的关键词的控制方式无法满足对细节控制的需要，比微调模型更进一步对图像生成的控制。
想要对 Controlnet 有更详细的了解可查看如下链接：
https://zhuanlan.zhihu.com/p/625707834
6 ]- ~! h- ~: p& O) qhttps://mp.weixin.qq.com/s/-r7qAkZbG4K2Clo-EvvRjA
https://mp.weixin.qq.com/s/ylVbqeeZc7XUHmrIrNmw9Q
7 @% D2 v$ `9 |! ^, i, H 五、AI 绘画的技术研究趋势
" B7 s7 m, y# x: a7 c 1. 更强的语义理解
5 @9 s& z: m$ a$ N' ?6 Q: R# T使用 AI 绘画生成高质量、精美的生成图像需要在在 prompt 做很多努力，可见 prompt 对最终效果的影响。因此，如何降低用户使用 prompt 的门槛，让 AI 更能理解语义，值得研究的方向。
" s( P9 a0 G- I# D: v8 C5 x, I 2. 更精准可控生成
目前可控生成是一个大火的领域，也有像 ControlNet 这样的精品，可以通过输入简单的线稿图、人体姿态图、分割图、深度图等生成满足条件的内容，但距离真正的精准控制仍有差距。可喜的是，可控生成发展得越来越快，精准控制并不是遥不可及，图像生成 AI 也会随之拓展其应用边界，如一致性的视频生成、精确的构图设计都会改变许多领域的工作方式。
最近，来自马克斯普朗克计算机科学研究所、MIT CSAIL 和谷歌的研究者们研究了一种控制 GAN 的新方法 DragGAN，能够让用户以交互的方式「拖动」图像的任何点精确到达目标点。
这种全新的控制方法非常灵活、强大且简单，有手就行，只需在图像上「拖动」想改变的位置点（操纵点），就能合成你想要的图像。
9 u% t5 J3 d  ]

. \; z' D+ M* q6 ^
  }! |- X0 ~" A7 D2 y' o" j

* i1 W- h1 b9 f 3. 运算速度更快
影响 Diffusion 在生成图片的速度除了显卡的性能，很重要一个原因是，每生成一张图片需要去噪 1000 次，速度相对还不是很快，为了能在解决这个问题，OpenAI 曾在 3 月发布了一篇重磅、且含金量十足的论文「一致性模型 Consistency Models」，在训练速度上颠覆了扩散模型，能够 『一步生成』 ，比扩散模型更快一个数量级完成简单任务，而且用到的计算量还要少 10-2000 倍。
以上就是从图像生成技术里程事件到对图像生成技术的科普以及未来的发展趋势分析，我相信通过以上内容很容易就理解了 AI 绘画背后的技术。下一篇对 AI 绘画产品商业化落地进行分析。
作者：Rzhiyi，8 年产品经理经验，做过 AI 皮肤检测系统和 SaaS 类产品
本文由 @Rzhiyi 原创发布于人人都是产品经理。未经许可，禁止转载。
6 a) @# ]  P6 b题图来自 Unsplash，基于 CC0 协议
提供信息存储空间服务。