手动计算深度学习模型中的参数数量

disconnect

本文为 AI 研习社编译的技术博客，原标题 ：
2 N1 V* r# z! b: L1 a! V" eCounting No. of Parameters in Deep Learning Models by Hand
: Q: l- M# C  _$ q9 V4 {( k  C翻译 | Snowdrop99
校对 | 斯蒂芬·二狗子 审核 | 酱番梨 整理 | 立鱼王
$ M2 s# U  i, ?( X4 J9 _6 E0 v原文链接：
注：本文的相关链接请访问文末【阅读原文】
4 w( \# C2 }" [) t3 P! X$ `- _摄影：Andrik Langfield，来自Unsplash
% B/ q' s' S$ U# {1 q
为什么我们需要再次计算一个深度学习模型中的参数数量？我们没有那样去做。然而，当我们需要减少一个模型中的文件大小甚至是减少模型推理的时间时，我们知道模型量化前后的参数数量是派得上用场的。（请点击原文查阅深度学习的高效的方法和硬件的视频。）
计算深度学习模型中可训练参数的数量被认为是微不足道的，因为你的代码已经可以为你完成这些任务。但是我依然想在这里留下我的笔记以供我们偶尔参考。以下是我们将要运行的模型：

! ?3 }( W4 _' s$ v* P$ n
• 前馈神经网络 (FFNN)
  ) ]6 y) X* g1 L
• 循环神经网络（RNN）
  
• 卷积神经网络（CNN）
  

与此同时，我会用Keras的API创建一个模型，以便简单的原型设计和代码的整洁，因此我们在此快速import导入相关的对象：
from keras.layers import Input, Dense, SimpleRNN, LSTM, GRU, Conv2D
0 F" U1 b6 `9 K. {4 Bfrom keras.layers import Bidirectional
from keras.models import Model建立模型后，使用model.count_params来查看有多少参数是可训练的。
* ^$ E* E. {& s1 X1. FFNNs
9 S4 x) T4 f7 q, ?

• i, 输入大小
  
• h, 隐藏层的大小
  ' T" f# X  r% y' C3 B* r) f9 m
• o, 输出大小
  , h+ ?: T. `# l" l. o8 p+ R2 V) c

对于一个隐藏层，
7 J+ G' _% o+ Q: [! Z参数数量
=层间的连接+每层的偏差
9 \2 H9 A' }" B, x: U# t) X3 _4 }=（i×h+h×o）+（h+o）
, X0 [  ?4 M+ m  R3 N) p1 r例1.1：输入大小为3，隐藏层大小为5，输出大小为2
图1.1：输入大小为3，隐藏层大小为5，输出大小为2的FFNN。图形反映了实际的单元数量。
6 G! q6 S: U" k2 V& B* ~2 A

• i = 3
    s% L6 A( a8 }& X& X
• h = 5
  , [( y7 c1 |1 B: E
• o = 2
  9 G( m8 {+ [* ~

参数数量
=层间的连接+每层的偏差
=（3×5+5×2）+（5+2）
' u" K- |3 T3 r  b( C; G=32
, Z+ c$ r, s* I  @7 O/ E2 X input = Input((None, 3))
dense = Dense(5)(input)
output = Dense(2)(dense)
model = Model(input, output)例1.2：输入大小为50，隐藏层大小[100,1,100]，输出大小为50
( c- l8 n" y% _1 u
图1.2：3层隐藏层的FFNN。图形没有反映出实际的单元数量。

  }+ X  d# @' [- s3 v# ?
• i = 50
  4 F7 J. w6 ?$ G! c
• h = 100, 1, 100
  0 @! X) h& D* R$ W; Z
• o = 50
  2 J: P& I  A6 z- Y, P3 ~9 F, G

参数数量
=层间的连接+每层的偏差
=（50×100+100×1+1×100+100×50）+（100+1+100+50）
  A' b  Z3 Z6 Q: T=10,451
0 Q3 p. V; H  s9 c. [/ winput = Input((None, 50))
dense = Dense(100)(input)
3 o$ K# }6 u# H1 }$ V$ A% D# J dense = Dense(1)(dense)
! g; P$ d: _# c8 R( u; }, t dense = Dense(100)(dense)
% w% d5 x+ D+ {2 j8 T2 z) l" K9 Youtput = Dense(50)(dense)
; c1 G$ Y$ ]. m* l. r model = Model(input, output)2. RNNs

• g, 一个单元中的FFNNs的数量（RNN有1个，GRU有3个，LSTM有4个）
  " f2 ^2 Z( ~0 H7 }0 I
• h, 隐藏单元的大小
  
• i,输入的维度/大小
  

因为每一个FFNN有h(h+i)+h个参数，则我们有
参数数量=g×[h(h+i)+h]
例2.1：LSTM有两个隐藏单元，输入维度为3.

6 k# a4 K: p* s) h* \8 A图2.1：一个LSTM单元。

$ E0 h+ c& ~+ L# W( S2 M# {, ^
• g = 4 (LSTM有4个FFNN)
  ! l5 P, {/ q! K% l
• h = 2
  ! u0 p, r- u1 T, k2 f. ]
• i = 3
  1 S3 B( D- \& A0 |" G6 M

参数数量
: \7 i$ w. p2 e7 ?/ F+ {) k= g × [h(h+i) + h]
= 4 × [2(2+3) + 2]
= 48
! u0 j% P' ?4 {- q; Vinput = Input((None, 3))
lstm = LSTM(2)(input)
* q5 g; G- u4 s7 S2 J0 b  Gmodel = Model(input, lstm)例2.2：堆叠双向GRU有5个隐藏单元，输入大小为8（其输出是级联的）+LSTM有50个隐藏单元。
5 l( u! s' V; Q4 q2 B5 B' e图2.2：一个堆叠RNN包含有BiGRU和LSTM层。该图形没有反映出实际的单元数。
双向GRU有5个隐藏层，输入大小为10，

• g = 3 ( GRU有3个FFNN)
  / f" s5 w7 F: _% O2 L" d6 F: z9 W
• h = 5
  4 I- F7 ?7 a5 w1 b; {2 G
• i = 8
  

第一层的参数数量
+ Z% J6 |: w* c= 2 × g × [h(h+i) + h] (由于双向性，则第一项是2)
= 2 × 3 × [5(5+8) + 5]
= 420
LSTM有50个隐藏单元
& f& I. |7 }* I, V  L: F

• g = 4 (LSTM有4个FFNN)
  & k/ x8 K, }! }0 v  N$ j* J  ]; L
• h = 50
  ' B. g7 {8 }9 W0 O7 g
• i = 5+5 (双向GRU级联的输出；GRU的输出大小为5；隐藏单元数同为5)
  

第二层的参数数量
0 O8 \- k. @/ P. I4 d- h= g × [h(h+i) + h]
= 4 × [50(50+10) + 50]
= 12,200
( D# y9 _' J/ G: i) l: b总的参数数量= 420 + 12,200 = 12,620
1 k' O6 C  X$ R8 Q% O* X. binput = Input((None, 8))
) w$ S/ ^8 Q1 Rlayer1 = Bidirectional(GRU(5, return_sequences=True))(input)
; s) V) X# [! [& q2 p0 ?layer2 = LSTM(50)(layer1)
model = Model(input, layer2)merge_mode默认是串联的。
CNNs对于一层，
; Z4 J' D: m# h' }6 u

• i, 输入映射的数量（或通道）no. of input maps (or channels)
  7 Z  Z& n1 `' _1 R+ ?, w
• f, 滤波器大小（仅仅是长度）filter size (just the length)
  
• o, 输出映射的数量（或通道。这也由使用了多少滤波器来定义）
  

一个滤波器被应用于每一个输入映射。
参数数量
  w" {& ^$ y. I: f& }= weights + biases
) y; v7 V( x) L6 G" s= [ i × ( f × f ) × o] + o

$ X* D5 O& G  f例3.1：1×1滤波器的灰度图，输出3个通道
图3.1：使用2×2滤波器对灰度图像进行卷积以输出3个通道。 这里有15个参数--12个权重和3个偏差。

* a3 l6 g# ^0 P2 J8 l2 W6 G
• i = 1 (灰度图只有一个通道)
  
• f = 2
  3 \5 k. z' S5 i* m4 B7 {1 w  Q. J
• o = 3
  

参数数量
% Y1 U( ]# ]* a1 X= [ i × ( f × f ) × o] + o
= [1 × (2 × 2) × 3] + 3
= 15
input = Input((None, None, 1))
conv2d = Conv2D(kernel_size=2, filters=3)(input)
model = Model(input, conv2d)例3.2：RGB图像有2×2滤波器，输出一个通道
每一个输入特征映射都有一个滤波器。产生的卷积按元素添加，并且向每个元素添加偏差项。 这给出了具有一个特征映射的输出。
, \/ f# ?& c6 e3 A 图3.2 ：使用2×2滤波器对RGB图像进行卷积以输出一个通道 。这里有13个参数--12个权重和一个偏差。

6 `2 U, ~6 I* T# Z
• i = 3 (RGB图像有3个通道)
  
• f = 2
  ) x5 C8 j! _* z4 m
• o = 1
  

参数数量
' Q' L7 z( {& W  N& @+ ^) s* E= [i × ( f × f ) × o] + o
= [3 × (2×2) × 1] + 1
% a( X2 B4 |1 Q, U( W= 13
input = Input((None, None, 3))
conv2d = Conv2D(kernel_size=2, filters=1)(input)
& ~( L, x& L7 _: @7 K6 n model = Model(input, conv2d)例3.3：一张图像有2个通道，2×2滤波器和3通道的输出
每一个输入特征映射有3个滤波器（紫色，黄色，青色）。产生的卷积按元素添加，并且向每个元素添加偏差项。 这给出了具有3个特征映射的输出。
图3.1：对一个2通道的2×2滤波器的图像进行卷积以输出3个通道。这里有27个参数--24个权重和3个偏差。
: M7 H1 G$ k3 [& H

& W* [' J) D2 v0 p
• i = 2
  
• f = 2
  , z5 V" L) L, s% r, B! o9 e
• o = 3
  

参数数量
= [i × ( f × f ) × o] + o
= [2 × (2×2) × 3] + 3
" ?8 d" D7 ~$ x+ W0 A  f= 27
input = Input((None, None, 2))
conv2d = Conv2D(kernel_size=2, filters=3)(input)
model = Model(input, conv2d)目前为止就这样了！ 如果您有任何反馈，请在下面留言！
5 {/ {4 }7 ?  K# }3 z想要继续查看该篇文章相关链接和参考文献？
7 |, ~, X. s- t- r
点击底部【阅读原文】即可访问：
2 v# D+ y3 }0 I. L- G0 f

来源：http://www.yidianzixun.com/article/0LfEMRXu
  d1 v7 G$ ^% M# ]) \  A% a免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！