本科生 60 行代码教你手搓 GPT 大模型，技术介绍堪比教程 ...

ove兲使哋寶赑

机器之心报道
机器之心编辑部
GPT 模型实现起来有时也很简单。
当前，大型语言模型（LLM）被认为是人工智能突破的方向。人们正在尝试用它们做各种复杂的事情，比如问答、创作、数学推理以及编写代码等。近段时间 ChatGPT 持续的爆火是最好的例证。
然而，对于机器学习从业者来说，大模型的门槛很高：因为体量太大难以训练，很长时间里这个方向一直被大公司垄断。不过最近，简化 GPT 模型的方法越来越多了。1 月中旬，前特斯拉 AI 高级总监 Andrej Karpathy（现已回归 OpenAI）就发布了从零开始构建 GPT 模型的完整教程。不过训练出的 GPT 和 OpenAI 的 GPT-3 比较，两者规模差距达 1 万 - 100 万倍。
: m0 o2 K* ^  ~* V8 C6 h2 k! j; k  I6 `近日，加拿大麦克马斯特大学的一位软件工程本科生 Jay Mody 在导入 NumPy 库下，仅用 60 行代码就从头实现了一个 GPT 模型，并将其命名为 PicoGPT。不仅如此，他还将经过训练的 GPT-2 模型权重加载到自己的实现中，并生成了一些文本。下面为 60 行代码展示。

3 d7 J7 ~" v8 c! k7 G' ~# T) @' V
' Z" [, ~% p/ K$ t  e
不过要做到这些，你需要熟悉 Python 和 NumPy，还要有一些训练神经网络的基本经验。作者表示，这篇博客旨在对 GPT 进行简单易懂的完整介绍。因此，作者只使用已经训练的模型权重来实现前向传递代码。
9 ~1 ~2 O5 g$ ]) v9 K) u3 z
1 E2 B5 p) l8 j" v% w% _
) Q2 {/ w* k/ r7 c. o: F4 J
! O2 L5 i; f' w* Y: l1 D$ M) o4 R$ @7 @代码地址：
https://github.com/jaymody/picoGPT/blob/29e78cc52b58ed2c1c483ffea2eb46ff6bdec785/gpt2_pico.py#L3-L58
2 n( u: l& T# c5 E, m, Z% ^# n: S对于此项研究，Andrej Karpathy 给出了四个字：虽迟但到。想当初，Karpathy 构建的 minGPT 和 nanoGPT 还要 300 行代码。


! w% X' U7 g3 O/ W: e3 Q( H$ n8 |
" D5 J1 v% ?) ^; d值得一提的是，这篇教程不是完全零门槛的。为了让读者明白，作者首先介绍了什么是 GPT、它的输入、输出如何等其他内容，介绍得都非常详细。

( q6 K- ~+ R- M

3 ~8 E8 e( Y( Y0 _1 w至于 GPT 到底能干什么，作者给出了几个示例，它能写电子邮件、总结一本书、给你 instagram 标题的想法、向 5 岁的孩子解释黑洞、用 SQL 编写代码等。
8 z: y) M) @& N# u  `& F8 P7 E通过仔细阅读这部分内容后，你能大致了解 GPT 的一些基础知识。有了这些背景介绍，接下来就是如何设置了。
项目介绍
设置
这一章节主要介绍了如何设置编码器、超参数以及参数。

: c; Z5 ^+ t( Z& J5 [

% B3 C, R. g; |% V3 O你要做的，首先是克隆代码库：
) Q, A9 B/ W; v
* X9 p. }- e5 L. y/ E

" v& E9 Y3 X8 b) [6 v然后安装依赖项：

4 Y1 H, G+ U( ]  {. O

% [$ X5 W6 ^: v" J注意，如果你使用的是 M1 Macbook，在运行 pip install 之前，你需要在 requirements.txt 中将 tensorflow 更改为 tensorflow-macos。在这个项目下，文件包括 encoder.py、utils.py、gpt2.py、gpt2_pico.py：
& K2 m% B% _! m- Rencoder.py：包含 OpenAI BPE Tokenizer 的代码，直接取自 gpt-2 repo；
2 v+ h8 z0 \) }" o( w- I  r$ Zgpt2.py：包含 GPT 模型和生成代码，可以将其作为 python 脚本运行；
: s' ~9 ?) o2 q& K9 E, f. [# \3 Ggpt2_pico.py：与 gpt2.py 相同，但是代码行数更少。
其中 gpt2.py 需要从头开始实现，因此你要做的是先删除 gpt2.py 并重新创建一个空文件：
- d6 |) l0 j' i) F& y8 b
6 a* h6 M2 U9 g9 l: u/ T

然后将下列代码复制到 gpt2.py 中：


' t6 k* {) Z( o5 ^, T- S
上述代码包含 4 个主要部分：
' i2 [7 G7 r# J8 [( X; @, Hgpt2 函数是本次实现 GPT 的实际代码；
generate 函数实现自回归解码算法；
main 函数；
fire.Fire ( main ) 将文件转换为 CLI 应用程序，以便最终可以运行代码：python gpt2.py "some prompt here"。
, b6 T: |) T% h5 S0 e1 pmain 函数包含有 encode、hparams、params 参数，执行下列代码：



设置完成之后，作者开始介绍编码器、超参数、参数的一些细节内容。就拿编码器来说，本文的编码器和 GPT-2 使用的 BPE tokenizer 一样。下面是该编码器编码和解码的一些文本示例：
* D2 t) H$ s* ^7 `  c& Q
7 e3 L5 J1 ?& Z+ Q& F+ W/ {
# P! B7 f. m8 `0 O
实际的 token 长这个样子：

* [4 s4 Z! M$ L7 p) b

需要注意，有时 token 是单词（例如 Not），有时它们是单词但前面有一个空格（例如 all， 代表一个空格），有时是单词的一部分（例如 capes 被拆分为 cap 和 es ) ，有时它们是标点符号（例如 .）。
BPE 的一个好处是它可以对任意字符串进行编码，如果遇到词汇表中不存在的内容，它会将其分解为它能理解的子字符串：



更细节的内容不再赘述。接下来介绍基础神经网络，这一部分就更加基础了，主要包括 GELU、Softmax 函数以及 Layer Normalization 和 Linear。

  y1 p0 w4 s( C3 v! ^

) p8 u, g8 o: U每一小部分都有代码示例，例如在 Linear 部分，作者展示了标准矩阵乘法 + 偏置：
- Z7 C/ }/ g: S8 _0 r

' P1 s. j& J" z$ x
线性层从一个向量空间投影到另一个向量空间的代码如下：

4 H7 ~8 X# m8 y' n; h, _
  B2 [. X, h  W6 P
GPT 架构
) o# F# x' r* y9 b1 R! ^这部分介绍 GPT 自身架构。
& Y- V  W  ^; w" r: h9 P

- t: v0 m# g, r
  B: m, l3 w. ^; C& _! \6 N% ]( ?Transformer 架构如下：
5 E  i; x- E) |2 x! g


  U' F& T  ^: V' O' }7 g3 j% PTransformer 仅使用解码器堆栈（图的右侧部分）：

5 R4 v( J8 d0 u3 I9 R
6 g. G: O9 `% W$ \
需要注意，由于摆脱了编码器，中间的交叉注意力层也被删除了。
! p& e$ O$ z6 p在高层次上，GPT 体系架构有以下三个部分：
7 x+ J+ F/ [+ G4 \3 H/ n) Q) f. J文本 + 位置嵌入；
Transformer 解码器堆栈；
投影到词汇表。
5 Z) {5 {/ ~+ v代码就像下面这样：

; D4 f+ g3 F/ y! Y

; I' u) E3 \3 `' K5 o& L8 v代码部分截图
! F: d8 n5 T. Z, h- P# y2 X接下来更详细地分解以上三个部分中的每一个部分，这里也不再赘述。
2 n/ g5 q, }: U: {  N以上就是作者对 GPT 的实现，接下来就是将它们组合在一起并运行代码，得到 gpt2.py。它的全部内容只有 120 行代码（如果删除注释和空格，则为 60 行）。
5 }: [# I3 B" _* W* }" p$ J3 g作者通过以下方式测试结果：
8 E/ `6 h% L# T; k  R: U
' n8 Y6 f, ?9 S1 U+ l8 ]1 M

输出结果如下：
3 z9 U- ^+ `* A3 K* w
1 J# N5 _2 g/ H7 Q
' F$ l* k, J. V* l5 a. D
正如作者说的：这次实验成功了。
本文只是跟着作者的思路大概介绍了整体流程，想要了解更多内容的小伙伴，可以参考原文链接。
# `6 F: }  }  A6 O# r原文链接：https://jaykmody.com/blog/gpt-from-scratch/#basic-layers
5 d9 m) g7 f: |% `1 T% u全面学习 ChatGPT，机器之心准备了 89 篇文章合集
这是一份全面、系统且高质量的 ChatGPT 文章合集，我们筛选出来了 89 篇相关文章，设计了阅读框架与学习路径，大家可以根据自己的需求进行浏览与研读。合集内容包括：
- K2 I( q: X" B* FChatGPT 及 OpenAI 大事件时间轴
概念 · 真正搞懂 ChatGPT：共 3 篇文章
5 Z- u9 G+ Y; _. j- v: V2 E& P4 k研究 · GPT 家族更迭：共 16 篇文章
八年 · OpenAI 的历史与现在：共 13 篇文章
干货 · GPT 相关研究与技术：共 18 篇文章
% Q1 a# }$ o3 k! E# Q7 I观点 · 专家谈 ChatGPT：共 8 篇文章
行业 · 应用与探索：共 23 篇文章
行业 · 同类产品：共 8 篇文章
+ e+ x( W0 z! W THE END
: ^% f9 T  A: }! l9 r投稿或寻求报道：content@jiqizhixin.com