|
|
始于谷歌,发迹于 OpenAI,这是很多 GPT-4 贡献者的职业轨迹。
. e' p. o' `# L8 s" I 这个星期,OpenAI 大模型 GPT-4 的发布让全球科技圈的技术竞争进入了白热化。几天之内,ChatGPT、必应搜索和 Microsoft 365 相继接入 GPT-4,微软的 AI 应用瞬间比竞争对手拉开一个身位,甚至有人说,新的工业革命开始了。* ]0 |, H; z& \! ~
一方面我们被 GPT-4 的效果所震撼,一方面我们也迫不及待的想要了解背后的技术,好奇它的训练方法、使用的算力等。
- C# F- z( j1 }" f/ L9 o 但遗憾的是,OpenAI 并不 Open。在公开的论文(其实更像技术报告)中,OpenAI 明确地说,GPT-4 模型使用 RLHF 精调外,不会公开任何技术细节。
# b! U) b4 O" f6 n: a5 S
[) w- E+ L y* l$ g& d0 A 鉴于 GPT-4 等大型模型的竞争性与安全影响,本报告不包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法等更多详细信息。- ]0 u! f) I/ l" _$ |
不过,在此报告中,OpenAI 详细列出了贡献者及其负责的工作内容。这值得我们细致研究。这几百人的贡献者名单与分类,能让我了解到 GPT-4 的成功背后包含了哪些部门、技术分枝的努力。0 ~" |' |" a$ \6 h2 ~5 k3 E7 g
在这篇文章中,我们对有代表性的贡献者进行了盘点,期待能为读者带来启发。
! f. z% q/ F; @0 u/ T# U1 P; a 研发人员占绝大多数9 I# H* D }6 L/ ]& U$ \. o
从组织架构的设置上看,GPT-4 幕后的研发团队大致可分为七个部分:预训练(Pretraining)、长上下文(Long context)、视觉(Vision)、强化学习 & 对齐(RL & alignment)、评估 & 分析(Evaluation & analysis)、部署(Deployment),以及其他贡献者(Additional contributions)。
3 g( ~+ D( i; b) C 预训练部分的工作细分为:4 O: i8 `8 L0 v' u/ j/ B/ A
计算机集群扩展(Compute cluster scaling)) Q6 p; V" N# b1 o; B; R
数据(Data)
7 m% [- {' X6 v% s3 h6 Q- O: N 分布式训练基础设施(Distributed training infrastructure)
- B4 c- I# f5 m; U7 ] 硬件正确性(Hardware correctness)
" U; {- a( A+ k+ Y 优化 & 架构(Optimization & architecture)
5 C2 |7 Y/ i+ N( ^; b5 k Training run babysitting- T" G* `; p M( b
长上下文部分的工作细分为:
! A# d7 q1 Z% w, z, J% V4 v 长上下文研究(Long context research)* M' f; D4 w5 r7 o
长上下文内核(Long context kernels)
; T# p8 y$ _# J8 U9 ? 视觉部分的工作细分为:
* |1 F+ b$ V5 A- [" r4 M8 ] 架构研究(Architecture research)
6 J! \' t9 ?8 b1 ]4 ], U2 D7 Q! q 计算机集群扩展(Compute cluster scaling)
; d6 n. f0 ?' p5 B 分布式训练基础设施(Distributed training infrastructure)" G8 }' T& s+ R" X$ u
硬件正确性(Hardware correctness)
3 d, a3 _+ S' W/ H: c7 l& C3 ? 数据(Data) g; K( N& U; {
对齐数据(Alignment Data)4 G& i! U# y9 C% ]
Training run babysitting
( ^3 l4 C4 l+ e- @3 c 部署 & 后训练(Deployment & post-training)5 C; Y( h; T' _, Q, @- T
强化学习 & 对齐部分的工作细分为:; ?1 {) T: N4 N( p7 C
数据集贡献(Dataset contributions)
' ^! e" G: P. G9 T( g* ~; J 数据基础设施(Data infrastructure)
% k9 C8 P. Y- B, ~9 K0 m ChatML 格式(ChatML format)
3 y* Y: V& t# C) [& G 模型安全(Model safety)
, t6 l- `7 R8 X8 R, u$ Q; U Refusals
# q) O8 X4 u! l) x/ s' o7 b 基础 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work)
) g' R- _( f+ ~( D# ^/ A Flagship training runs
- G* a; o4 Z- A/ Z" E8 y3 h 代码功能(Code capability)
2 @$ c# p- w& w; S( ]( X- p 评估 & 分析部分的工作细分为:) d; t" i1 { z% R$ R) G6 i6 n0 F2 {
OpenAI Evals 库* [% w" A6 B. \; l: p
模型等级评估基础设施(Model-graded evaluation infrastructure)
& O' c/ C% Y _ ? 加速预测(Acceleration forecasting)
1 C- }, e$ _* U0 | ChatGPT 评估
1 T) f2 O' K. w) I5 w4 d 能力评估(Capability evaluations)
9 l+ E% B9 Y2 G5 Q: D% N! q 编码评估(Coding evaluations)0 |- u3 X2 d% N2 B0 l
真实世界用例评估(Real-world use case evaluations)' O3 B$ `0 J5 |) p" l5 p' o7 D
污染调查(Contamination investigations)
) w2 r/ w& L8 H7 P+ {! J% O* ^ ? 指令遵循和 API 评估(Instruction following and API evals)
8 u7 X) ]5 C a" u$ _ 新功能评估(Novel capability discovery)! E1 x# M, K( o5 I2 J
……) A+ i( _. g4 J# b
细读贡献者名单,不难发现,GPT-4 项目团队的成员通常「身兼数职」。对于希望追赶 ChatGPT 的科技公司来说,OpenAI 提供的部门架构样板提供了一些可以学习的思路。另外,它对于 AI 领域人才的未来发展方向或许也有一些启示。
8 U* e/ A. A7 {0 U$ f 在 ChatGPT 发布之后,OpenAI 在人才招聘方面也做出了一些调整,招募了数十名前谷歌和 Meta 员工来创建人工智能聊天机器人。1 o/ t( h1 u" P/ Z* p% E* q
在 OpenAI 上,谷歌作为「硅谷黄埔军校」的名头算是坐实了:根据 LeadGenius 和 Punks & Pinstripes 的数据显示,该公司的 300 多名员工(数据截止到 2023 年 1 月)中有许多来自谷歌和 DeepMind 的母公司 Alphabet。数据显示,OpenAI 目前雇佣了约 59 名谷歌前员工和约 34 名 Meta 前员工,同时包括几名苹果和亚马的前逊员工。
+ X) a8 ~4 U$ X7 M2 T [! t# Y& R
5 [; q; o4 {% p 鉴于 OpenAI 在 GPT-4 发布的第一时间就公开了所有贡献者名单,机器之心整理了一部分参与工作的华人学者。如果遗漏,欢迎补充。" N/ _8 z8 d5 x6 `6 C& Y* L
预训练组
# _ O) R1 y' L+ C# W Trevor Cai+ g' {. y5 ~* L7 G- N8 s# n
Trevor Cai 是 GPT-4 项目中吞吐量团队的负责人。Trevor Cai 本硕毕业于南加州大学,2022 年 3 月加入 OpenAI。在加入 OpenAI 之前,Trevor Cai 曾在 DeepMind 工作近 5 年,担任软件工程师。
% G7 E- V0 h }9 O 袁启明. s/ ?. ?; p; _4 j3 w" O T0 U
; B) j7 _- d6 B
袁启明(Qiming Yuan)是 GPT-4 项目数据集来源和处理团队的负责人。袁启明本科毕业于清华大学,硕士毕业于得克萨斯大学奥斯汀分校,2018 年加入 OpenAI。此前,袁启明曾在微软工作近三年。
6 Q, C; L; q& z1 f Che Chang
0 q/ n" d& V% O( w$ P+ D1 _, r: |( [ Che Chang 作为 OpenAI 的副总法律顾问参与了 GPT-4 的研发,他博士毕业于美国西北大学,2021 年加入 OpenAI,此前在 AWS 领导了人工智能 / 机器学习和市场业务的法律团队。最近一段时间,OpenAI 的法律团队还在招聘 AI 产品顾问。' f5 n" ]& s, g: @
欧阳龙4 g+ H* j) y4 V$ W# y8 u F1 y0 ?
欧阳龙 2019 年加入 OpenAI,担任研究科学家。Long Ouyang 本科毕业于哈佛大学,博士毕业于斯坦福大学,曾在斯坦福大学任博士后研究员。欧阳龙也参与研发了 ChatGPT 相关的技术项目,他还是 InstructGPT 论文的第一作者。 O* b$ O6 |2 v5 t5 J
翁丽莲% \- h4 [& W2 d# T$ T& J
5 M) o9 k* z0 @- D. C- \
翁丽莲(Lilian Weng)是 OpenAI 人工智能应用研究的负责人,2018 年加入 OpenAI,在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。
; F7 z& G6 y# F$ \$ ^ Tao Xu# _+ q- q# e5 }6 J, b g& c# V
Tao Xu 2019 年加入 OpenAI,先后毕业于北京大学、康奈尔大学。Tao Xu 曾在微软的必应机器学习研究组工作四年。
) Z! ~; X9 b" y4 M3 S$ Z9 q* ], c Jie Tang2 X' ^7 r7 k) U! `
) e! t) ~ S% Y Jie Tang 在加州大学伯克利分校获得计算机科学博士学位,导师是 Pieter Abbeel。加入 OpenAI 前,他曾在初创公司和 Dropbox 工作约四年时间。Jie Tang 本科就读于哈佛大学,2008 年获得计算机科学和经济学学士学位。! \# i& e0 n! O. j
Ben Wang
3 }% e X- S2 f! j; V# D Ben Wang 目前是宾夕法尼亚大学本科生,2021 年加入 OpenAI。Ben Wang 参与了 GPT-4 项目的预训练和长上下文方面的工作。. y& x. z! A" D$ _- C$ W
视觉组
, G7 [4 c W4 m) } Mark Chen6 T- y, W( T3 k1 ^) k
2 J h2 q$ c; A
Mark Chen 2018 年加入 OpenAI,任研究科学家,毕业于麻省理工学院(MIT)。他参与了 GPT-4 项目中视觉方面的工作。" e8 V4 k; A; Q: k% i/ [
Casey Chu/ A. w5 ~ ~1 S2 u; u# x
Casey Chu2020 年加入 OpenAI,毕业于斯坦福大学计算数学专业。Casey Chu 的主要研究方向是多模态 AI 系统,他在 GPT-4 项目中主要参与视觉方面的工作。5 }- \6 y8 d; _& x
胡绳丽! o# c! y/ l/ a ~ ^. T/ q# _
4 v0 B8 c7 A, C8 f! x Q 胡绳丽(Shengli Hu)2022 年加入 OpenAI,她硕士毕业于复旦大学、博士毕业于康奈尔大学。她的研究兴趣在于社会科学、计算语言学、计算机视觉和语音的跨学科研究。胡绳丽曾在自然语言处理、计算机视觉、语音和应用统计方面的顶级会议和期刊上发表过多篇论文,包括 CVPR、ACL、EMNLP、ECCV 等等,并获得过最佳论文奖提名。
* a) X4 w& m$ O/ }7 t- R Tianhao Zheng3 T3 [0 K+ A/ |. i, @
Tianhao Zheng2022 年加入 OpenAI。他本科毕业于清华大学,博士毕业于得克萨斯大学奥斯汀分校。再加入 OpenAI 之前,他曾先后在英伟达、谷歌、Twitter 工作过。Tianhao Zheng 在 GPT-4 项目中主要参与了视觉方面的工作。* ]3 \- | d1 q$ v
翁家翌
7 Q/ G; [9 k& D2 X
; d2 B/ f$ {6 K( T7 @% E6 j' p 翁家翌(Jiayi Weng)2020 年在清华大学计算机科学与技术系获得本科学位。本科在朱军教授组学习期间,主要参与了强化学习算法库 Tianshou(天授)的开发,该项目已获得 5.9K GitHub Star。CMU 硕士毕业后,翁家翌加入 OpenAI 任研究工程师。
7 {8 G1 s6 d3 c% A4 R5 J 强化学习 & 对齐组" ~9 W. k ?# t
Chong Zhang
3 d2 z7 p: W& O9 v% \$ d, ^: _ . H" c; Y) ~) X3 b( t& F/ P
Chong Zhang 2010 年就读浙江大学计算机系,2014 年在加拿大西蒙弗雷泽大学获得学士学位,随后在谷歌、苹果公司担任工程师。2019 年就读加州大学洛杉矶分校,2021 年获得计算机硕士学位后,在 OpenAI 工作至今。" s# g4 f) P# `# o9 e+ C/ s1 g
Shengjia Zhao% Q- h1 L2 c: V3 d' d% O2 o! t
6 H& K5 o6 l4 @ `$ ~ Shengjia Zhao2016 年本科毕业于清华大学,2022 年在斯坦福大学获得计算机科学博士学位,师从 Stefano Ermon,随后加入 OpenAI。 j* `- y0 c4 Q6 M& c& l2 T
Stephanie Lin
+ C' l% `1 }+ a : \8 m1 Q/ C8 v# f5 |
Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入 OpenAI 之前,她曾是牛津大学研究学者。
+ J# I' e6 ?8 B' f; A# Y Tong Mu+ w: d2 R9 Y5 Q1 ]
[' [. y, w8 _7 D Tong Mu 本科就读于加州大学洛杉矶分校,后在斯坦福大学获得博士学位。2022 年加入 OpenAI。/ s7 d- h0 r- p. X
Jeff Wu7 C7 b- h* K5 J5 r
; E: Z7 t) i" a/ P g Jeff Wu 本硕均就读于麻省理工学院。他是初创公司 Terminal.com 的第二名员工,该公司被收购后,他曾在谷歌工作约 2 年的时间。2018 年,Jeff Wu 加入 OpenAI。7 z- K' z# ~4 }' E; D
肖凯! x6 Q4 R$ ^1 `' ]0 [5 n
4 O: b# u# m ~) Z- Z
肖凯(Kai Xiao)在麻省理工学院获得了学士学位和博士学位,曾在微软、DeepMind 等机构实习。2022 年 9 月加入 OpenAI。; {" L7 U) a* |4 j1 N
Kevin Yu
Z) J2 p1 E9 D. m( O ) A1 K( [7 D# ~! [0 t
Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022 年加入 OpenAI。) N* O# p. c' P# a: [3 Q, `4 i: Z
Haozhun Jin
' m4 M' d8 Z% L, G( E( ]
8 b3 B; m8 N" k4 @) M Haozhun Jin2013 年本科毕业于清华大学计算机系,2015 年获得斯坦福大学硕士学位。2015 年到 2018 年,他在 Meta 担任软件工程师,2023 年 1 月加入 OpenAI。
4 ?" Q \' X7 v5 o" Q8 K. m: W 顾世翔1 w6 G" b# u; m6 A
& K2 T7 m! H+ B0 i0 M1 | 顾世翔是出生于日本的加拿大华人,曾是谷歌研究院研究科学家,研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位,在多伦多大学获得了工程科学学士学位,论文指导教授为 Geoffrey Hinton。
7 B; p2 \- ]- m# q 评估 & 分析团队
1 r& _3 i/ b" I8 q Alvin Wang
. j) O) B: d9 z ' R2 s5 L$ ]4 d- \' ?" D
Alvin Wang2022 年 8 月加入 OpenAI,为评估 & 分析团队核心贡献者之一。此前他曾在 VMware、Tesla 等公司工作过几年。2013 年本科毕业于南加州大学。
0 Y* l3 j3 n/ b4 T. | Angela Jiang* v: t$ l" R0 M7 e8 s7 t9 }
5 @8 [! q8 b, g5 s0 m$ z Angela Jiang 于 2021 年 11 月加入 OpenAI,在微软和谷歌有过短暂的工作经历,她本科毕业于西北大学,于 CMU 获得博士学位。: {/ X+ U6 ^! X; z
Jason Wei
4 S2 a5 z: U6 B* ]4 Q( |0 e: }
5 N" H( h2 f1 y6 m Jason Wei 于今年 2 月加入 OpenAI,主要研究 ChatGPT。此前他是谷歌 Brain 的高级研究科学家,在那里推广了思维链提示,并共同领导了指令调优工作。他在谷歌和 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。6 m/ I4 q. t- e" _
Juntang Zhuang7 P) P* D0 o+ b/ ]. \
. z* s7 y, s0 U, q8 i
Juntang Zhuang 于 2022 年 4 月加入 OpenAI,此前曾在谷歌实习四个月。他本科毕业于清华大学,硕士毕业于耶鲁大学,并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。
, R; h% a5 U# q$ D% x2 [! h Derek Chen8 f/ p4 l5 d0 x' d+ s
: J5 b( j5 ]5 o( I |$ v+ j: i Derek Chen 于 2021 年加入 OpenAI,是一名技术安全分析师。他毕业于美国东北大学,此前在谷歌工作过不到一年的时间。3 R; S& g5 U" J7 N- t E
宋飏
" W \6 k5 e( N1 | / g9 y* H2 p! {: s
宋飏(Yang Song)目前在 OpenAI 担任研究员,并将于 2024 年 1 月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。宋飏本科毕业于清华大学数理基础科学班,2022 年获得斯坦福大学计算机科学博士学位,师从 Stefano Ermon。他的主要研究方向是机器学习,包含深度生成式模型(deep generative models),概率推理(probabilistic inference),人工智能安全性(AI safety),以及人工智能方法与其他科学领域的交叉(AI for science)。他是扩散模型(diffusion models)和分数匹配生成式模型(score-based generative models)的主要奠基人之一。他发表在 NeurIPS 2019 的工作首次在图片生成质量上实现了对生成对抗网络(GAN)的超越。博士期间他的一作论文获得了 ICLR 2021 杰出论文奖,相关研究获得了苹果奖学金、摩根大通奖学金,以及 WAIC 云帆奖。
5 S. i. p* R s, s, J# P2 E. x 模型部署! R+ B- u$ r+ }0 r
Michael Wu
7 x) L# |& w. u' J2 A
* x8 Y" g, c4 X, O$ y Michael Wu 2021 年加入 OpenAI,主要的工作是人工智能应用研究。Michael Wu 毕业于 MIT,是 GPT-4 项目的推理研究负责人。
5 F4 b& U4 p& N# k1 E6 h, } Andrew Peng8 j5 l2 B- t! ^4 i& Y
/ V- z( V' O' u# j( U) L* [' C
Andrew Peng 2022 年底加入 OpenAI,他曾经在微软工作两年。Andrew Peng 毕业于加州大学伯克利分校,主要参与 GPT-4 API 和 ChatML 部署方面的工作。* q8 J! U' w G# b
吴雪枫
3 s+ ]( J, {' c: M ; _, [3 v, q0 ?- v" [' R" L/ A; ]' z; W
吴雪枫(Sherwin Wu)2022 年加入 OpenAI,主要的工作是人工智能应用及 API 开发。吴雪枫毕业于 MIT,在 GPT-4 项目中主要参与 API 开发和 ChatML 部署方面的工作。% i1 e& t1 h& ? x+ O
Jason Chen: M3 Z9 s0 k$ c( P/ X! w- b1 e
( |/ Y; w2 X( [0 q6 }7 Q) P
Jason Chen 本科就读于麻省理工学院,2007 年到 2014 年期间在谷歌担任软件工程师,2014 年到 2019 年任职于初创公司 Apptimize,2019 年到 2023 年 2 月任职于 Argo AI,2023 年 2 月加入 OpenAI。
+ V' c* x* {! L 其他贡献者
; {+ w3 N/ U8 b1 z4 H' `, w Xin Hu* L! d! [& ^ I; z1 l- ]
2 r9 X5 z6 Y: A. H+ L Xin Hu 于 2022 年 6 月加入 OpenAI,主要负责开发用于云安全、k8s 安全、认证 / 授权和访问控制的安全服务和平台。) `6 T$ O$ j# j4 Y
此外,在 GPT-4 的开发上 OpenAI 也对微软表示了感谢,特别是微软 Azure 服务为模型训练提供了基础架构设计和管理方面的支持,微软必应团队、安全团队也对 GPT-4 的部署等工作作出了贡献。: l3 {8 D. r6 n5 p+ J( t0 [
参考链接: m7 G( L4 n! o" |
https://openai.com/contributions/gpt-4?continueFlag=ee0eebd278339fc5ba428add63b4b4fd( [ A; `1 N3 y) |
https://cdn.openai.com/papers/gpt-4-system-card.pdf |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|