RWKV 项目原作解读：在 Transformer 时代重塑 RNN

塘沽火星人

以下文章来源于机器之心 SOTA 模型 ，作者 SOTA 模型
# }$ f0 K/ ]- a) F: Y& @机器之心最新一期线上分享邀请到了新加坡国立大学博士侯皓文，现 RWKV Foundation 成员，为大家分享他们团队的开源项目 RWKV。
7 l1 p/ b1 z4 [+ KTransformer 已经彻底改变了几乎所有自然语言处理（NLP）任务，但其在序列长度上的内存和计算复杂度呈二次方增长。相比之下，循环神经网络（RNN）在内存和计算需求上呈线性扩展，但由于并行化和可扩展性的限制，难以达到 Transformer 相同的性能。
0 ?: q; X' r! B- N! [基于此，该研究团队提出了一种新颖的模型架构，即 Receptance Weighted Key Value（RWKV），将 Transformer 的高效可并行训练与 RNN 的高效推理相结合。该方法利用了线性注意机制，并使得模型既可以作为 Transformer，也可以作为 RNN 来构建，从而实现了在训练过程中的计算并行化，并在推理过程中保持恒定的计算和内存复杂度，这使得它成为第一个可以扩展到数百亿参数的非 Transformer 架构。
实验结果显示，RWKV 的性能与大小相似的 Transformer 相当，这表明未来的工作可以利用这种架构创建更高效的模型。这项工作在平衡序列处理任务中的计算效率和模型性能之间的权衡方面迈出了重要的一步。
1 D  }* V6 S$ _9 {+ a& @分享主题：新型 RNN 模型 RWKV，结合 Transformer 的并行化训练优势和 RNN 的高效推理
4 T% q, a) r* H4 T; v分享嘉宾：2017 年毕业于新加坡国立大学，获得博士学位。随后，加入腾讯担任应用研究员，致力于搜索、自然语言处理和多模态领域的研究和实践。目前，作为 RWKV Foundation 的成员，继续在相关领域进行研究和贡献 .
分享摘要：本次分享主要围绕 RWKV 的论文进行，介绍 RWKV 的核心理念和公式，展示 RWKV 并行化训练优势和高效推理。展示实验结果，证明了 RWKV 的性能与规模相近的 Transformer 相当，也是首个效果接近 Transformer 的线性注意力模型。
0 X; p6 n7 t+ F2 U相关链接：
6 o4 a& Q, n: G; V  O, Z( S" J1）SOTA！模型平台项目主页链接：
https://sota.jiqizhixin.com/project/rwkv
2）论文链接：
https://arxiv.org/abs/2305.13048
3 t" v( C0 p! H& y3）代码仓库：
7 y' S! J2 k, L9 f7 nhttps://github.com/BlinkDL/RWKV-LM


加群看直播
直播间：关注机器之心机动组视频号，北京时间 6 月 6 日 19:00 开播。



$ F0 T5 j% J/ I& ^- U; ^. S交流群：本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。
+ Z2 o) n( X0 s; Q+ i4 J如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「RWKV」即可加入。
" a+ \% N3 C3 H如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧：https://jiqizhixin.mikecrm.com/fFruVd3
8 c% E# n; s' y- j4 u$ |
: R6 }# u  |0 L5 t7 Z3 }3 u

机器之心 · 机动组
9 u% c/ e& t' v+ c& R# v) J机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。