京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 8827|回复: 0

碾压99.8%人类对手,三种族都达宗师级!星际AI登上Nature,技术首次完整披露

[复制链接]

15

主题

0

回帖

10

积分

新手上路

积分
10
发表于 2019-10-31 16:23:08 | 显示全部楼层 |阅读模式 来自 中国
乾明 鱼羊 栗子 发自 凹非寺 
- u0 W  ~5 C7 q/ H! g" e量子位 报道 | 公众号 QbitAI

6 K& J& W% }$ s9 u) K0 O" m3 W* ?
0 V. E8 _; y6 ^9 u4 }# j' _
仅剩0.2%的星际2玩家,还没有被AI碾压。
4 Z: y9 y0 C' q0 V
  r7 D9 @3 G+ s5 i" m) i) \) a
这是匿名混入天梯的
AlphaStar
,交出的最新成绩单。

$ X" ?$ B( N1 F; k' m
同时,DeepMind也在
Nature
完整披露了AlphaStar的当前战力和全套技术:
0 a2 H( ^% H* ^1 s! c
AlphaStar
,已经超越了99.8%的人类玩家,在神族、人族和虫族三个种族上都达到了宗师(Grandmaster)级别。7 ^  v. n) `& |* A' d3 ]1 W& r
' `" e3 N; j% |+ {7 @5 D, S
# f* c5 @' q" G0 u9 C$ w0 `
在论文里,我们还发现了特别的训练姿势:
. X% V9 S, x: L8 W" A1 c5 s6 `' [  A
不是所有智能体都为了赢6 p7 R. [3 A& A4 S

; b* n5 o8 J( N9 Z8 D, I
DeepMind在博客里说,发表在Nature上的AlphaStar有四大主要更新:
+ s; @: |# {3 u; ?  W/ o7 ^
一是约束:现在AI视角和人类一样,动作频率的限制也更严了。5 g  }- }4 \9 o: c$ @1 y
二是人族神族虫族都能1v1了,每个种族都是一个自己的神经网络。9 I9 Y1 n2 t& l. _. X6 `+ `
三是联赛训练完全是自动的,是从监督学习的智能体开始训练的,不是从已经强化学习过的智能体开始的。
1 S% D# O9 o9 l4 K四是战网成绩,AlphaStar在三个种族中都达到了宗师水平,用的是和人类选手一样的地图,所有比赛都有回放可看。: j# _, l5 l3 F/ p3 ]7 O# C
具体到AI的学习过程,DeepMind强调了特别的训练目标设定:

9 a1 ^. u8 o4 d- x$ I; a1 e1 B* O$ _
不是每个智能体都追求赢面的最大化。
) _) t* E' Q& j: a
9 [% M) W' k" Z0 \. z5 |( l
因为那样智能体在自我对战 (Self-Play) 过程中,很容易陷入某种特定的策略,只在特定的情况下有效,那面对复杂的游戏环境时,表现就会不稳定了。
# v6 T0 u/ E9 c- v# m
于是,团队参考了人类选手的训练方法,就是和其他玩家一起做针对性训练:一只智能体可以通过自身的操作,把另一只智能体的缺陷暴露出来,这样便能帮对方练出某些想要的技能。
5 G* O& }! [! L# p
这样便有了目标不同的智能体:第一种是主要智能体,目标就是赢,第二种负责挖掘主要智能体的不足,帮它们变得更强,而不专注于提升自己的赢率。DeepMind把第二种称作“剥削者 (Exploiter) ”,我们索性叫它“陪练”。

! Y; g4 o2 H+ t! ]. Z! G' |7 K9 I
AlphaStar学到的各种复杂策略,都是在这样的过程中修炼得来的。
% A& b/ c) `3 a# p0 X0 U
比如,蓝色是主要玩家,负责赢,红色是帮它成长的陪练。小红发现了一种cannon rush技能,小蓝没能抵挡住:

$ q4 \5 k: \5 P0 W/ [2 ~7 Y/ Z

3 Z. g  J" r4 F
然后,一只新的主要玩家 (小绿) 就学到了,怎样才能成功抵御小红的cannon rush技能:1 i2 \% i( |5 a, t& }3 W
* R: u! V3 v% g8 T4 g6 J
' a3 P9 q' j7 k& S
同时,小绿也能打败之前的主要玩家小蓝了,是通过经济优势,以及单位组合与控制来达成的:
: v1 Q! X+ f) P3 G- X$ L1 [

/ N5 N# t9 T! I1 B: m) ?# U

, n1 z. n9 _. K3 A0 G/ u$ J, q
后面,又来了另一只新的陪练 (小棕) ,找到了主要玩家小绿的新弱点,用隐刀打败了它:
6 P; Y' v) ^2 B; X+ s' P  b

9 [: z% Y& T* s) M0 {4 Q

: c  n. B( `" D) r9 y
循环往复,AlphaStar变得越来越强大。) r2 C& W; e/ v' c; K" Z1 K

+ j6 Q0 C# ^8 b: Z7 Q
至于算法细节,这次也完整展现了出来。
: v, M! {/ m% a- G% t
AlphaStar技术,最完整披露# p$ D, J$ \0 [6 f3 V8 X- Y
8 m% F$ O. @( p: v0 v1 A3 b0 M- R
许多现实生活中的AI应用,都涉及到多个智能体在复杂环境中的相互竞争和协调合作。

2 d$ |- c6 b6 G- ^
而针对星际争霸这样的即时战略(RTS)游戏的研究,就是解决这个大问题过程中的一个小目标。

9 p/ M: z$ M6 F7 ~: ]( `4 B( g
也就是说,星际争霸的挑战,实际上就是一种多智能体强化学习算法的挑战。

" C3 H* R# E' x+ H. {+ l" V" v1 s
AlphaStar学会打星际,还是靠深度神经网络,这个网络从原始游戏界面接收数据 (输入) ,然后输出一系列指令,组成游戏中的某一个动作。
+ O1 \0 A" d# S! Y- J* s
$ f7 b1 u' J' V  n: [2 G
AlphaStar会通过概览地图和单位列表观察游戏。

0 N& E) M6 T4 `# H- r+ E+ R+ Y9 A
采取行动前,智能体会输出要发出的行动类型(例如,建造),将该动作应用于谁,目标是什么,以及何时发出下一个行动。

! n  y2 m" P1 `" m' J) l
动作会通过限制动作速率的监视层发送到游戏中。
7 c! a2 K( C4 x! \0 N
  U% m9 d( y, o2 w
而训练,则是通过监督学习和强化学习来完成的。

  b+ u( y* V1 B7 _  b5 s
最开始,训练用的是监督学习,素材来自暴雪发布的匿名人类玩家的游戏实况。

& y* Q7 n  P+ H) @5 A- g8 Z# ^
这些资料可以让AlphaStar通过模仿星际天梯选手的操作,来学习游戏的宏观和微观策略。

; L  b. R# F+ ^1 P+ |
最初的智能体,游戏内置的精英级 (Elite) AI就能击败,相当于人类的黄金段位 (95%) 。

1 M6 O: ~+ B# s$ e; B, I
而这个早期的智能体,就是强化学习的种子。

- X- T. V! m( ~* {1 s7 I
在它的基础之上,一个连续联赛 (Continuous League) 被创建出来,相当于为智能体准备了一个竞技场,里面的智能体互为竞争对手,就好像人类在天梯上互相较量一样:

% O" n5 ^$ s* d/ I% f- g
从现有的智能体上造出新的分支,就会有越来越多的选手不断加入比赛。新的智能体再从与对手的竞争中学习。

9 X: v& p/ ]0 A8 ?
这种新的训练形式,是把从前基于种群 (Population-Based) 的强化学习思路又深化了一些,制造出一种可以对巨大的策略空间进行持续探索的过程。

6 n! f5 @  H$ y' Y- P4 H
这个方法,在保证智能体在策略强大的对手面前表现优秀的同时,也不忘怎样应对不那么强大的早期对手。
5 J( V. l/ D7 l' P6 y* N/ y
随着智能体联赛不断进行,新智能体的出生,就会出现新的反击策略 (Counter Strategies) ,来应对早期的游戏策略。
: L# H  ~4 V% n  h: s- @$ p( \
一部分新智能体执行的策略,只是早期策略稍稍改进后的版本;而另一部分智能体,可以探索出全新的策略,完全不同的建造顺序,完全不同的单位组合,完全不同的微观微操方法。
# c# O: r7 W1 D' W% a, _( S
除此之外,要鼓励联赛中智能体的多样性,所以每个智能体都有不同的学习目标:比如一个智能体的目标应该设定成打击哪些对手,比如该用哪些内部动机来影响一个智能体的偏好。
# N; J' d4 S( p! T/ i4 H- @
+ d2 L' c7 N/ p; D, A, V, h
联盟训练的鲁棒性

7 h% x- [) x3 S; j
而且,智能体的学习目标会适应环境不断改变。" O% y- X' j- u' a; F9 U1 S$ m/ f
/ \  I; ]0 a7 x* v, a
神经网络给每一个智能体的权重,也是随着强化学习过程不断变化的。而不断变化的权重,就是学习目标演化的依据。
% j8 c" u' z" O1 r; F
权重更新的规则,是一个新的off-policy强化学习算法,里面包含了经验重播 (Experience Replay) ,自我模仿学习 (Self-Imitation Learning) 以及策略蒸馏 (Policy Distillation) 等等机制。
. W$ T* X" e3 }. a
历时15年,AI制霸星际
8 W/ y1 P' E& b
$ G* y  f! g' w. H4 r: o
《星际争霸》作为最有挑战的即时战略(RTS)游戏之一,游戏中不仅需要协调短期和长期目标,还要应对意外情况,很早就成为了AI研究的“试金石”。

( U( ^% w6 i& L2 q* W" d
因为其面临的是不完美信息博弈局面,挑战难度巨大,研究人员需要花费大量的时间,去克服其中的问题。

8 {- g2 Y; M& G4 d7 d) y
DeepMind在Twitter中表示,AlphaStar能够取得当前的成绩,研究人员已经在《星际争霸》系列游戏上工作了15年。

/ Q) w1 |' _% d. H/ _* d  N

% z7 @1 i2 v% H
但DeepMind的工作真正为人所知,也就是这两年的事情。

' Y8 P7 ]5 n5 z+ c: b: B9 d
2017年,AlphaGo打败李世石的第二年后,DeepMind与暴雪合作发布了一套名为PySC2的开源工具,在此基础上,结合工程和算法突破,进一步加速对星际游戏的研究。
/ e" x4 r; v) {/ g
之后,也有不少学者围绕星际争霸进行了不少研究。比如南京大学的俞扬团队、腾讯AI Lab、加州大学伯克利分校等等。
! o% \  Y* |( D/ J( ~- n
到今年1月,AlphaStar迎来了AlphaGo时刻。

% M+ c* U! G2 o6 Q  E0 ]
在与星际2职业选手的比赛中,AlphaStar以总比分10-1的成绩制霸全场,人类职业选手LiquidMaNa只在它面前坚持了5分36秒,就GG了。

. E) y. w9 o$ k) d! }: e% O
+ l. R- K* O' W7 O/ u/ O; Z
全能职业选手TLO在落败后感叹,和AlphaStar比赛很难,不像和人在打,有种手足无措的感觉。

! f- h  y2 y. _* ?! Q, c, n  ~
半年后,AlphaStar再度迎来进化。
$ L. \, {2 l6 v2 O+ I( k
DeepMind将其APM (手速) 、视野都跟人类玩家保持一致的情况下,实现了对神族、人族、虫族完全驾驭,还解锁了许多地图。

: o9 {1 \0 w6 O9 v0 D( z
/ h& a3 A  f! _$ o. g5 N' t& i. z8 \- Q
与此同时,并宣布了一个最新动态:AlphaStar将登录游戏平台战网,匿名进行天梯匹配。
' Z' f4 x/ i' A9 w0 N# |
现在,伴随着最新论文发布,AlphaStar的最新战力也得到公布:击败了99.8%的选手,达到宗师级别。

% w$ g' C7 p; Q, ^  @6 h
DeepMind在博客中表示,这些结果提供了强有力的证据,证明了通用学习技术可以扩展人工智能系统,使之在复杂动态的、涉及多个参与者的环境中工作。
  G( a4 J$ [# K+ b4 ~
而伴随着星际2取得如此亮眼的成绩,DeepMind也开始将目光投向更加复杂的任务上了。
' P4 H7 w0 @9 b! J& ?
CEO哈萨比斯说:

$ z# z. g5 }  s8 l- `, z2 ?
星际争霸15年来一直是AI研究人员面临的巨大挑战,因此看到这项工作被《自然》杂志认可是非常令人兴奋的。
! l/ r4 K$ h- C6 C这些令人印象深刻的成果,标志着我们朝目标——创造可加速科学发现的智能系统——迈出了重要的一步。4 o! B3 l2 a6 D3 s
那么,DeepMind下一步要做什么?
) T" g+ E$ d" r" n# M7 w2 ~
哈萨比斯也多次说过,星际争霸“只是”一个非常复杂的游戏,但他对AlphaStar背后的技术更感兴趣。
" g( z  }: ^- y1 ?/ C1 m( L; V( u: X  `) v
但也有人认为,这一技术非常适合应用到军事用途中。

4 d, {3 O( h$ |+ I& H. x
不过,从谷歌与DeepMind 的态度中,这一技术更多的会聚焦在科学研究上。

' G% }5 ?3 `  o5 J5 {9 q
其中包含的超长序列的预测,比如天气预测、气候建模。
% V3 M6 g) C! h, c1 _: ?# q
或许对于这样的方向,最近你不会陌生。

# w  L8 s+ a" L6 q
因为谷歌刚刚实现的量子优越性,应用方向最具潜力的也是气候等大问题。
4 I. B# q7 w0 N/ `0 P" v5 }$ X
现在量子计算大突破,DeepMind AI更进一步。

# S+ {, {* w! Q3 u% e, Q9 t; N
未来更值得期待。你说呢?

. ~' p% _" U) ?7 I  \: ZOne more thing
- h+ o! H  A$ _+ y) h9 j
9 ]% h8 k  J2 S# j% h# X8 d1 z: k
虽然AlphaStar战绩斐然,但有些人它还打不赢。

% e7 M% q* D8 R. t% e  s4 F
当时
AlphaStar
刚进天梯的时候,人类大魔王Serral就公开嘲讽,它就是来搞笑的。
9 I9 C1 ?# @: O& ]

9 G( s  P5 b( P9 ^9 w3 f5 G$ v2 S# P
但人家的确有实力,现在依旧能正面刚AI。

' c2 a& J7 c( N+ z
不过,敢这样说话的高手,全球就只有一个。

+ ]+ o2 {$ _& l. V传送门* `3 Q% E$ M! q  {$ _+ o, K" }

8 o8 n7 x' M6 S2 v# T9 u& ]
Nature论文:! a$ X4 b: {0 G3 G. a3 n
https://doi.org/10.1038/s41586-019-1724-z

9 R* t) h9 s' m4 T6 M
论文预印版:
0 J% d) o- g$ ^0 ^, dhttps://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf
* }/ _# r  Q9 ^; o" ^- n/ v
博客文章:

0 F5 o. i# a/ w
https://deepmind.com/blog/article/AlphaStar-Grandmaster-level-in-StarCraft-II-using-multi-agent-reinforcement-learning

$ L) ]& S* V" ?6 h( Y* f+ e
对战录像:
- g  S4 C5 @( ^, bhttps://deepmind.com/research/open-source/alphastar-resources

5 ^7 h& a+ \: j  u* o8 K
! T0 X: V$ A9 |+ V' t- v! A0 C: c4 g* i- y大咖齐聚!量子位MEET大会报名开启
5 s7 \# P# U# h& o量子位 MEET 2020 智能未来大会启幕,将携手优秀AI企业、杰出科研人员呈现一场高质量行业峰会!VIP票即将售罄,快扫码报名吧~
& ~; h/ N* c1 e, O/ y$ x: }3 b& G榜单征集!三大奖项,锁定AI Top玩家) P' X$ N7 O3 k
2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!& f; n7 V' @- n' L+ ?  Z
量子位 QbitAI · 头条号签约作者5 S' E3 z0 X6 D6 T
վ'ᴗ' ի 追踪AI技术和产品新动态2 x; A- V, E0 [
喜欢就点「在看」吧 !
/ w$ j4 f; D) Q; |2 `
9 Q; L' x; @6 x  g0 H" Y* f% X$ q( B! n

1 X2 P4 R  [% Z2 h8 |2 u. K2 I( D( s) @( e4 B
+ b) L) w" x* n2 Y# I
来源:http://mp.weixin.qq.com/s?src=11&timestamp=1572508805&ver=1945&signature=ufDgJF-ttdwWgSRz4GvsbfZFt8aLHUpcC9yHtzomlOL0gOuaJsxc735aQnmgAG4n173vkU87wL1VAWURHlPQMQpVqYLRqYVHonQrB2VYxo0tKwIa7RrwLt4ddob2CbZI&new=1: A, H2 _2 W  g* B( A5 z6 G9 U' Q
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2026-3-2 00:37 , Processed in 0.053432 second(s), 28 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表