腾讯科学家刘霁：开发游戏AI不仅是为了人类玩家体验更爽 | 《腾云》65期精选

微信邦

说起AI，很多人都知道AlphaGo战胜过人类顶尖围棋手李世石、柯洁。其实，游戏AI也是人工智能的热门研究领域。DeepMind正专攻《星际争霸2》，OpenAI的人工智能也曾在Dota2上用人工智能打败了职业玩家。腾讯也向外界透露正利用《王者荣耀》进行AI研究。

今年年初，腾讯AI Lab科学家刘霁被《麻省理工科技评论》评为“中国区35岁以下创新35人”之一，获奖理由是前者的研究让机器学习算法更加准确高效，对游戏AI领域的研发也将进一步拓宽人类对AI能力的认知。

在本期《腾云》杂志新设立的“腾讯科学家”专栏中，刘霁分享了他对人工智能和机器学习前沿等问题的看法，带我们以全新的视角认识游戏AI。

徐可

《腾云》高级编辑

自 1999 年起，《麻省理工科技评论》每年都会推出“35岁以下创新35人”（Innovators Under 35）榜单，旨在于全球范围内评选出被认为最有才华、最具创新精神，以及最有可能改变世界的35位年轻技术创新者或企业家。2018年年初，该全球权威榜单正式推出中国区评选结果，34岁的腾讯AI Lab科学家刘霁入选，他正在和他的团队攻克多人即时战略游戏的AI设计问题。他获奖的理由是：让机器学习算法更准确更高效，探索人工智能潜力的边界，游戏AI的研发将会进一步拓宽人类对于AI能力的认知。

腾讯科学家刘霁：开发游戏AI不仅是为了人类玩家体验更爽 | 《腾云》65期精选

▲腾讯AI Lab科学家刘霁

日前，《腾云》在AI Lab美国西雅图办公室采访了刘霁。位于美国西海岸的西雅图，是规模仅次于硅谷的高科技中心，这里云集了微软和亚马逊等一众高科技企业。腾讯的办公室位于西雅图贝尔维尤（Bellevue）市中心。同一栋办公楼里，还有百度、华为等中国企业的办公室，阿里的办公室也在附近。这恰恰是中国高科技公司纷纷积极布局AI领域的写照。

“中国公司在西雅图设办公室，也是为了方便吸引更多优秀的人才。” 刘霁说。和硅谷比起来，西雅图所在的华盛顿州没有州税，房价也相对较低，微软和亚马逊的总部都在这里，Google和Facebook在这里也设有分部。这些都成为西雅图吸引人才的优势。

腾讯AI Lab副主任俞栋，之前曾在微软研究院就职。而刘霁的另一个身份是，纽约罗切斯特大学（University of Rochester）助理教授。在腾讯AI Lab，像他这样从学界转身于企业的科学家并不少见，AI Lab主任张潼在回国之前，就是新泽西罗格斯大学(Rutgers University)的教授。

说起来，张潼还是刘霁的学术引路人。

腾讯科学家刘霁：开发游戏AI不仅是为了人类玩家体验更爽 | 《腾云》65期精选

▲腾讯 AI Lab 主任 张潼博士

刘霁本科毕业于中国科技大学，专业是控制。2008年到美国亚利桑那大学攻读硕士时他转向了计算机领域。当时有两个方向可供选择，一个是计算机图形，另一个是机器学习。计算机图形涉及更多的编程技能，从找工作的角度，是比机器学习更热门的专业。刘霁当时觉得机器学习既有意思也很具挑战，研究的大多是实际中提炼出的具有共性的问题，对理解知识和掌握技能都很有帮助。当时机器学习方向的导师叶杰平（后回国就任滴滴研究院副院长）对他坦陈，机器学习方向不容易找工作，可以先从读一两篇论文开始。而论文的作者就是张潼。刘霁说，“机器学习领域的很多人都是读张老师的论文成长起来的。”

刘霁用了一个多月啃完了这篇“特别长，全是公式和证明”的论文。这也坚定了他对机器学习研究的信心。“我觉得自己还可以。可能那时候也比较年轻气盛。” 刘霁笑着说。后来，让他倍感幸运的是，博士就读的威斯康星大学聚集了机器学习领域的大牛和科研新星，从与这些学术导师共同开展的工作中他受益匪浅。

2014年博士毕业找工作时，他经历了与三、四百人竞争一个教职的惨烈竞争。而他当时完全没有料想到以2015年AlphaGo首次战胜人类棋手为转折点，人工智能迎来今日如此蓬勃的大发展期。

“我的工作是把实际问题抽象成数学问题，在数学层面解决这个general（一般性）的问题，再应用到特殊的问题。”机器学习领域的多年研究，让刘霁一直游走于计算机和数学之间，是数学家眼中的计算机人才，又是计算机人才中的数学家。

在接受《腾云》访问时，刘霁还分享了他对人工智能和机器学习前沿、为何加入腾讯、以及中美AI竞争的看法。

以下为经过编辑的采访实录。

1

异步并行算法

使机器计算效率明显提升

—————

腾云：你在异步并行算法创新等领域取得了不少成绩，也因此获奖。能否谈一下异步并行算法，对于机器学习或是人工智能领域的发展有何意义？

刘霁：人工智能解决的是实际的问题。我觉得主要过程有两步，第一步是把一个实际问题，比如说人脸识别，或者智能家居，还有各种各样的应用场景，转化成一个数学问题，建立数学模型。第二步就是针对这个数学模型利用收集的数据对其求解，怎么让计算变得更快。我的工作在这两方面都有涉及。

计算机的计算能力呈指数级的增长，现在一台PC的计算能力，在10-20年前，相当于一个很大集群的计算能力。计算能力的快速增长促成了AI最近的一些突破，包括AlphaGo的出现。这导致我们可以解决以前无法解决的问题。就像以前AI只能下国际象棋，下不了围棋，因为围棋的变化更多。而现在计算能力上去了，解决问题变得有可能。从而人们对人工智能有了更多的期待和想像，对并行计算效率提出了前所未有的要求。

有几种不同的方向去提高计算效率。首先是算法设计，用尽可能少的计算量求解目标问题。这部分研究相对已经比较成熟。第二部分的重点就是把计算并行化，以前大家拥有的计算资源相对很少，那时候并不存在并行的问题。现在有很多机器，需要把资源全部协调起来，把它们管理好，做一个大的项目。其实就跟管理公司一样，一个创业公司只有一二十人，对于CEO的管理能力要求没有那么高，但是如果一个公司发展到像腾讯这样的规模之后，你肯定得想如何把它管理好。我在并行计算方面的研究，通俗讲就是当你要去解决一个机器学习的计算问题的时候，帮助你如何把下面的计算资源分配好，整合好，设计更好的算法提高并行效率。我们提出了各种各样的新的方法、方式，打破一些传统桎梏，让计算并行的效率得到明显提升，而且在工业界有了很好的应用，比如我们研究的异步并行的算法框架在当今主流的机器学习平台（像Tensorflow、CNTK、MXnet）都有广泛应用。

异步并行指的是，本地机器各自进行自己的训练工作，一段时间以后将模型更新到参数服务器上，然后并不等待其他机器就进行下一轮的本地训练。这个过程的好处就是快，因为各个机器之间不需要互相等待，因此异步并行被大量使用。刘霁提出的一系列异步并行算法，则解决了传统同步并行算法的瓶颈问题——快机等待慢机。同时，他的相关理论研究还解决了异步并行的深度学习算法中的一个开放性问题——关于异步 SGD 算法正确性和效率保证，该异步 SGD 并行算法已经广泛运用于各种主流的机器学习计算软件和平台，例如Google 开发的 Tensorflow、微软开发的 CNTK以及亚马逊开发的 MXNet 等。

——《麻省理工技术评论》

2

人工智能研究

要解决好一般性问题

—————

腾云：人工智能领域还有什么你觉得比较重要的研究方向吗？

刘霁：人工智能的内涵和外延太广，定义也相对模糊，我恐怕讲不好。可能从机器学习的角度来讲，对我来说可能更合适一些。机器学习传统上主要集中解决的问题从决策的角度来看都是静态的，比如AI帮助我判断图片里是不是有一只猫，这是一个静态的决策。现在很多复杂的AI问题以及现实的问题中的决策需要是动态的，比如说要做股票投资，目标并非是在某个时刻收益最大化，你还要考虑风险等各方面的因素，实现在一段长时间内总收益最大化。再比如下围棋，每一步可能重要，单步的得失并不是你的最终目的，最终目的是要赢整盘棋。

▲AlphaGo大战李世石

这类问题的难点在于每个决策前后的相关性，你下一刻的决定，其实取决于之前的一系列决定。从技术上讲，研究如何解决这种动态最优化策略的问题会成为将来最有挑战的问题。为了解决这类问题，传统AI有很多基于搜索的方法。强化学习也是一类方法。我也做了一些关于强化学习的工作，拿到过Facebook的最佳学生论文。尽管有AlphaGo的成功，但是总的来说都还不令人满意，距离系统化地解决这类问题，还有很多工作要做。

腾云：这是属于人工智能现在比较核心也是比较基础的研究。

刘霁：没错，我们其实要解决的是一般化的问题，一般化的问题是现实中各种问题的抽象，比如人脸识别，安防的检测，甚至可能是完全不相关的问题，可是如果你把它抽象成一个数学问题，其实它是同一个数学问题，我们的目的是要把这个数学问题解决好。为下一个问题的解决提供重要的方法和思路。

腾云：为什么在学术休假期间选择加入腾讯？

刘霁：腾讯AI Lab在张（潼）老师和俞（栋）老师的带领下有着非常好的基础研究氛围，同时还能接触到实际的业务问题。过去我只能在纸上推导的东西现在有机会实现。不论是从个人影响，还是说个人体验，都更有意义。因为要做成一件事情，不光是要解决一般性的理论问题，还要把资源整合好，要考虑很多细枝末节的东西。这都是更大的挑战。好比一个管理学家可以做很多年的管理研究，做得很成功，但是你让他去管一个公司，却未必非常成功。

AlphaGo很厉害，是厉害在算法吗？我觉得不完全是，虽然对外宣传是强调算法的突破。它绝对不是在技术某一个点上获得突破，而是能够把整个系统工程管理好，能够激发每个人的潜能，一步步地突破，解决好问题。学术研究本身可能就是钻研一个小问题，但那不足以支撑一个大的项目。工业界的工作是会让人接触一个庞大的项目，把事情做成功，这是完全不一样的体验。

3

游戏是现实问题的投影

—————

腾云：DeepMind团队在研究游戏AI如何在《星际争霸》（StarCraft）这款游戏中战胜人类。腾讯研究游戏AI的目的是什么？

刘霁：我理解最重要的目的并不一定是要打败人类，而是看中它的现实意义。游戏里有很多小的场景，都是我们真实生活当中一些重要问题的投影。比如说，游戏里的多人即时战斗，反映了现实生活中的足球、篮球等各种球类运动，我们怎么把它做好。

再举一个例子，比如《星际争霸》里你的工兵需要采矿，采哪种矿，如何调配资源，才会达到累计收益最大化。在现实中这就是投资的问题，你买哪支股票，赚了钱你是用来买房，还是买更多股票，这其实是投资组合的问题。游戏是对现实问题的抽象，所以说解决好游戏的问题，对很多现实问题都有帮助和借鉴，这是游戏的现实意义，也是它有意思的地方。

▲游戏AI更多是辅助人类，提升用户体验

腾云：回到游戏本身，如果说游戏AI把人打败了，是否会降低人们玩游戏的满足感。通过游戏AI是否能够帮助提升游戏的体验，或者它的复杂程度？

刘霁：首先，人打不过机器其实也正常。人是会做加减法，但肯定做不过电脑。随着电脑计算能力提高，计算速度加快，AI用数学的方式把游戏也变成一个数据的问题，这时人算不过电脑就很正常。

   

我理解游戏AI更多是辅助人类，提升用户体验。比如《王者荣耀》是5V5的游戏，可以用AI替换掉掉线的玩家，让游戏更加公平地得以继续；再比如围棋AI对选手在线定段，辅助提高。

腾云：你平时生活中是游戏玩家吗？

刘霁：是的，我玩游戏，我从中学就开始玩《星际争霸》，玩了有20年了。做游戏AI，必须要懂游戏。就像AlphaGo也要找很多职业棋手去给他们指导。我们跟国内同事开会的时候会说，大家都要把游戏玩到一定水平才能真正进入这个角色。

腾云：现在中国家长普遍还是觉得打游戏是不太好的一件事。你从中学时开始打游戏，还是学霸，看来也没有影响学习。

刘霁：小孩都爱玩游戏，我自制力还可以，说不玩就不玩了。中国家长将游戏妖魔化，老是怪游戏怎么怎么样，我个人认为游戏本身并没有好坏之分，在于你使用它的方式 。有人总抱怨小孩子打游戏，一看父母天天在打麻将，在外面玩，你能怪孩子吗？ 父母没法以身作则，给孩子做榜样。孩子就算不沉迷于游戏，也会沉迷于其他的东西。相反如果能够利用好游戏，正确引导对孩子成长、IQ和EQ的提升都大有裨益。

4

提升游戏竞技性

会对孩子产生更多的正面意义

—————

腾云：游戏对你的正面价值在哪里？

刘霁：我高中的班级里，成绩好的玩游戏都还可以，如果玩游戏水平特别差，成绩却特别好的，很少看到。游戏小孩都爱玩，大人其实也爱玩，关键在引导。玩游戏不仅是出于娱乐的目的，我的建议是提高它的竞技性，削弱娱乐性。其实这对于小孩的成长有很大帮助，对我个人就是非常大的帮助。

简单来说，娱乐性游戏就是胜负更多取决于在上面耗费的时间和随机性。竞技性游戏需要你积极地思考参与，凭借你的能力和水平，才能取得优势或者胜利。

▲《王者荣耀》中的射手英雄

增强游戏的竞技性对于游戏健康地发展很有帮助，对于小孩的锻炼也非常大。像孩子参加奥数和其它体育比赛，这些也都是竞技性的。孩子也可以在玩的过程中，想办法解决问题，提升自己，这是提高他个人能力的一种手段。同时对人的心态也非常有帮助。竞技性的游戏，输了你没法去怪别人，也不能说自己运气不好。输了就是因为你实力问题。我观察到现实中教育子女经常出现的一个问题是，小孩事情没做成，首先不是想自己或者孩子哪里做得不好，而往往是责怪老师。竞技性游戏提供了一个非常好的公平场景，如果你输了，就是能力没有对手强，没有什么好怪的。

游戏的竞技性和胜负感加强的时候，会帮助你提升注意力，输了你需要学会控制心态，继续下半场比赛。很多人在日常生活中可能很少有机会接受这种面对大起大落的心态的培养。对我影响最深的就是在激烈的对抗当中，职业选手的心态非常平静，一场比赛结束后，给两边选手每人一个镜头，你看不出谁赢谁输，都是一样的表情，这就是修为。

我自己也深有体会，输了我会很急躁，每个人一开始都这样。我觉得我从游戏中学到的，首先是想自己哪里玩得不好。第二我会去看回放录像，看哪里我还可以提高。复盘是让一个人不断反思自己、让自己提高的很好的途径。第三心态要好，你这一场输了，下一场你的心态要调整得更好，所谓兵败如山倒，其实是因为你的心态崩了。人很容易碰到挫折就一蹶不振，破罐破摔。

所以在这些方面，游戏其实是能够帮助人的，如果家长有足够的智慧去引导，玩游戏就会对孩子有正面的意义。如果游戏只强调娱乐性，输赢都靠运气、靠花时间多，负面效应会比较大，而当游戏成为竞技性的时候，很多小孩可能就选择放弃了。真正的职业选手要经过非常辛苦的训练，付出很多心血的。我相信顶级的职业选手，就算不从事竞技游戏这个行业了，他们也有能力在其他领域生存下去。

腾云：怎么看中美AI竞争各自的优势和劣势。

刘霁：美国起步比较早，相对来说美国人更沉得住气一些，研究更厚实一些，这是美国的优势。中国的社会更加浮躁，一定要立竿见影才有兴趣继续弄下去。但是我觉得中国的优势更明显，第一物理环境上，中国的人口更多、数据量更大，现在的AI落地的场景，其实主要还是数据驱动的。中国的医疗数据、互联网数据，都超越美国几个量级。美国找不到几个企业，有腾讯这么多用户，这是天然的优势。从人才来说，中国现在也有大批的人才，包括海外的学者的加入，从技术和研究水平，中国赶超得很快。在一些个别的问题上，比如在人脸识别、安防等方面，中国甚至有领先优势。而且中国人相对来说比美国人更能吃苦。所以总体来讲我个人更看好中国AI的未来。