2022届计算机科学博士毕业生张一鸣：让机器学习造福社会

在机器学习的各个领域中，一鸣选择了强化学习（reinforcement learning）作为他的主要研究重点。“打个比方，强化学习类似于训练狗。当狗做了正确的事时，你就会给一些奖励，”一鸣解释说。“总的来说，我们有一个智能体，例如一个机器人，以及一个代理与之交互的环境。智能体在交互的每一步都会收到奖励，它根据该奖励信号来决定如何与环境进一步交互。强化学习的目标是确定使总奖励最大化的最佳交互序列。”

一鸣的论文针对强化学习系统中的两个主题，样本效率和为强化学习系统构建安全限制。

“强化学习的一个大问题是如何提高算法中的样本效率，即如何有效地训练智能体在与环境尽可能少交互的情况下完成任务。” 一鸣说，如果样本效率低下，自动驾驶汽车等智能体将不得不运行非常长的时间。那辆汽车就可能会因持久的磨损而更快发生故障，消耗大量能源，并增加相当多的成本。

“在某些情况下，我们试图解决的问题有一些相关的安全限制，”一鸣解释了在强化学习算法中构建此类保护性措施的必要性。“让我们再回到自动驾驶汽车的例子。你不能在车撞到人的时候说一声 ‘哎呀，我们不能这么做，负一百万奖励’。因为撞人是根本不允许发生的事。”

一鸣希望他的研究能帮助解决强化学习中的瓶颈，目标是最终能使强化学习越来越接近在现实世界中被应用。

一鸣参加研究生跨专业联谊活动

Ross教授对于一鸣读博期间的成长有很大影响，一鸣时常回忆起Ross教授给予他的宝贵知识和经验，“我从Ross教授那里得到的最有价值的东西之一就是如何像独立研究人员一样思考和工作。在碰到问题，没有明确答案的情况下，如何处理和解决问题的技能不是书本上可以学到的。”

一鸣与Ross教授相识于2014年秋季，也就是一鸣开始攻读博士学位的两年前。当时，一鸣刚在瑞典乌普萨拉大学获得统计学硕士学位，作为Global Academic Fellow 加入上海纽约大学。在Ross教授的本科机器学习班担任了一个学期的助教之后，一鸣和Ross教授都十分认可对方。自然而然的，一鸣接下来决定申请上海纽约大学的计算机科学博士项目，希望继续跟随Ross教授工作、研究、学习。

Ross教授对一鸣这些年来的进步十分赞赏。“一开始，尽管一鸣对机器学习和强化学习的基础知识有一定程度的了解，他对深度强化学习这个话题并不十分熟悉，，”Ross 回忆道。“但经过博士生学习的这几年，他仔细研究了这个主题，并在该领域成为了专家。” Ross教授还特别提到，一鸣的分析在数学严谨性上也有了显著提高。

一鸣参加研究生办公室组织的飞盘活动

一鸣很高兴能将他所学的知识应用到他的工作中，他就职于丰田的自动驾驶汽车项目，这个平台将使他能够继续克服在尝试应用具有实际意义但还不成熟的技术中遇到的挑战。“我花了很多时间研究强化学习，这绝对是我想继续应用的东西。自动驾驶汽车是强化学习的终极挑战之一，”一鸣说， “如果我们真的能把自动驾驶汽车做好，我们将在强化学习的发展中迈出很大的一步。”

一鸣认为自动驾驶汽车在促进社会公益方面拥有巨大潜力。“交通拥堵是一个很大的问题，自动驾驶汽车可以缓解这种情况，以及如果年长的出租车司机没有足够多的下一代年轻人接棒，自动驾驶汽车也可以解决这类劳动力短缺问题。” 一鸣对自动驾驶汽车的未来充满信心，他相信他现在所做的工作有助于解决未来的世界所必将面临的问题。

▼

推 / 荐 / 阅 / 读