数学转CS，看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

选自 | deeplearning.ai

编译 | 机器之心

参与 | 路雪、王淑婷

近日，deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See，她师从 Chris Manning，在 NLP 领域已经取得很多成绩，她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。

问：你是如何开始 AI 研究的？

答：我在英国剑桥长大，很小的时候就对数学感兴趣。我喜欢做奥数题，本科时在剑桥大学学习纯粹数学。虽然数学很有意思，但我想研究一些与现实世界联系更强的东西，于是我转向了计算机科学（CS）。幸运的是，剑桥（有时被称为「硅沼泽」）也是科技聚集地，如微软的研究机构分支就在这里，因此我开始通过实习逐渐转向 CS。

2015 年我开始在斯坦福大学读博，专业是 CS，当时我对自己想做什么并不清楚。但是我很快发现，AI，尤其是深度学习最令我感到振奋。我选择研究自然语言处理（NLP），因为我对沟通感兴趣。沟通是一项关键技能，但即使对人类而言这也并不容易。因此使计算机成为好的沟通者是很重要也很有挑战的一件事。

问：你目前在研究什么？

答：我目前主要在尝试使用深度学习开发更好的自然语言生成方法。适用于机器翻译等任务的神经方法却无法用于更开放的任务，如讲故事和闲聊，我想在这些任务上取得进展。最近，我在研究如何控制聊天机器人，使其成为更好的谈话者，让神经语言模型想得更远，以及创造更好的方法来生成连贯的故事。

去年，我在研究之外还承担了一些教学工作。我担任斯坦福大学 NLP 和深度学习王牌课程 CS224n 的助教，这门课的主讲教师是我的导师Chris Manning。讲这门课是一项巨大的挑战：这个领域发展得很快，因此每一年我们都要大量更新教学大纲和教材，从而跟上当前的最佳实践。例如，今天我们把 2017 年开发的教学内容更新成了全新的任务和讲义，以反映 2019 年的 NLP 和深度学习现状。所有这些都必须大规模地完成，这不仅关乎 450 名斯坦福学生，还有大量对此感兴趣的全球听众。

问：可以介绍一下你每天的工作吗？

答：大部分时候，我会与研究合作者开会，讨论想法和结果，规划下一步要做什么。比起独自工作，我更喜欢和别人一起工作。研究是一件充满挫折和挣扎的事，而合作者会帮助你不断前进。我还尝试参加一些研讨会和阅读小组，以确保自己能够不断吸收新想法。

如果我在准备 CS224n 的授课，我会用尽可能多的时间去研究内容、准备幻灯片，并练习。上课的时候虽然可以看讲义，但它只不过是教学工作的冰山一角。我们有一个 20 人的团队，一起准备从布置作业到为讲课视频加字幕的所有事情。管理这支团队是我目前最主要的工作，这就像在转碟一样，总有一些事情需要我去注意。

为了放松，我每周尝试做一些不一样的事情。目前，我参加了一支舞蹈队，而且我还在学习爵士钢琴。

问：你使用什么技术栈？

答：研究数学的时候，我的技术栈是纸和笔。现在，我用：

• Atom 来编程：我喜欢基于 GUI 的文本编辑器。我可能永远不会学习 Vim，不学对我也没什么影响！除了编程，我还在 Atom 里写生活日常（如阅读笔记、待办事项、论文大纲等）。

• Pytorch 做深度学习：和很多 NLP 研究者一样，两年前我从 TensorFlow 转 PyTorch 了，因为 PyTorch 在原型制作和 debug 方面相对好用。但是，我仍然使用 TensorBoard 来做可视化。

• Overleaf 写 LaTeX 文档：LaTeX 很难，我喜欢用 Overleaf，它会让事情简单一些。

• BetterTouchTool：我离不开这款 Mac 电脑的快捷键神器。

问：进入 AI 领域之前你做的是什么？它是如何对你现在的工作产生影响的？

答：从纯粹数学研究转到深度学习有点奇怪——前者是如此严肃，而后者是如此经验性的东西。我很喜欢之前的纯粹数学训练，因为它能让我涉猎方程和证明（即使很难，但我至少不会害怕退缩）。

除了科学，我感兴趣的还有艺术、文学、电影，以及它们与更广阔社会的关系。这些兴趣反映在我的研究中，我选择了更具创造性的 NLP 任务，比如对话语言和讲故事。我还关注人工智能在社会中更广泛的作用，例如，去年我举办了 AI 沙龙，对 AI 进行一系列讨论。

问：你如何做到持续学习？如何跟上最新的 AI 研究趋势？

答：首先，我会提醒自己与他人交谈。我觉得在斯坦福 NLP 组工作的最大收获是身边有一群很厉害的人。与这些人交谈比看大量论文学得更快，也更有教育意义。

其次，我会尽量大胆地去问问题，哪怕是蠢问题。这样做可以更快地消除障碍，而且我希望这样能够创建一个舒适的工作氛围，让每个人都能轻松地提问。

我发现教学也是一个保持持续学习的好方法。讲授 CS224n 课程要求我对各种主题的理解比以往更深。

为了跟上最新的 AI 新闻，我使用推特。我关注了很多 NLP 教授，比如 Kyunghyun Cho、Miles Brundage、Mark Riedl、Emily Bender，还有那些对这个领域提供有趣元评论的人，比如 Sebastian Ruder、Stephen Merity、Zachary Lipton。此外，我还关注那些投身计算机科学教育的人（如 Rachel Thomas、Jeremy Howard、Cynthia Lee）和研究 AI 伦理的人（如 Kate Crawford、Joy Buolamwini、Timnit Gebru）。

问：你最感兴趣的 AI 研究是什么？

答：我最感兴趣的是旨在将离散结构引入神经网络（通常有很多连续表征）的研究。这项研究很重要，它能够使神经网络进行推理。另一个我感兴趣的趋势是为 NLP 深度学习开发更好的通用预训练模型（如 ELMo 和 BERT）。我希望这种模型能让为困难或特殊的 NLP 任务构建系统变得更容易，而不是每次都重新造轮子。

问：你对想进入 AI 领域的人有什么建议？

答：我的第一个建议是：任何人都可以学习 AI。有些人说，要进入 AI 领域，首先要获得特定学科的学位、上过特定的大学或者有一定的编程经验。我觉得这种观点有些狭隘，有很多条通向 AI 的路。例如，我开始读博士的时候，几乎不知道如何写代码。AI 是一个快速发展的领域，相关的应用无处不在。来自任意学科、拥有任意背景的人都能够而且都应该为 AI 做点什么。我们需要依靠大家的努力才能实现最好的 AI。

我的第二个建议是：学习 AI 不要一刀切。有些人更想学习理论知识，有些人可能更喜欢实践知识。现在有越来越多的高质量资源供大家学习 AI，而且很多都是免费的。你可以尝试这些东西，找出适合自己的学习方式。

原文链接：https://www.deeplearning.ai/working-ai-in-the-lab-with-nlp-phd-student-abigail-see/

本篇文章来源于: 深度学习这件小事