2020年，GPT-3可谓火出了圈。
不仅讲故事的本职工作做得风生水起，还跨界玩起了网页设计、运维、下象棋……
不过，尽管表现惊艳，GPT-3背后到底是实实在在的1750亿参数，想要在实际应用场景中落地，难度着实不小。
现在，针对这个问题，普林斯顿的陈丹琦、高天宇师徒和MIT博士生Adam Fisch在最新论文中提出，使用较小的语言模型，并用少量样本来微调语言模型的权重。
并且，实验证明，这一名为LM-BFF（better few-shot fine-tuning fo language models）的方法相比于普通微调方法，性能最多可以提升30%。
详情如何，一起往下看。
方法原理
首先，研究人员采用了基于提示的预测路线。
所谓基于提示的预测，是将下游任务视为一个有遮盖（mask）的语言建模问题，模型会直接为给定的提示生成文本响应。
这里要解决的问题，是寻找正确的提示。这既需要该领域的专业知识，也需要对语言模型内部工作原理的理解。
在本文中，研究人员提出引入一个新的解码目标来解决这个问题，即使用谷歌提出的T5模型，在指定的小样本训练数据中自动生成提示。
其次，研究人员在每个输入中，以额外上下文的形式添加了示例。
问题的关键在于，要有限考虑信息量大的示例，一方面，因为可用示例的数量会受到模型最大输入长度的限制；另一方面，不同类型的大量随机示例混杂在一起，会产生很长的上下文，不利于模型学习。
为此，研究人员开发了一种动态的、有选择性的精细策略：对于每个输入，从每一类中随机抽取一个样本，以创建多样化的最小演示集。
另外，研究人员还设计了一种新的抽样策略，将输入与相似的样本配对，以此为模型提供更多有价值的比较。
实验结果
那么，这样的小样本学习方法能实现怎样的效果？
研究人员在8个单句、7个句子对NLP任务上，对其进行了系统性评估，这些任务涵盖分类和回归。
结果显示：
-
基于提示的微调在很大程度上优于标准微调；
-
自动提示搜索能匹敌、甚至优于手动提示；
-
加入示例对于微调而言很有效，并提高了少样本学习的性能。
在K=16（即每一类样本数为16）的情况下，从上表结果可以看到，该方法在所有任务中，平均能实现11%的性能增益，显著优于标准微调程序。在SNLI任务中，提升达到30%。
不过，该方法目前仍存在明显的局限性，性能仍大大落后于采用大量样本训练获得的微调结果。
关于作者
论文有两位共同一作。
高天宇，清华大学本科生特等奖学金获得者，本科期间即发表4篇顶会论文，师从THUNLP实验室的刘知远副教授。
今年夏天，他本科毕业后赴普林斯顿攻读博士，师从本文的另一位作者陈丹琦。
Adam Fisch，MIT电气工程与计算机科学专业在读博士，是CSAIL和NLP研究小组的成员，主要研究方向是应用于NLP的迁移学习和多任务学习。
他本科毕业于普林斯顿大学，2015-2017年期间曾任Facebook AI研究院研究工程师。
至于陈丹琦大神，想必大家已经很熟悉了。她本科毕业于清华姚班，后于斯坦福大学拿下博士学位，2019年秋成为普林斯顿计算机科学系助理教授。
最后，该论文代码即将开源，如果还想了解更多论文细节，请戳文末论文链接详读~
传送门
论文地址：
https://arxiv.org/abs/2012.15723v1
项目地址：
https://github.com/princeton-nlp/LM-BFF
<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的？</p><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">彻底搞懂机器学习中的正则化<br /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">13个算法工程师必须掌握的PyTorch Tricks</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新：生成对抗网络（GAN）专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax，十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>
本篇文章来源于: 深度学习这件小事
本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！
内容反馈