知识蒸馏

NYU & Google: 知识蒸馏无处不在，但它真的有用吗？ 16

知行编程网 人工智能前沿 2年前 (2022-02-15) 124 0

导师: 小伟，听说你对知识蒸馏比较了解，你来给我说说知识蒸馏有什么用？ 我: 知识蒸馏是一种很典型的模型压缩的方法，我们可以用它来有效地从大型教师模型学习小型学生模型，并且学生模型的性能也很不错。 导师: 那它既然叫知识蒸馏，你怎么知道学生模型是不是真的充分学到了教师模型的知识呢？ 我: 这不简单嘛，学生模型的效果好不就说明学到充足的知识了。 导师:一看你就不关心最新的学术进展，天天是不是忙着吃鸡...