DynaBERT

别再蒸馏3层BERT了！变矮又能变瘦的DynaBERT了解一下 10

知行编程网 人工智能前沿 2年前 (2022-01-17) 56 0

一只小狐狸带你解锁炼丹术&NLP秘籍 神经网络模型除了部署在远程服务器之外，也会部署在手机、音响等智能硬件上。比如在自动驾驶的场景下，大部分模型都得放在车上的终端里，不然荒山野岭没有网的时候就尴尬了。对于BERT这类大模型来说，也有部署在终端的需求，但考虑到设备的运算速度和内存大小，是没法部署完整版的，必须对模型进行瘦身压缩。 说到模型压缩，常用的方法有以下几种： 量化：用FP16或者IN...