预训练模型

预训练语言模型真的是世界模型？ 10

知行编程网 人工智能前沿 2年前 (2022-02-06) 29 0

自GPT、BERT问世以来，预训练语言模型在NLP领域大放异彩，刷新了无数榜单，成为当前学界业界的心头爱，其主体结构——Transformer——也在逐步的运用于其他领域的任务中，常见的如与CV的跨界，也有相对小众的bioinfo的任务（如蛋白质分类），然后此时问题来了，NLP领域技术成熟数据丰富，相比之下，其他领域或许不那么充足，那么曾经在 文本 数据上预训练的模型对 模态 有没有迁移作用呢？ ...