拒绝跟风，谈谈几种算法岗的区别和体验 3
一只小狐狸带你解锁 炼丹术&NLP 秘籍 这是一份小夕写给【准】算法工程师的手册和建议 图片 大概是因为马上要开始秋招提前批了，小夕在知乎和微信后台收到了不少小伙伴的岗位/团队选择的求助。于是小夕这里写一篇扫盲贴，给即将毕业的师弟师妹们提供一个参考（后面再有师弟师妹问我这个问题的时候我就有文章可以甩了(￣▽￣) 如有描述偏颇之处，欢迎经验丰富的老司机们在评论区指出。 说起来国内的岗位名称，...
ICML2020 | 一行代码就能实现的测试集上分技巧 4
在训练模型的时候，我们需要损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证集的损失越小越好，而正常来说训练集的损失降低到一定值后，验证集的损失就会开始上升(即过拟合），因此没必要把训练集的损失降低到0。 为了对抗这种过拟合现象，提高模型的测试集表现（即泛化能力），一种很自然的想法是提前终止（early stopping），也就是当观测到模型的验证集表现不降反升时...
一人之力，刷爆三路榜单！信息抽取竞赛夺冠经验分享 24
在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥： 看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示： 评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...
我删掉了Transformer中的这几层…性能反而变好了？ 13
基于Transformer结构的各类语言模型（Bert基于其encoder,Gpt-2基于其decoder）早已经在各类NLP任务上大放异彩，面对让人眼花缭乱的transformer堆叠方式，你是否也会感到迷茫？没关系，现在让我们回到最初，再次看看transformer 本来的模样——Rethinking the Value of Transformer Components。该文收录已于COLI...
中文BERT上分新技巧，多粒度信息来帮忙 15
自然语言处理实在是太难啦！中文尤其难！ 相比于英文，中文是以词作为语义的基本单位的，因此传统的中文 NLP 都需要先进行分词。分词这步就劝退了很多人，比如“研究生活很充实”，怎么让模型分出“研究|生活”，而不是“研究生”呢？ 随着预训练模型的到来，中文模型通常直接用字作为输入。甚至 19 年的一篇 ACL[1] 给出结论：基于“字”的模型要好于基于“词”的模型。但是，中文是以词作为语义的基本单位的...
学完文本知识，我就直接看懂图片了！ 18
2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世，震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时，想必对GPT-3中的Prompt方法印象深刻。简单来说，(GPT-3中的)Prompt就是为输入的数据提供模板（例如对于翻译任务 Translate English to Chinese:...
调研了下 AI 作曲，顺便做了期视频...快进来听歌！ 18
嗨，大家好！这里是卖萌屋，我是白鹡鸰。今天和大家聊聊人工智能作曲。人工智能在音乐领域的应用已经非常常见了，像听歌识曲、曲风分类、自动扒谱等等，而 利用机器来替代人类作曲 ？这显然也不是新想法了。 核心问题只在于： 现在这个任务被做到了什么程度？ 用的是什么方法？ Illiac Suite是历史上第一段在计算机协助下编曲的古典乐，诞生于1956年[1]。 上面这段音乐则来自2020年1月出版的，第一...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类