开局一段扯，数据全靠编？真被一篇“神论文”气到了 3
看来以后我们看论文的时候，不仅要关心论文成绩的可复现性，还要留意它们的求和、均值、方差等有没有算错，否则真的是“无奇不有”！！ 这篇文章谈一下笔者被前几天出来的一篇“神论文”气到了的经历。 这篇“神论文”是 《How not to Lie with a Benchmark: Rearranging NLP Leaderboards》 ，论文的大致内容是说目前很多排行榜算平均都用算术平均，而它认为几...
吐血整理：论文写作中注意这些细节，能显著提升成稿质量 24
前言 不知诸位在科研的起步阶段，是否曾有过如下的感受： 总感觉自己写的论文就是和自己读过的论文长得不太一样，也不知道为啥。 投稿的时候，审稿人也总是 get 不到论文的核心，只揪着论文的次要细节不放。 在本文中，笔者吐血整理大量的论文写作小细节。从格式到内容上帮你提升论文的清晰度和易读性，可以显著缓解论文写完后导师不爱看，评审看不懂等症状。 本文适合对LaTeX基本语法有所了解的同学食用。 符号篇...
仅仅因为方法 Too Simple 就被拒稿，合理吗？ 28
如果你看到自己实验行之有效的论文被退稿，而收到的退稿理由仅仅是“方法太简单”，你会怎么想？ 这两天在推特上，佐治亚理工的 Riedl 教授吐槽了自己收到的 AAAI phase 1 退稿理由居然是因为“这方法似乎太简单”，引起了广泛的讨论。 Riedl 教授列出了自己收到的两点退稿理由：一是方法太过简单，二是不满于他只采用了人工评分，而没有使用 BLEU score（尽管他们做的任务是故事生成.....
别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！ 18
如果评选NLP圈的2020年度十大关键词，那么GPT-3（Language Models are Few shot Learners) 一定榜上有名。 GPT-3庞大的参数量，优异的性能至今仍让圈内圈外人都津津乐道，而OpenAI发布的OpenAI API，更是为自然语言处理技术的大规模可扩展商业应用提供了一个极有前景的方向。不过，作为NLP研究者，我认为GPT-3对前沿研究的最大贡献是，展现了 ...
恕我直言，你的实验结论可能严重依赖随机数种子！ 17
God does not play dice with the universe ...... But BERT Does ! 包括BERT在内的预训练模型已经是现今NLP工作的标配。但你有没有考虑过，这些工作的实验结论可能都是虚假的？在 Bertology 中，大家从 huggingface 上下载 Google 训好的模型，在精调中结合改进，并应用于下游任务。所有的工作都是基于一组特定的初始化...
多模态为什么比单模态好？第一份严谨证明来了！ 15
面试官: 听说你对多模态感兴趣，请问为什么多模态学习要比单模态学习效果好？ 候选人: 直观地，多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。 面试官: 直觉+实验是老生常谈了，我听过很多次了，有没有更严谨一些的证明？ （候选人内心语：面试...
深度学习，路在何方？ 3
文 | Severus 最近，AI领域的三位图灵奖获得者Yoshua Bengio、Yann LeCun和Geoffrey Hinton共同发表了一篇文章，名为Deep Learning for AI，文中讨论了深度学习的起源、发展、成就及未来。 文章标题： Deep Learning for AI 原文链接： https://cacm.acm.org/magazines/2021/7/25346...
数据还是模型？人类知识在深度学习里还有用武之地吗？ 16
近些年来，随着数据量越来越多，算力价格越来越便宜，根植于数据+算力的深度学习茁壮成长。在这种背景下，作为一种强有力的表示学习方法的深度学习让人们惊讶的发现，只要投喂足够多的数据，DNN 模型即可展现出强大的威力。看上去，模型似乎不再需要由人去教它如何看数据了（特征工程）。 从这之后，各个领域、各个任务都相继出现了不少大规模的预训练模型，它们从无监督的数据中学习到一些东西，然后再使用小规模任务数据去...
视觉增强词向量：我是词向量，我开眼了！ 7
亲爱的读者，你是否被各种千亿、万亿模型的发布狂轰乱炸，应接不暇，甚至有点产生对大模型的审美疲劳？出于这个目的，今天来分享一篇研究静态词向量的小清新文章。希望大家可以在理性追热的同时，小冶情操。并且能够发现内在共性，有所启示。 论文标题： Learning Zero-Shot Multifaceted Visually Grounded Word Embeddings via Multi-Task ...
NLP哪个细分方向最具社会价值？ 14
让我们来大胆设想一个场景，老板突然发财搞到一笔钱，大手一挥给你五百万，让你去做自然语言处理的研究，你该先研究哪一个细分领域？ 机器翻译好像不错，信息抽取也很必要，对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题，从商业价值应用前景的角度出发是一套评价体系，从科学研究学科贡献角度出发又是另一套排名标准，但如果将我们的高度拔高一点，站在一个社会成员的角度...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利