ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答 6
一只小狐狸带你解锁 炼丹术&NLP 秘籍 背景 什么是知识图谱问答？ 知识图谱（KG）是一个多关系图，其中包含数以百万计的实体，以及连接实体的关系。知识图谱问答（Question Answering over Knowledge Graph, KGQA）是利用知识图谱信息的一项研究领域。给定一个自然语言问题和一个知识图谱，通过分析问题和 KG 中包含的信息，KGQA 系统尝试给出正确的答案...
NAACL’21 | 来看如何让模型学会因为所以但是如果 19
有一些标准考试那是真的难，难到能分分钟教你做人。对于留学党来说，申请法学博士需要 LSAT 考试成绩、申请商学院需要 GMAT 考试成绩。这些标准考试到底有多难，大概考过的都懂8（嘤嘤嘤_(:з」∠)_） 要想在这些考试中取得高分，需要有很强的理解和分析复杂文本的能力。而具体而言，这类复杂文本可以被称作论证文本，英文叫做 Argument。什么是 Argument 呢？最简单的形式，有前提（Pre...
深入深出Sigmoid与Softmax的血缘关系 33
缘起逻辑回归 逻辑回归模型是用于二类分类的机器学习模型（不要说逻辑回归可以做多类分类啊喂，那是二类分类器的组合策略问题，而与逻辑回归分类器本身的构造没有半毛钱关系啊）。 我们知道，在逻辑回归中，用于预测样本类别的假设函数为 （小夕要讲大事，忽略偏置项参数和向量转置这种细节啦）,其中sigmoid函数的图像看起来是这样的： 因此，我们将的样本预测为正类别（记为类别1），将的样本预测为负类别（记为类别...
AdaX：一个比Adam更优秀，带”长期记忆“的优化器
前言 这篇文章简单介绍一个叫做AdaX的优化器，来自《AdaX: Adaptive Gradient Descent with Exponential Long Term Memory》。介绍这个优化器的原因是它再次印证了之前在《硬核推导Google AdaFactor：一个省显存的宝藏优化器》一文中提到的一个结论，两篇文章可以对比着阅读。 Adam & AdaX AdaX的更新格式是 其...
Google Cloud TPUs支持Pytorch框架啦！
在2019年PyTorch开发者大会上，Facebook，Google和Salesforce Research联合宣布启动PyTorch-TPU项目。项目的目标是在保持PyTorch的灵活性的同时让社区尽可能容易地利用云TPU提供的高性能计算。团队创建了PyTorch/XLA这个repo，它可以让使PyTorch连接到云TPU并使用TPU内核，同时Colab也支持在云TPU上使用PyTorch/X...
ICML2020 | 一行代码就能实现的测试集上分技巧 4
在训练模型的时候，我们需要损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证集的损失越小越好，而正常来说训练集的损失降低到一定值后，验证集的损失就会开始上升(即过拟合），因此没必要把训练集的损失降低到0。 为了对抗这种过拟合现象，提高模型的测试集表现（即泛化能力），一种很自然的想法是提前终止（early stopping），也就是当观测到模型的验证集表现不降反升时...
从逻辑回归到神经网络 21
回顾 小夕在文章《逻辑回归》中详细讲解了逻辑回归模型，又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义（代表二类分类问题中，其中一个类别的后验概率）。 至此，我们已经比较透彻的理解了逻辑回归模型假设函数(也就是用于预测类别的函数)。纯从计算顺序上来说，逻辑回归预测类别的顺序即： 1. 输入样本X与模型参数作内积，结果记为z 2. 将中间结果z输入到Sigmoid函数，...
利用光学卫星图像探测云雪的多分辨率全卷积网络
今天和橙子姐姐一起看一下遇到云雨卫星图像如何处理吧~ 云和雪在可见光和近红外 (VNIR) 范围内具有相似的光谱特征，因此在高分辨率 VNIR 图像中难以相互区分。本文通过引入短波红外 (SWIR) 波段来解决这个问题，其中云具有高反射性，而雪具有吸收性。由于与 VNIR 相比，SWIR 通常具有较低的分辨率，因此本研究提出了一种多分辨率全卷积神经网络 (FCN)，可以有效地检测 VNIR 图像中...
FLAT：中文NER屠榜之作！ 11
近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。 如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词...
视频问答兴起，多跳问答热度衰退，92篇论文看智能问答的发展趋势
2019年的时候，舒意恒Y.Shu整理了一份《2019年，智能问答有哪些研究方向？》，如今2020年已经过去了一半，该领域的研究趋势发生了一些有趣的变化。于是Y.Shu继续为大家整理了今年ACL、AAAI、IJCAI、SIGIR、CVPR、ICML、KDD等顶级会议上智能问答方向的92篇论文，进行了分方向梳理，并为大家打包了这92篇的论文PDF挂在订阅号后台方便大家下载。 在智能问答涉及的各个小方...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利