鱼羊 发自 凹非寺
转自 | 量子位
听到过拟合三个字，大部分机器学习研究者都会如临大敌。
毕竟没有人会希望自家模型崽崽，脱离了题集范围就不会考试了。
但现在，多伦多大学和麦吉尔大学的一项最新研究表明，过拟合也并非一无是处。
比如在重建3D物体外观上，过拟合神经网络就有奇效。
用过拟合神经网络重塑物体形状
有向距离场SDF（signed distance field）是计算机图形学中，常见的一种隐式曲面表示方法。
可以无损放大渲染字体：
还能实现极具真实感的的着色和光照效果：
不过，如果要用SDF来存储具有复杂细节的物体外观，则将面临无法进行扩展的问题。
此前已有研究证明，神经网络是3D物体SDF的有效近似。于是，多伦多大学和麦吉尔大学的研究人员们开了个脑洞：
能不能带有目的性地去过拟合一个单一3D物体表面的SDF表示？
换句话说，就是能否让过拟合神经网络，作为一种隐式形状表示，来高精度重建3D物体的外观？
这个可以有。
网络结构
研究人员们首先打造了一个N层前馈全连接网络，其隐藏层大小为H，隐藏层激活函数为ReLU，而输出层则由TanH激活。
需要注意的是，虽然增大网络深度和宽度会得到更好的结果，但也会使得内存占用和渲染时间倍增。
经过测试，研究人员发现当N为8，H为32时，网络能在重建精度、渲染速度和内存占用之间取得良好的平衡。
这一架构与前辈方法DeepSDF的默认架构相比，参数数量减少了99%，渲染第一帧的速度加快了93%，仅需要64kB内存，同时重建质量的损失仍在可接受范围之内。
网络的输入为给定对象的SDF点样本，输出则为网络预测的每个输入点的有向距离。
研究人员将这一网络结构命名为OVERFITSDF。
采样策略和损失函数
为了让过拟合神经网络能在相同的存储成本下，实现更高的精度。研究人员还精心设计了采样策略和损失函数。
在采样策略上，研究人员没有采用随机采样的方案，而是集中关注对边界转换更具「信息量」的点。
具体而言，就是根据点到输入形状表面的距离，来进行采样。
而在损失函数方面，研究人员采用简单的最小绝对偏差（L1）作为损失函数。他们发现，与平方误差（L2）相比，其表面重建效果会更好。
该方法根据重要性度量w(x)，对损失函数进行缩放，这样重要性小的训练样本对损失的影响也就较小。
如此，就可以赋予指定区域（如更接近表面的样本点）更高的影响权重。也能够根据需求提高局部区域的重建精度。
有向距离
另外，研究人员采用广义缠绕数而非法线来标记距离方向，这样就能够处理带有自交点、开放边界、非流形的网格，在补习生网格真实拓扑结构的情况下，大大降低了模型的复杂性。
实验结果
那么，用OVERFITSDF替代真实的SDF，效果究竟如何呢？
实验证明，此前的SOTA方法DeepSDF的重建质量，会因为几何结构没有对齐到默认方向而受到明显影响。
但OVERFITSDF无论方向如何，都会收敛到相同的精度。
而在同样的内存预算下，无论是和原始三角形网格（下图左）相比，还是和统一有向距离网格（下图中）相比，该方法（下图右）都具有更强的表现力。
论文地址：https://arxiv.org/abs/2009.09808
<pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">干货 | 算法工程师超实用技术路线图</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">那些轻轻拍了拍Attention的后浪们</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">吴恩达推荐笔记：22 张图总结深度学习全部知识</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">周博磊自述：一个神经元的价值和一个神经病的坚持</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;">你一定从未看过如此通俗易懂的YOLO系列解读 (下)</section></section></section></section></section></section></section></section></section>
本篇文章来源于: 深度学习这件小事
本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！
内容反馈