Characterizing possible failure modes in physics-informed neural network
NeurIPS 2021
表征PINN中可能的失败模式。本文的思路也比较简单，通过对PINN的优化域进行观察，发现导致PINN训练的原因并不是因为神经网络的表达力不足，而是由于PINN中引入了基于PDE微分算子的软正则化约束（也就是残差项），这导致了许多微妙的问题，使得问题病态。简单的事，是由于PINN的设置，导致了一个极度凹凸不平不平滑的优化域，使得虽然神经网络的表示力是充足的，但仍然学习不到一个好的解决方案。
针对上述的问题，作者提出了两种解决方法，一是课程学习：PINN的损失想先从简单的PDE正则化开始（小系数），随着训练的进行，逐渐变得更复杂。第二种是串行到串行的学习，相比较与目前的PINN设置，在全时空域上一次性的学习解，该方法将时空域进行分割，按照顺序进行学习。因为如果同时在全时空上学习，就很有可能会违反PDE固有的因果关系。
我们可以看到，在参数较大时，PINN失败于找到一个正确的解。那么也就是，即使面对简单的问题，PINN也容易失败。是什么导致了这种问题呢？作者认为，是损失函数中物理项的存在，导致了PINN的训练失败。首先作者观察了PINN的优化域，我们可以发现，随着PDE参数的变大，损失函数的优化域迅速变得夸张起来，肉眼可见的不光滑，还有z轴增长速度也很快。
那么，作者为什么就认为是残差项带来的问题呢？而不是神经网络结构的问题，即神经网络的表达力不足，失败于去近似精确解。通过第一种解决方法，即课程学习，作者给出了解释。
我们可以看到，使用课程学习的思想训练PINN，最终可以得到一个满意的解决方案。而普通的PINN失败了。而这拥有相同的神经网络结构，所以，普通PINN的失败并不是由于网络的表达力不足（课程学习是从小参数的PDE开始训练PINN，随着训练的进行逐渐的增加PDE的参数，这体现在PINN的损失项中）。
紧接着，作者提供了第二种解决方案，串行到串行。这类的解决方案最近已经看到了很多了。通过时空域分割，按照顺序学习。学习方法和实验结果如下。
最新文章
- [LeetCode] Paint Fence 粉刷篱笆
- JDBC小工具--TxQueryRunner及其单元测试
- Javascript刷新页面的几种方法
- windows下的文件到linux下乱码 iconv 修改文件编码
- 用C#操作vss、msbuild、reactor
- Computer Science Theory for the Information Age-2: 高维空间中的正方体和Chernoff Bounds
- 对比iOS网络组件：AFNetworking VS ASIHTTPRequest（转载）
- Power on & RESET 之前?
- 08 Noise and Error
- gitignore.io-程序猿值得拥有的智能生成gitignore文件的秘密武器
- [HNOI2016]最小公倍数
- Oracle约束、索引
- 按比例缩放DIV
- java中的标记接口（标签接口）
- re模块,subprocess模块
- November 01st, 2017 Week 44th Wednesday
- gcc -lpthread
- CentOS Gnome字体不清晰
- java.time 时间和简单任务
- Leetcode 二分查找 Search Insert Position