DenseNet-PaddlePaddle
从ResNet开始,有很多研究都是琢磨怎么通过提高深度网络中层与层之间的信息传递(包括正向和反向传播)来解决梯度消失的问题。 ResNet是通过增加一个Short Connection的恒等映射来传递数据,并将这个数据与卷积层输出的残差相加来作为下一层的输入。 Stochasic Depth方法就是通过在反向传播中(训练过程)随机的丢掉一些层来提供训练时的梯度。
DenseNet提出了一个新的思路:把每一层的输出,特别是浅层网络的输出做一个连接到后面所有的层,这样来保证有效的利用前面层的有效信息(因为前面层毕竟没有那么多的信息丢失)。而且不是同通过相加,而是通过featrue map的叠加方式进行。这种方式叫做featrue reuse
图像视觉分类
2024-09-13 | 2195人看过