TravelLeraLone

2019-03-09

Densely Connected Convolutional Networks

本文考虑到每次向下一层传递的过程中，并不是所有信息都是新学习到的，于是采用了一种很简单但也很巧妙的方式来简化每次向下传递时的操作。这样的思路和处理非常有趣，可以在之后的工作中借鉴。

2019-03-08

Deep Residual Learning for Image Recognition

原文链接：Deep Residual Learning for Image Recognition (2015)每个block至少两层，因为一层的话整个block基本上就是一个linear层，没有观察到很大的好处。进一步的探究：Identity Mapping in Deep Residual Networks ...

2019-03-07

Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

本文提出了一种非常有趣的方法来解决一般的分类模型输入大小必须固定的问题--SPP层。这种层的构建方式中蕴含的思想是非常有趣的，根本上是一种对感受野大小做文章的方法，它通过不同大小的pooling使最终能获得很多感受野大小不同的输出。这种思想后来被广泛的用在Semantic Segmentation等多个需要不同大小的感受野的任务中。

2019-03-07

Going Deeper with Convolutions

GoogLeNet的提出文章，提出了使用Inception Module的想法。

2019-03-06

Network in Network

非常新颖的将卷积操作和非线性活化看成一种传统的GLM模型，于是理所当然的可以使用传统的GLM的优化方法来对其进行优化，虽然现在看来实际的效率并不尽如人意，但是依然是一个很有趣的思路与改进方向。

2019-03-05

CS229学习笔记

转行起始阶段的学习资料，CS229的详细笔记，多是机器学习的最基本的知识，其中很多内容非常数学而又点到为止，当时学习的时候由于时间紧迫更多的是跟随课程一样点到为止，到后来的学习实践过程中才发现其中的很多内容都是很有必要深入探究的，尤其是其数学本质以及推导过程。虽然现在有说法是越需要人进行数学推导的方法其效果越差，但是在研究的过程中，数学的基础还是起到了相当大的作用的，尤其是在non-trivial的改进方法探究以及最新的研究方向的探索初期等阶段。

2019-03-05

CS231n学习笔记

转行起始阶段的学习资料，CS231n的详细笔记，多是卷积神经网络的基础知识，但后面的部分和实际研究中使用的东西已经很接近了，多是某一个特定领域的前沿研究中最基础的部分，在进入某个领域的时候还是很有翻阅的必要的。