深度学习常用数据集介绍
- mnist手写数字数据集：http://yann.lecun.com/exdb/mnist/
- ImageNet：https://image-net.org/challenges/LSVRC/index.php
前沿：目前来说，深度学习的算法大家都差不多，已经逐渐变成比拼数据集量大小。
改造人工神经网络，引入深度学习模型
人工神经网络在此之前有过一段的沉寂期，在当时发现小样本情况下SVM甚至比人工神经网络更好，而人工神经网络的数学推导又不是很清晰，当时发表文章很难。
随后在2003年，神经网络开始发力：
自编码器
请注意，我们本节所讨论的内容都是历史沿革，并不代表ANN、自编码器这些内容现在还很重要，目前来说，自动编码机并没有太大的用途。
上图是06年Hinton发表的论文，介绍了自动编码机这种方法，但06年那会这篇文章没有使用神经网络，而是使用了一种受限玻尔兹曼机（RBM）——目前已经基本不用了。这里只是讲了一个思想，使用RBM还是神经网络只是具体实现问题，影响不大。
当时用于压缩、减少神经元个数，是一种提取特征的行为。
具体内容请看后续的自编码器文章。
卷积神经网络（CNN）
具体内容请看后续的卷积神经网络文章。
深度学习工具
Tensorflow和Caffee。
