深度学习常用数据集、发展脉络和工具框架介绍

本文已收录于 机器学习笔记 系列,共计 20 篇,本篇是第 17 篇

深度学习常用数据集介绍

前沿:目前来说,深度学习的算法大家都差不多,已经逐渐变成比拼数据集量大小。

 

改造人工神经网络,引入深度学习模型

人工神经网络在此之前有过一段的沉寂期,在当时发现小样本情况下SVM甚至比人工神经网络更好,而人工神经网络的数学推导又不是很清晰,当时发表文章很难。

随后在2003年,神经网络开始发力:

自编码器

请注意,我们本节所讨论的内容都是历史沿革,并不代表ANN、自编码器这些内容现在还很重要,目前来说,自动编码机并没有太大的用途。

上图是06年Hinton发表的论文,介绍了自动编码机这种方法,但06年那会这篇文章没有使用神经网络,而是使用了一种受限玻尔兹曼机(RBM)——目前已经基本不用了。这里只是讲了一个思想,使用RBM还是神经网络只是具体实现问题,影响不大。

当时用于压缩、减少神经元个数,是一种提取特征的行为。

具体内容请看后续的自编码器文章。

 

卷积神经网络(CNN)

具体内容请看后续的卷积神经网络文章。

 

深度学习工具

Tensorflow和Caffee。

作者: 高志远

高志远,23岁,男生,毕业于上海杉达学院电子商务系。

发表评论

邮箱地址不会被公开。