发布于 | 更新于 | 分类于 机器学习| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 9 篇

前序课程：集成方法 提升方法：将弱的可学习算法提升为强的可学习算法。其中提升方法是集成学习中的一种。   AdaBoost算法 准确的来说Adaboost是boosting的其中一种方法。采用了exponential loss function（其实就是用指数的权重）。 AdaBoost是 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 标签 | 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 8 篇

前序文章：集成算法 Bagging算法（英语：Bootstrap aggregating，引导聚集算法），又称装袋算法，是机器学习领域的一种集成学习算法。   如何生成多个臭皮匠？ 本质是放回式采样。 现在我们有一组数据，其中70%是训练数据，剩下的30%是测试数据。测试数据是为了验证我们 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 标签 、、、| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 7 篇

前序课程：支持向量机 支持向量机：线性可分支持向量机与软间隔最大化 支持向量机：线性可分支持向量机与硬间隔最大化   提升决策树的准确性性能 在之前我们学习过决策树，现在我们考虑下如何提升决策树的准确性。 使用集成学习方法，集成学习方法有两个主要类别，分别是序列方法和并行方法。他们主要有代 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 标签 、、| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 6 篇

前序课程 支持向量机学习路线，请学习本节软间隔最大化之前先看之前的硬间隔最大化。支持向量机：线性可分支持向量机与硬间隔最大化   软间隔优化：解决过于“严格”划分问题 软间隔：数据中的噪音。 之前的方法过于“严格”，我们要求所有点都分的对，先分的对，再要求间隔最大。而现在，我们认为这个要求 …

阅读全文 »

发布于 | 分类于 技术随笔| 标签 、、| 0

在计算器上计算e的x次方（假设x=4），步骤如下： 1、用科学计算器数字键输入1，如下图： 2、按红框这个键，如下图： 3、再按红框这个键，如下图： 4、再按红框这个键，如下图： 5、数字键输入4，如下图： 6、按红框这个“=”，答案就出来了，如下图： 结果：e^4=54.5981500331442 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 标签 、、| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 5 篇

  书接上文：回忆感知机红豆绿豆模型 之前我们学习过感知机的概念和应用，回忆：感知机 – 一种二分类线性分类模型，划分红豆和绿豆 我们解决了一个分类问题——划分红豆和绿豆。我们可以让机器随心所欲的正确划分出一条直线将图中的红豆和绿豆划分开。 现在我们有了一个更好的划分红豆和绿豆 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 4 篇

逻辑斯蒂回归模型 一个思考：回想感知机模型，划分出来的一条线非常“生硬”的把两类点划分开，但是真的可以说距离超平面左侧0.001的距离和距离超平面右侧0.001距离的两个点有着天壤之别的区分吗？ 提出问题：我们想找到一个在区间上连续可微的函数，使得不像原来的感知机那样“生硬”。 解决极小距离带来的天 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 0

[title]拉格朗日乘子法要解决什么问题[/title] 我们以二维空间为例，简单介绍下拉格朗日乘子法解决的问题。 解决的问题：在$h(x)=x_{1}^2+x_{2}^2-2=0$函数的约束下（即上图红色的圆柱）上找到某一点使得f(x)函数（蓝色平面）值取得最小值。我们称h(x)为限制条件。 & …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 0

多元函数的梯度上升我们可能不好理解，二元函数的梯度函数是一个曲面，我们现在用最简单的一个一元二次函数： $f(x) = -x^2+3x+1$ 函数图像： 使用高中方法计算最大值 先对原函数求导：$f(x)’ = -2x+3$，另 -2x+3=0，解出x = 1.5。即在x=1.5处取得极 …

阅读全文 »

发布于 | 更新于 | 分类于 机器学习| 标签 、、、| 0
本文已收录于 机器学习笔记 系列，共计 20 篇，本篇是第 3 篇

感知机模型 什么是感知机 感知机是一个二分类线性判别模型，假设输入$x\in \mathbb{R}^n$，输出$y\in\{-1,+1\}$，感知机为如下函数： $f(x)=sign(w^Tx+b)$, $\\sign(x)=\left\{\begin{aligned} 1 \qquad \quad …

阅读全文 »