发表于 | 分类于

前言

在机器学习中，支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法建立一个将新的实例分配给两个类别之一的模型，使其成为非概率二元（英语：binary classifier）线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

阅读全文 »

发表于 | 分类于

前言

本文主要介绍XGBoost这一超快集成训练模型。该算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数去预测一个样本的分数，最后将每棵树对应的分数加起来就是该样本的预测值。

阅读全文 »

发表于 | 分类于

前言

本文续接上文关于Adaboost的内容，继续记录 Boosting 算法族的其他算法。上一篇博客简单介绍了了加法模型和向前分布算法，以及 Adaboost 模型的原理和推导过程。本篇博客主要介绍 Boosted Decision Tree （提升树） 和 Bradient Boosting Decision Tree（GBDT）两种算法。其中 GDBT 可以理解为 BDT 的一种推广形式。

阅读全文 »

发表于 | 分类于

前言

Boosting 是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本受到更多关注，然后基于调整过后的分布来训练下一个基学习器，如此反复进行，直到基学习器数目达到事先指定的值 \(T\) ,最终将这 \(T\) 个基学习器进行加权组合。

阅读全文 »