ML Review

机器学习复习中心

围绕模式识别主线，建立“特征空间 → 距离分类 → 贝叶斯决策 → 线性判据 → SVM/Logistic → 神经网络”的推理链条。

10 张复习卡 7 份 PDF 可扩展 重点标注

模式/特征空间距离分类器贝叶斯决策参数估计线性判据SVM逻辑回归神经网络/BP

Exam Focus

机器学习考试重点总览

根据本次手写复习要点整理；相关复习卡已用“本轮重点”标签高亮。

基础概念特征空间、向量基本概念、模式识别。

距离分类器从几何角度理解分类器，重点看样本、原型、距离和决策边界。

贝叶斯与估计第三章重点：概念、最大后验概率、最小损失风险、最大似然估计、有偏/无偏估计；贝叶斯估计不要求。

线性模型慕课第四章第一个模块：感知机、Fisher、支持向量机、逻辑回归；核支持向量机不作为重点。

SVM 对偶支持向量机重点理解拉格朗日原理、约束优化和一般情形下的对偶思想。

神经网络慕课第五章前两节：神经网络基本情况和 BP 算法。

搜索复习内容

10 张卡片可检索。

章节目录

机器学习zdh-1.pdf P34-P57；考试范围图片第1点

1. 模式识别、特征空间与向量基础

这一部分是全课地基：机器学习不是凭空判断，而是先把对象表示成特征向量，再在特征空间里做分类、回归或描述。

考试重点特征空间向量基本概念模式识别

知识脉络

分类输出离散类别，回归输出连续数值；模式识别本质上是从输入空间到输出空间的函数映射。
特征是可测量且能区分类别的量，好的特征要有辨别能力和鲁棒性。
特征向量既有长度也有方向；点积衡量方向相似，投影衡量一个向量在另一个方向上的分量，欧氏距离综合方向和模长差异。
特征空间中一个点就是一个样本，分类器就是在空间中建立判别规则。

必背抓手

样本变向量，向量进空间，空间里用距离、投影和边界做判断。
输入数据不一定就是好特征；特征要能稳定区分类别，而不是只对个别样本有效。
点积为0表示方向正交，不代表欧氏距离一定很远。

计算思路

先确定任务输出：类别、数值还是描述。
把样本变成特征向量 x。
用向量运算度量样本之间的相似性。
学习一个模型 f(x)，测试时把新样本代入模型决策。

考前自测

分类和回归的输出区别是什么？分类输出离散类别，回归输出连续数值。
为什么特征需要鲁棒性？因为真实样本会受噪声、光照、尺度、遮挡等影响，特征必须在变化下仍能区分类别。

机器学习zdh-1.pdf P68-P124

2. 模型学习、泛化能力与评估指标

这部分解释机器学习到底在学什么，以及为什么训练集表现好不等于考试表现好。

考试重点泛化训练/测试误差正则化

知识脉络

训练样本是假设从真实分布中独立同分布采样得到，模型是由训练样本学习出的知识表达。
模型结构决定有哪些参数；目标函数衡量模型当前参数好不好；优化算法负责找到较优参数。
泛化能力指模型对未见样本的决策能力，测试误差比训练误差更能反映泛化。
过拟合是训练阶段表现好、测试阶段表现差；可通过模型选择、正则化、验证集调参、早停等缓解。
评估指标包括Accuracy、Recall、Precision、F1、混淆矩阵、PR曲线、ROC曲线和AUC。

必背抓手

训练误差看会不会背题，测试误差看会不会做新题。
超参数不是训练直接学出来的参数，而是训练前或训练过程中由人选择的设置。
Accuracy在类别极不平衡时可能误导，需要结合Recall、Precision或PR曲线。

计算思路

划分训练集、验证集、测试集。
在训练集上用目标函数和优化算法学习参数。
在验证集上调超参数，如模型复杂度、正则系数、学习率。
最后只用测试集评估泛化性能。

考前自测

训练误差低、测试误差高说明什么？通常说明模型过拟合，记住了训练样本但泛化能力差。
为什么不能用测试集调参？测试集应模拟最终未知样本，用它调参会泄漏评估信息。

机器学习zdh-2.pdf P2-P53；考试范围图片第2点

3. 基于距离的分类器：MED、KNN、MICD

距离分类器的直觉是“离谁近就像谁”。它是最容易从几何角度理解的分类方法，也是后面马氏距离、贝叶斯和SVM的铺垫。

考试重点距离分类器几何角度分析马氏距离MICD缺陷

知识脉络

基于距离的分类有两个关键：类怎么表达，以及距离怎么衡量。
MED通常用类均值作原型，用欧氏距离分类；二类MED边界是垂直平分两个类原型连线的超平面。
KNN不先固定一个类原型，而是在测试时找最近的k个训练样本投票。
MICD用马氏距离考虑协方差，能处理特征尺度不同和相关性问题。
马氏距离等价于先旋转解耦、再白化缩放，最后用欧氏距离判断。

必背抓手

MED看均值，KNN看邻居，MICD看均值加协方差。
MED只看均值，忽略类内分布形状，所以遇到拉长、相关的分布会吃亏。
MICD会偏向方差大的类，因为在松散类中同样偏离均值不算太远。

计算思路

MED：计算每类均值，算测试样本到各类均值的欧氏距离，选最近类。
KNN：算测试样本到所有训练样本的距离，取最近k个，多数投票。
MICD：估计每类均值和协方差，用马氏距离衡量测试样本到各类分布的距离。

考前自测

MED和MICD最大的区别是什么？MED用欧氏距离只看均值，MICD用马氏距离同时看均值和协方差。
为什么要做白化？为了去除特征相关性并统一不同方向的方差尺度。

机器学习zdh-3.1.pdf P1-P72；考试范围图片第3点

4. 贝叶斯分类器：后验概率与最小风险

贝叶斯分类器不只是“离谁近”，而是问：看到这个样本后，它属于每一类的概率是多少？如果错判代价不同，还要最小化风险。

考试重点贝叶斯概念最大后验概率最小损失风险贝叶斯估计不要求

知识脉络

先验概率P(C)表示类别原本出现概率；类条件概率p(x|C)表示该类生成样本x的可能；后验概率P(C|x)表示看到x后属于该类的概率。
MAP分类器选择后验概率最大的类别，适合错误代价相同的情况。
最小错误率贝叶斯分类器追求平均错分概率最低。
最小风险贝叶斯分类器把不同错误的损失也算进去，适合医疗、安检等错判代价不对称任务。
高斯似然下，协方差相同会得到线性边界，协方差不同会得到二次曲面边界。

必背抓手

先验是原本相信，似然是证据支持，后验是看完证据后的相信。
后验概率会同时受先验和似然影响，不能只看某个特征在某类中常不常见。
最小风险不是简单追求少错，而是追求错了以后总体代价最小。

计算思路

估计或给定每类先验概率P(Ci)。
估计每类条件概率密度p(x|Ci)。
用贝叶斯公式计算P(Ci|x)。
若损失相同，选后验最大类；若损失不同，计算条件风险并选风险最小类。

考前自测

MAP分类器按什么决策？选择后验概率最大的类别。
最小风险和MAP有什么区别？MAP通常只看后验最大，最小风险还考虑不同决策错误的损失。

机器学习zdh-3.2.pdf P1-P32；考试范围图片第3点

5. 最大似然估计、有偏与无偏估计

贝叶斯分类器要用概率分布，训练时就要估计这些分布的参数。最大似然估计的核心是：选择让已有样本最可能出现的参数。

考试重点最大似然估计有偏/无偏估计理论推导与例题

知识脉络

最大似然估计把参数看成未知常量，寻找使训练样本联合概率最大的参数。
取对数似然可以把连乘变成求和，数值更稳定，也更方便求导。
类别先验的最大似然估计就是类别频率。
高斯均值的MLE是样本均值；协方差的MLE通常有偏，需要用N-1修正得到无偏估计。
有偏/无偏关注估计量的期望是否等于真实参数。

必背抓手

最大似然就是“这些样本既然出现了，那就找最能解释它们的参数”。
最大似然不是让分类准确率最大，而是让样本在模型下出现概率最大。
有偏不等于一定没用；无偏也不等于方差最小，考试按概念区分即可。

计算思路

假设数据服从某种分布，如高斯分布。
写出样本出现的似然函数。
对似然取log得到对数似然。
对参数求导并令导数为0，得到参数估计。
检查估计量是否有偏，必要时做修正。

考前自测

为什么常对似然函数取对数？把乘积变成求和，避免数值下溢，并且不改变极值位置。
协方差MLE为什么常说有偏？用N作分母时估计期望偏小，常用N-1修正为无偏估计。

机器学习zdh-4.pdf P1-P52；考试范围图片第4点

6. 线性判据、感知机与Fisher判据

线性模型用超平面切开特征空间，是最重要的基础判别模型。考试重点包括感知机、Fisher、SVM和逻辑回归；其中核支持向量机不作为重点。

考试重点线性模型感知机Fisher逻辑回归核SVM不重点

知识脉络

线性判据g(x)=w^T x+w0，w决定边界方向，w0决定边界相对原点的位置。
g(x)的符号决定二分类结果，g(x)的绝对值可看作离边界远近的置信度。
多类线性判别可用一对多、两两分类或最大值可分思想。
感知机通过错误反馈更新权重，线性可分时可收敛，但解不唯一，且无法解决XOR等线性不可分问题。
Fisher判据把样本投影到一维方向，目标是类间距离大、类内散度小。

必背抓手

线性判据看超平面，感知机靠错了就罚，Fisher靠投影后类间远类内近。
线性判据的边界是g(x)=0，不是g(x)本身。
感知机只保证线性可分情况下收敛，且不同初值/步长可能得到不同解。

计算思路

线性判别：把样本代入g(x)，看输出正负或最大值。
感知机：若样本分错，就按正确方向修正权重；若分对，权重不变。
Fisher：计算类均值和类内散度，寻找让类间投影差异最大、类内投影分散最小的方向。

考前自测

w和w0分别控制什么？w控制决策边界方向，w0控制决策边界偏移。
Fisher目标函数的直觉是什么？投影后不同类均值尽量远，同类样本尽量紧。

机器学习zdh-5.pdf P1-P56；考试范围图片第5点

7. 支持向量机：最大间隔与拉格朗日对偶

SVM要在能分开两类的超平面中，选择间隔最大的那一个。它的核心直觉是：离边界最近的样本最关键，这些样本就是支持向量。

考试重点支持向量机拉格朗日原理对偶思想核SVM不要求

知识脉络

若线性可分，能分开的超平面不止一个；SVM选择最大间隔超平面以提高泛化能力。
支持向量是落在间隔边界上的训练样本，它们决定最终决策边界。
最大化间隔等价于最小化||w||，同时满足分类约束。
SVM训练是带不等式约束的优化问题，常用拉格朗日乘数、KKT条件和对偶问题求解。
解出拉格朗日乘子后，只有乘子非零的样本是支持向量；决策函数可由支持向量构成。

必背抓手

SVM就是在能分开的线里，找离两边样本都最远的那条线。
支持向量不是所有训练样本，而是最靠近边界、真正决定间隔的样本。
拉格朗日对偶不是额外技巧炫技，而是把难解约束问题转成更容易求解的对偶优化。

计算思路

写出线性分类器和标签约束。
把最大间隔目标转成最小化||w||的约束优化。
构建拉格朗日函数，引入乘子。
用KKT条件和对偶问题求解乘子。
由支持向量恢复w和w0，并用于测试样本分类。

考前自测

为什么SVM只由支持向量决定？KKT条件下非支持向量的拉格朗日乘子为0，对最终w没有贡献。
最大间隔为什么有助于泛化？边界离训练样本更远，对小扰动和测量误差更稳健。

机器学习zdh-6_3.pdf P1-P62；考试范围图片第4点

8. 逻辑回归：线性判据到后验概率

逻辑回归把线性判据的输出送入Sigmoid函数，得到属于正类的后验概率。它名字叫回归，但常用于二分类。

考试重点逻辑回归Sigmoid交叉熵梯度下降

知识脉络

逻辑回归 = 线性模型f(x)=w^T x+w0 + Sigmoid函数。
Sigmoid把实数输出压到[0,1]，可解释为属于正类的后验概率。
单个逻辑回归的决策边界仍是线性的超平面，但输出形式是非线性的概率。
逻辑回归学习通常把真值看成伯努利分布，用最大似然或交叉熵作为目标函数。
梯度下降更新w和w0；学习率、初始化、早停会影响训练效果。

必背抓手

线性判据给分数，Sigmoid把分数变概率。
逻辑回归输出概率，但默认单个模型的决策边界仍然是线性的。
Sigmoid饱和区梯度接近0，可能导致梯度消失，所以初始化不宜太大。

计算思路

计算线性输出y=w^T x+w0。
用Sigmoid得到概率z。
用阈值如0.5把概率转成类别。
用交叉熵衡量预测概率与真值分布差异。
对w和w0求梯度并迭代更新。

考前自测

逻辑回归为什么常用于分类？它输出属于正类的概率，再通过阈值转成类别。
为什么会出现梯度消失？Sigmoid在饱和区导数接近0，链式法则使参数梯度也变小。

L36-神经网络的概念.pdf P3-P24；考试范围图片第6点

9. 神经网络概念：神经元、激活函数与隐藏层

神经网络可以看成很多逻辑回归/神经元的层级组合。它比线性模型强，是因为隐藏层做了线性变换加非线性激活，从而能表示非线性关系。

考试重点神经网络概况神经元激活函数隐藏层

知识脉络

神经元是基本处理单元，计算输入与权重的加权和，再经过激活函数输出。
若激活函数是sign，神经元类似线性判据；若是Sigmoid，神经元类似逻辑回归。
常用激活函数包括Sigmoid、tanh、ReLU、ELU等，作用是引入非线性。
前馈网络信号不构成回路，反馈网络存在信号回路。
单隐层网络由输入层、隐藏层、输出层组成；全连接表示相邻层神经元两两连接。
隐藏层几何解释：线性变换加非线性激活把输入投影到新的空间，使原本线性不可分的数据更可能线性可分。

必背抓手

神经元像逻辑回归，隐藏层像自动学特征空间。
没有非线性激活时，多层线性变换仍等价于一个线性变换，网络深度没有本质意义。
隐藏层不是神秘黑箱，它本质上是在学习新的特征空间。

计算思路

输入层接收特征向量。
隐藏层计算W x + b，再经过非线性激活。
输出层把隐藏层表示转换成类别概率或回归值。
多层结构串行、并行组合多个非线性函数，实现复杂映射。

考前自测

隐藏层为什么需要激活函数？激活函数引入非线性，否则多层线性网络仍等价于单层线性模型。
神经元和逻辑回归有什么关系？使用Sigmoid激活的单个神经元可以看成逻辑回归模型。

L37-BP算法.pdf P2-P18；考试范围图片第6点

10. BP算法：误差反向传播与梯度下降

BP算法解决的是神经网络如何学习权重。它用链式法则把输出误差从后往前传播，逐层计算每个权重对损失的贡献。

考试重点BP算法链式法则梯度下降批量/模式学习

知识脉络

待学习参数是隐藏层和输出层每个神经元的连接权重。
分类任务常用one-hot真值，回归任务输出连续值；早期神经网络常用均方误差目标函数。
批量学习用一批样本累计误差更新一次权重；模式学习每个样本更新一次。
输出层权重和误差直接相关，隐藏层权重通过输出层间接影响误差，所以需要链式法则。
BP先计算输出层误差项，再通过连接权重和激活函数导数把梯度传回隐藏层。
参数用梯度下降更新，学习率控制每次更新步长；XOR和函数拟合是典型例子。

必背抓手

前向算输出，后向算责任，梯度降参数。
BP不是简单把误差平均分给前面节点，而是按每条路径对损失的贡献分配梯度。
反向传播的是梯度信息，不是把输入数据反向传一遍。

计算思路

前向传播：输入样本，逐层计算隐藏层和输出层结果。
计算损失：比较网络输出和真实标签。
输出层反传：计算输出层误差项和输出层权重梯度。
隐藏层反传：把输出层误差按连接权重传回，并乘以隐藏层激活函数导数。
参数更新：按梯度下降规则更新各层权重。
重复迭代，直到误差足够小、达到迭代次数或触发早停。

考前自测

BP为什么要从输出层往前传？损失直接由输出产生，隐藏层只间接影响损失，需要链式法则从后往前计算梯度。
批量学习和模式学习有什么区别？批量学习用一批样本累计误差更新一次，模式学习每个样本更新一次。

课件列表

平板和手机端保留内嵌预览；若浏览器无法渲染 PDF，请使用“外部打开”。

机器学习zdh-1.pdf外部打开
机器学习zdh-2.pdf外部打开
机器学习zdh-3.1.pdf外部打开
机器学习zdh-3.2.pdf外部打开
机器学习zdh-4.pdf外部打开
机器学习zdh-5.pdf外部打开
机器学习zdh-6_3.pdf外部打开
L36-神经网络的概念.pdf外部打开
L37-BP算法.pdf外部打开