感知机

• 给定输入，权重和偏移，感知机输出：（当然，不一定非得是0和1）

• 二分类：-1或1
• VS 回归输出实数
• VS Softmax回归输出概率

收敛定理

• 数据在半径那日

• 余量分类两类： 对于 感知机保证在步后收敛

感知机的问题

XOR问题（Minksy & Papert, 1969）

总结

• 感知机是一个二分类模型，是最早的AI模型之一；

• 它的求解算法等价于使用批量大小为1的梯度下降；

• 它不能拟合XOR函数，导致AI的第一次寒冬；

多层感知机

单隐藏层——单分类

• 输入

• 隐藏层，

• 输出层，

是按元素的激活函数

 

Sigmoid激活函数

Tanh激活函数

ReLU激活函数

多类分类

• 输入

• 隐藏层，

• 输出层，

多隐藏层

• 隐藏层数

• 每层隐藏层的大小

总结

• 多层感知机使用隐藏层和激活函数来得到非线性模型

• 常用激活函数是Sigmoid，Tanh，ReLU

• 使用Softmax来处理多类分类

• 超参数为隐藏层数，和各个隐藏层大小

多层感知机的从零开始实现

1. 前面不变

2. 实现一个具有单隐藏层的多层感知机，它包含256个隐藏单元

3. 实现ReLU激活函数

4. 实现我们的模型

5. 多层感知机的训练过程与softmax回归的训练过程完全相同

多层感知机的简洁实现

1. 隐藏层包含256个隐藏单元，并使用了ReLU激活函数