1.2. 多层感知器MLP(人工神经网络)实现非线性分类理论

本文承接自上一篇文章 1.1. 多层感知器MLP(人工神经网络)介绍，建议先看上一篇文章。

1.2.1. MLP vs. 逻辑回归

MLP能做到的事逻辑回归也可以。逻辑回归的缺点在于需要增加高次项数据才可以完成非线性的分类，导致运行速度极慢。所以我们的目标就是在不增加高次项数据的情况下使用MLP完成分类。

1.2.2. 一个例子

我们来举个例子，假如我们的最终目标是对这些点进行分类：

分类示例点

我们可以先简化模型——红色点出现在左下角和右上角，蓝色点出现在左上角和右下角：

简化分类模型

假设红色点值为1，蓝色点值为0，可以得到如下的真值表：

X₁	X₂	y
0	0	1
0	1	0
1	0	0
1	1	1

$x_1$、$x_2$同为0或1时结果为1
$x_1$、$x_2$不相等时结果为0

用专业的数学名词表达就是此时$y$为$x_1$和$x_2$的同或门($y: x_1 XNOR x_2$)。

1.2.3. 逻辑门

与门(AND)

上文所说的同或门就是逻辑门的一种，先讲一下与门($AND$)这个最基础的逻辑门：当$x_1$、$x_2$同时成立(为1)时结果才成立(为1)，其余情况不成立(为0)。

假如我们有以下几个输入因子： $x_0 = 1$、$x_1$和$x_2$

$x_0$通常是偏置项，一般取值为1。偏置项就像是一个“自由调整的数”，它可以让神经元在没有输入（或输入为零）时仍然有一个非零的输出，用于调整神经元的激活值

设每一个输入数据的权重分别是$\theta_{10}^1$、$\theta_{11}^1$、$\theta_{12}^1$，用权重乘以每个输入值后相加，再使用逻辑函数计算即可得到神经元的输出值： $$ y = h(\theta, x) = g\left(\theta_{10}^{1} + \theta_{11}^{1} x_1 + \theta_{12}^{1} x_2\right) $$

$\theta_{ij}^{1}$：表示第一层到第二层之间的权重，这里的上标1表示这是第一层的权重矩阵（通常是输入层到隐藏层的权重）。例如，$\theta_{11}^{1}$代表从输入层第1个输入节点到隐藏层第1个神经元的权重。

其中： $$ g(x) = \frac{1}{1 + e^{-x}} $$

如果我们设定权重$\theta_{10}^1 = -20$、$\theta_{11}^1 = 15$、$\theta_{12}^1 = 15$，这个神经元就能实现与门。我们可以先把这些参数带入公式： $$ h(\theta, x) = g\left(-20 + 15x_1 + 15x_2\right) $$

我们把每种情况的值算出来：

x₁	x₂	$h(\theta, x)$	y
0	0	$g(-20)$	0
0	1	$g(-5)$	0
1	0	$g(-5)$	0
1	1	$g(10)$	1

只有$x_1$和$x_2$都是1的时候$y$值才是1，这说明这个神经元实现了与门。

既不是$x_1$也不是$x_2$

接下来我们来个复杂一点的逻辑门：既不是$x_1$也不是$x_2$应该怎么表示呢？这句话中的“不是”代表非门(NOT)，“也”代表与门(AND)。

所以它的逻辑门应该写成：$y$: $NOT(x_1)$ $AND$ $NOT(x_2)$

我们修改权重就能把上面的神经元改为输出既不是$x_1$也不是$x_2$的逻辑： $$ h(\theta, x) = g\left(5 - 10x_1 - 10x_2\right) $$

带数据进去算：

x₁	x₂	$h(θ, x)$	y
0	0	$g(5)$	1
0	1	$g(-5)$	0
1	0	$g(-5)$	0
1	1	$g(-15)$	0

或门(OR)

如果我们想实现或门($y:$ $x_1$ $OR$ $x_2$)：$x_1$、$x_2$中任意一个是1最后的结果就是1，可以这么写权重： $$ h(\theta, x) = g\left(-10 + 15x_1 + 15x_2\right) $$

带数据进去算：

x₁	x₂	$h(θ, x)$	y
0	0	$g(-10)$	0
0	1	$g(5)$	1
1	0	$g(5)$	1
1	1	$g(20)$	1

1.2.4. 逻辑门与MLP

$y:$ $x_1$ $AND$ $x_2$

graph TD;
    A[1] -->| -20 | D[y]
    B[x₁] -->| 15 | D[y]
    C[x₂] -->| 15 | D[y]

$y$: $NOT(x_1)$ $AND$ $NOT(x_2)$

graph TD;
    A[1] -->| 5 | D[y]
    B[x₁] -->| -10 | D[y]
    C[x₂] -->| -10 | D[y]

$y:$ $x_1$ $OR$ $x_2$

graph TD;
    A[1] -->| -10 | D[y]
    B[x₁] -->| 15 | D[y]
    C[x₂] -->| 15 | D[y]

我们通过这些逻辑门的排列组合就能组成一个比较复杂的MLP模型从而实现最开始的同或门($y: x_1 XNOR x_2$)逻辑。

具体怎么做呢？逻辑是这样的：

graph TD;
    %% 输入层
    A[1] -->| 5 | B[a₁²]
    A[1] -->| -20 | C[a₂²]
    X1[x₁] -->| -10 | B[a₁²]
    X1[x₁] -->| 15 | C[a₂²]
    X2[x₂] -->| -10 | B[a₁²]
    X2[x₂] -->| 15 | C[a₂²]

    %% 隐藏层到输出层
    B[a₁²] -->| 15 | Y[y]
    C[a₂²] -->| 15 | Y[y]
    Bias2[1] -->| -10 | Y[y]

这么看你可能有点懵，我来逐步解释：