《深度学习笔记》一

最近在看这本书，记一下笔记。

感知机模型（perceptron model）的计算执行方向如下。感觉和线性回归很像呀。
但据说感知机模型不能用于线性回归问题，因为它只关注分类问题，而线性回归问题涉及到回归问题？

对于线性不可分的情况，在感知机基础上一般有两个解决方向。
线性不可分是指一组线性数据点，这些数据点上无法划分一条直线来分开类别内的所有数据点。

一个是著名的支持向量机(SVM)，旨在通过核函数映射来处理非线性的情况。
使用核技巧，将特征空间映射到一个维度更高的空间，然后在该空间中构建特征决策边界，从而解决线性不可分问题。

另一种就是神经网络模型，也叫作多层感知机(MultiLayer Perceptron, MLP)。与单层感知机在结构上的区别主要在于MLP多了若干隐藏层。利用线性组合对多维输入信号进行加权、叠加并采用非线性激活函数处理，由于实现多层结构，所以能够处理非线性问题。

隐藏层，在训练过程中看不见，难以对其效果进行合理解释，所以是“黑箱”

1. 我看到一个观点是：
   神经网络模型的隐藏层的工作原理是非常复杂的，会有一定程度的不可解释性，因此可以说它是黑箱。

2. 另一个观点是：
   隐藏层的参数或权重是可以用很多方法调试和理解的，所以它其实不是真正的黑箱。

3. 中庸的观点是：
   理解神经网络模型的隐藏层，可能需要复杂的数学原理，同时使用具体的测试例子去验证。因此，很难说它是一个完全打开的系统，但它也不是一个完全封闭的黑盒子。只能说，我们可以通过深入地研究它来理解神经网络模型的隐藏层，并使用一些实验数据来证明我们的结论。

你怎么看？

我的观点是：
这个问题我也没有明确的答案，当一个模型参数达到几百亿的数量级，想要像打开白盒一样打开它看明白它，很难了。
所以这个问题很重要吗？是不是黑箱无所谓了，只要AI能够提高生产力，促进人类发展就可以了。

神经网络的结构从普通的全连接神经网络，发展到卷积神经网络、循环神经网络、自编码器、生成式对抗网络和图神经网络等各种结构，
但BP算法一直是神经网络的一个经典和高效的寻优工具。

附神经网络早期一些发展历程

1943年，WarrenMcCulloch和WalterPitts于《神经元与行为》中首次引入网络术语来模拟人类大脑。

1956年，FrankRosenblatt发明了最早的神经网络-权重加权感知机Perceptron，它可以通过权值调整输出，模拟人类学习过程。

1960年，MinskyandPapert的“Perceptrons”认为此类神经网络有许多限制（如无法解决复杂分类任务和把线性不可分问题拆分成更小的部分）

1970年，BryonYurke等人成功提出了多层感知机(MLP)，他们构建了一台含有多层神经元的“Digital Computer Model”，扩展了单层感知机的特性，使能够解决更复杂的问题。

有监督机器学习的核心哲学：

使用“数据驱动”方法让计算机可以学习输入/输出之间的正确映射。它需要一系列“标记”记录，其中包含训练集中的输入和期望的输出，以便将输入到输出的映射学习为一种准确的行为表现。

可以用下面这个图来表示：

无监督机器学习的核心哲学：

让计算机学习输入的内部结构而不是输入/输出之间的正确映射。它通过对数据的模式和相关关系进行分析来理解不存在标记数据要求的输入数据。它通常会发现输入数据内部的隐藏模式。

个人觉得
无监督机器学习应该更高级一些，因为它有更多一点的无为而治的意思在里面。

人类是AI的父母，

因为人类中是有好的部分，和坏的部分，简单的说有好人和坏人

对于通用性AI，（比如现在很火的chatGPT这种）

好人训练出的AI，就是好的AI

坏人训练出的AI，就是坏的AI

AI不仅仅是一个工具，它的使用结果不再是依赖于使用它的人，

而是这个工具本身就有好坏的属性了…

概率论和统计学是AI的基础，它们用来分析数据的特征，识别趋势和差异，以及理解这些差异如何影响未来的数据样本。

线性代数是AI的关键技术，它用于对数据进行分类、推理和预测。

微积分是AI学习过程中一个非常重要的基础。微积分涉及概率相关分布及其变化情况，还定义了函数最小化和极大化等技术，而这些技术都是AI中用到的重要方法。

所以，总结来说，大学里基本上都学过概率论和统计学原理、高数（微积分）、线性代数，
所以读了大学的人要学习AI是没有太多技术门槛的。

当然还有其他特定知识，比如信号处理、图像处理等，这些就按需学习吧