整个机器学习的流程，大概为：数据收集 --> 数据清洗 --> 特征与模型选择 --> 结果预测，AutoML可以让人只关注结果，中间繁琐的过程都可以自动化完成。优点：1）显著提高效率：数据准备有大量重复性的工作，这些都可以使用AutoML的工具来完成，提高工作效率，让数据科学家将精力放在问题的思考上。2）避免人为错误：只要是人为操作的，就会有犯错的可能，而有些错误将会是致命的。

学过深度学习的视频，感觉很好理解，循序渐进，比较系统全面，深度学习涉及到的相关技术都有讲，不一定非常深入，但能让人有一个全面的架构认识

“不进行数据集大量补充”，我理解的是不获取新数据，但不知道在原数据上进行“数据增强”而得到的数据集算不算，我就当不算吧“大小方向不一”我猜数据集是图片，所以图片数据增强的方法：1）将图片进行翻转、裁剪、旋转，得到不同大小、方向的新图片2）彩色转换，在图片的R、G、B三个通道上加上不同的失真值，就有不同颜色的图片了

人工智能是通过神经网络实现的，而神经网络中的参数是非常巨大的，往往上亿；相较于平常的那种运算，矩阵运算往往速度更快，所以神经网络中数据往往是矩阵形式，可以充分利用矩阵运算快速的特性。

邱锡鹏老师的《神经网络与深度学习》

常用的样本相似度计算方法：欧式距离、余弦相似度、皮尔逊相关系数、修正余弦相似度、汉明距离、曼哈顿距离。余弦相似度，就是借助了“夹角余弦”代数意义上的公式形式，用来衡量样本“向量间的差异”。余弦值越接近于1表示越相似，反之越接近-1。使用时一般需要先将两个样本向量化，再用余弦函数计算相似度。比如计算两段文本的相似度，步骤：1）分词；2）列出所有词；3）分好的词进行编码；4）编码向量化；5）余弦函数计算相似度。

1）训练数据集小，数据相似度高将输出层改成自己使用场景下的类别数，然后将预训练模型的其它网络当做一个固定的特征提取器。比如训练好的模型是识别10种动物的，而自己的使用场景是要识别小猫小狗。那就是把最终输出层从10个类别改为2个类别。2）数据集小，数据相似度不高可以冻结预训练模型中前k个层中的权重，然后重新训练后面的n-k个层，同时最后一层也需要根据相应的输出格式来进行修改。3）数据集大，数据相似度不高在这种情况下，采用预训练模型可能不是一种高效的方式，最好还是将预处理模型中的权重全都初始化，重头开始训练。4）数据集大，数据相似度高保持模型原有的结构和初始权重不变，随后在新训练集上重新训练。

神经网络训练时不能把全部参数初始化为0，这个在吴恩达的深度学习视频中有讲解，大概意思是：神经网络就是很多个隐含单元构成的，一个隐含单元就相当于一个简单的函数。如果全部参数初始化为0，那么梯度下降将不会起作用，所有隐含单元就都是相同的函数，无论经过多少次迭代，则还是相同的函数（具体推导可以看资料），就没有意义了。因为拿图像来说，隐含单元不同，在处理图片时，才能有些负责光暗、有些负责横线、有些负责竖线，最终组合而成的神经网络的效果才好。

可以学习一些机器学习的知识，但没必要学完。重点学习逻辑回归相关知识点，对深度学习的理解会有帮助。

感觉和算法的时间复杂度、空间复杂度一样，两者不可兼得。对训练时长要求不高且口袋空空的可以选择CPU、免费的，希望快速获得模型且不差钱的可以选择高规格的GPU