感谢回复。

最初，码豆并没有引起我的重视。在我心里，它只不过是兑换礼品的“代金券”。看着网页上一件商品动辄要成千上万码豆，我不禁觉得好笑——一次只能累积百十来个码豆，真要把心仪的礼品“请”回家还不要等到地老天荒？不记得什么时候起，我对码豆的感觉悄悄地变化了。我不是做技术工作，但是我爱好机器学习，以前主要通过微信上各种技术营销号文章学习，看的东西非常凌乱，而且接触不到实践环境也学不到什么知识。如今华为云成了我的老师。我每天上网第一件事就是登录华为云，点击“我的码豆”签到，这于我已经成为一种“上课仪式”。只要从在“码豆”页面进入“更多任务”，就有数不胜数的实验、视频、课程、认证和考试，各种IT知识就这样在井井有条地展现在面前。码豆带我走进了华为云这个充满新奇的世界，让我有机会贴近最前沿的IT技术，也将一直陪伴着我在技术学习的路上努力前行。

#我的新年心愿#+我全家人都能身体健康，做自己想做的事实，交更多相互支持的朋友。

#云上会考签到#希望Mindspore的运行环境能够更加健壮，安装再方便一点。

#我的新年心愿#2021年高低把《深度学习与MindSpore实践》啃下来！

#云上会考签到#2021年高低把《深度学习与MindSpore实践》啃下来！

在机器学习中过拟合（Overfitting）与欠拟合（Underfitting）都是指模型选择不能够很好地拟合数据本身，即模型过于复杂或过于简单。一个过拟合的模型往往有着比数据本身特性更多的参数，为了拟合尽可能多的数据，甚至包括一些错误的样本，这些参数会因为过度拟合数据而产生一些噪声。而欠拟合与之相反，其原因是选择的参数或模型不够复杂，例如用线性模型去拟合非线性结构，显然是欠拟合的。书中图2.7表示了在分类问题中出现的过拟合与欠拟合问题。对于这样的非线性模型，如果采用图2.7(a)的线性模型，显然无法去拟合非性的分界线，这种情况称为欠拟合，模型将无法得到很好的预测效果，而为了拟合尽可能多的数据，可以选择2.7(c)中的曲线所示的复杂模型，尽管这样的模型将数据100%的区分开了，但并没有很好地拟合数据特征，对于一个新来的测试点，这个过拟合的模型很可能出现区分错误，这样的模型叫做过拟合，而图2.7(b)中的曲线则为一个更好的模型，具有很好的的泛化能力。书中2.8解释了回归问题的过拟合。如果用浅色的多项式曲线去拟合，尽管可以完美的你和所有的数据点，但失去了数据本身的特性，并且无法很好地得到泛化，例如左侧第一和第二个点之间任意的一个未知数据典预测值将会非常大，导致很大的偏差，相反，深色的线性模型反映了数据本身的变化趋势，在预测新的数据点时，可以达到更高的准确度，在上述问题中，从图形的角度理解了过拟合和欠拟合的概念，下面将从数据的角度解释这两个概念。在一个机器学习问题中，数据包含训练数据（Training Data）和测试数据（Testing Data），模型需要在训练数据上选择与训练，而测试数据对于模型是不可见的，对于一个欠拟合的模型，在训练数据上表现就会很差，这个很容易鉴别，那怎么知道模型是否过拟合呢？采用的做法是在训练数据中抽出一部分样本，构成一个验证数据（Validation Data），假设验证数据的分布和训练数据测试数据相似，可以通过验证数据上的表现来判定模型是否过拟合。书中图2.9的横坐标称为模型复杂度，纵坐标称为误差值，下方曲线表示训练数据上的误差，而上方曲线表示验证数据上的误差。可以清楚的观察到，当模型复杂度增加时，训练数据上的误差逐渐减少，因为复杂的模型更容易拟合数据，然而，验证数据上的误差先降后升，这是因为模型从欠拟合逐渐过渡到到过拟合阶段。验证数据的作用就是帮助选择虚线处的模型，它可以更好地拟合数据本身，从而期望达到更好的泛化效果——算法对新鲜样本（测试数据）有更好的适应能力。通过代码和一组数据来实际看看图2.8和图2.9的效果。借用《Pattern Recognition and Machine Learning》1.1 Example: Polynomial Curve Fitting的例子，在y=2*Pi*x函数加上随机噪声y就构造一组数据，再从中等间隔选取10个样本作为回归算法的输入变量。可以看出，随着多项式次数不断增加，回归曲线跟样本点的距离越来越近，最终可以精确穿过所有样本点，这时在样本点处计算损失函数值就会非常小。但是随着多项式次数增加，回归曲线也越来越曲折，回归曲线与函数曲线差别也越来越大，因此样本点以外其他的数据点计算损失值，就会非常大。再来体验一下模型复杂度与损失函数的关系。下图横坐标为回归函数系数的个数（代表了模型的复杂度），纵坐标是损失函数值。可以看出当系数增加到一定程度之后，随着模型变得越来越复杂，训练误差不断减小，但在测试数据上的损失值大幅波动，模型行为非常难以预测。代码见附件。第四章将介绍增强模型泛化能力来防止过拟合的一些方法，控制模型复杂度，可以缓解过拟合，学习到隐藏在数据背后的规律。写在最后到今天终于把第二章啃完了。整体感觉跟传统机器学习书中讲的理论相差不多。不过毕竟这是一本面向实战的书，几个关键问题虽然都点到了，但对于像我这样的近乎0基础的小白来说，完全理解是比较困难的，需要借鉴其他资源。而且我发现用代码可以帮助我理解概念。在学习这一章的过程中，我也产生了一些怀疑。比如机器学习过拟合的原因是参数过多，可最近听了智源一个讲座说，深度学习的一个现象是参数比数据特征多得多，为什么不会过拟合？目前理论上还没有很好的解释。那么深度学习跟传统机器学习是否有本质上的不同？他们的边界、各自的擅长是什么？希望在后续章节的学习当中我能够理解这些问题。参考书：Bishop M. Pattern Recognition and Machine Learning. Springer, 2006

与回归问题不同，分类问题的输出不再是连续值，而是离散值 ，即样本的类别。分类问题在现实中应用非常广泛，例如区分图片上的猫和狗、手写数字识别、垃圾邮件分类、人脸识别等。分类问题有二分类（是或否）和多分类（多个类别中差别哪一类），而所有的多分类问题都可以转换成多个二分类问题。本节主要以二分类问题来讨论，且类别值，这是出于构造似然函数的需要啃书笔记的详细内容和代码请见附件。

这一节内容非常聚焦，只讲了梯度下降的原理，介绍了三种实际的梯度下降方法——批量梯度下降算法、随机梯度下降算法和小批量梯度下降算法。“梯度下降”真是如雷贯耳，好像任何一本机器学习的书、教程和大多数的微信公众号文章都要讲到它，所以这块内容应该非常重要，不得不再一次决定给予充分重视，尽量啃透。啃书笔记的详细内容请看附件pdf文件。pdf不能内嵌视频，迭代过程可视化视频请下载“0303-回归过程，解压“0303-回归过程.mp4”。代码请下载“02-2-梯度下降算法.rar”，解压运行“02-2-梯度下降算法.ipynb”。

这一节讲了三个问题：只有一个特征值的线性回归问题简单介绍交叉熵多个属性的线性回归问题关于线性回归的作用，P14有这样一句话很提神：线性回归是一个很简单的算法，使用它可以快速地了解很多关于深度学习的基础知识。既然线性回归与很多基础知识有关，我决定给予充分重视，一定要把这部分啃透。可是这一节只有短短三页的空间，每个问题都没有充分展开，所以把这一部分的内容顺下来还要依靠一些外部资料。闲话到此，以下干货。书中对回归问题算法的定义：通常是利用一系列属性来预测一个值，且预测的值是连续的。例如： 根据一套房子的特征数据，如面积、卧室数等来预测房价利用一周的气温变化和卫星云图来预测未来的气温情况灌溉渠道水的流速Y与水深x之间的关系（高中数学选修1-2）市场趋势预测、产品质量管理、客户满意度调查、投资风险分析（李航：统计学习方法）机器学习中常用的回归分析：线性回归（Linear Regression）多项式回归（Polynomial Regression）逻辑回归（Logistic Regression）本节重点介绍线性回归。论坛不支持LaTex公式输入，而这一节的公式比较多，主体内容没办法在贴子里写。笔记的详细内容请看附件pdf文件，代码请下载rar文件，解压运行"02-1-线性回归代码.ipybn"文件。