建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
EI企业智能 主题:15184帖子:291832

【其他】

范数

角动量 2020/5/31 1471

有时我们需要衡量一个向量的大小。 在机器学习中,我们经常使用被称为范数的函数衡量向量大小。 形式上,$L^p$范数定义如下 \begin{equation} \norm{\Vx}_p = \left( \sum_i |x_i|^p \right)^{\frac{1}{p}} \end{equation} 其中$p\in \SetR$,$p\geq 1$。

范数(包括$L^p$范数)是将向量映射到非负值的函数。 直观上来说,向量$\Vx$的范数衡量从原点到点$\Vx$的距离。 更严格地说,范数是满足下列性质的任意函数:

  • $f(\Vx) = 0 \Rightarrow \Vx = \mathbf{0}$

  • $f(\Vx + \Vy) \leq f(\Vx) + f(\Vy)$ (三角不等式)

  • $\forall \alpha \in \SetR$, $f(\alpha \Vx) = \alpha f(\Vx)$

当$p=2$时,$L^2$范数被称为欧几里得范数。 它表示从原点出发到向量$\Vx$确定的点的欧几里得距离。 $L^2$范数在机器学习中出现地十分频繁,经常简化表示为$\norm{x}$,略去了下标$2$。 平方$L^2$范数也经常用来衡量向量的大小,可以简单地通过点积 $\Vx^\top\Vx$计算。

平方$L^2$范数在数学和计算上都比$L^2$范数本身更方便。 例如,平方$L^2$范数对$\Vx$中每个元素的导数只取决于对应的元素,而$L^2$范数对每个元素的导数却和整个向量相关。 但是在很多情况下,平方$L^2$范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。 在某些机器学习应用中,区分恰好是零的元素和非零但值很小的元素是很重要的。 在这些情况下,我们转而使用在各个位置斜率相同,同时保持简单的数学形式的函数:$L^1$范数。 $L^1$范数可以简化如下: \begin{equation} \norm{\Vx}_1 = \sum_i |x_i|. \end{equation} 当机器学习问题中零和非零元素之间的差异非常重要时,通常会使用$L^1$范数。 每当$\Vx$中某个元素从$0$增加$\epsilon$,对应的$L^1$范数也会增加$\epsilon$。

有时候我们会统计向量中非零元素的个数来衡量向量的大小。 有些作者将这种函数称为”$L^0$范数”,但是这个术语在数学意义上是不对的。 向量的非零元素的数目不是范数,因为对向量缩放$\alpha$倍不会改变该向量非零元素的数目。 $L^1$范数经常作为表示非零元素数目的替代函数。

另外一个经常在机器学习中出现的范数是$L^\infty$范数,也被称为\,最大范数。 这个范数表示向量中具有最大幅值的元素的绝对值: \begin{equation} \norm{\Vx}_\infty = \max_i |x_i|. \end{equation}

有时候我们可能也希望衡量矩阵的大小。 在深度学习中,最常见的做法是使用Frobenius 范数, \begin{equation} \norm{\MA}F = \sqrt{\sum{i,j} A_{i,j}^2}, \end{equation} 其类似于向量的$L^2$范数。

两个向量的点积可以用范数来表示。 具体地, \begin{equation} \Vx^\top\Vy = \norm{\Vx}_2\norm{\Vy}_2 \cos \theta \end{equation} 其中$\theta$表示$\Vx$和$\Vy$之间的夹角。


回复2

某地瓜
0 0
2020/5/31 19:03

格式需要修改一下哦!

2020/5/31 20:49

感谢分享

上划加载中
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

角动量

发帖: 218粉丝: 8

发消息 + 关注

发表于2020年05月31日 09:52:37 1471 2
直达本楼层的链接
楼主
显示全部楼层
[其他] 范数

有时我们需要衡量一个向量的大小。 在机器学习中,我们经常使用被称为范数的函数衡量向量大小。 形式上,$L^p$范数定义如下 \begin{equation} \norm{\Vx}_p = \left( \sum_i |x_i|^p \right)^{\frac{1}{p}} \end{equation} 其中$p\in \SetR$,$p\geq 1$。

范数(包括$L^p$范数)是将向量映射到非负值的函数。 直观上来说,向量$\Vx$的范数衡量从原点到点$\Vx$的距离。 更严格地说,范数是满足下列性质的任意函数:

  • $f(\Vx) = 0 \Rightarrow \Vx = \mathbf{0}$

  • $f(\Vx + \Vy) \leq f(\Vx) + f(\Vy)$ (三角不等式)

  • $\forall \alpha \in \SetR$, $f(\alpha \Vx) = \alpha f(\Vx)$

当$p=2$时,$L^2$范数被称为欧几里得范数。 它表示从原点出发到向量$\Vx$确定的点的欧几里得距离。 $L^2$范数在机器学习中出现地十分频繁,经常简化表示为$\norm{x}$,略去了下标$2$。 平方$L^2$范数也经常用来衡量向量的大小,可以简单地通过点积 $\Vx^\top\Vx$计算。

平方$L^2$范数在数学和计算上都比$L^2$范数本身更方便。 例如,平方$L^2$范数对$\Vx$中每个元素的导数只取决于对应的元素,而$L^2$范数对每个元素的导数却和整个向量相关。 但是在很多情况下,平方$L^2$范数也可能不受欢迎,因为它在原点附近增长得十分缓慢。 在某些机器学习应用中,区分恰好是零的元素和非零但值很小的元素是很重要的。 在这些情况下,我们转而使用在各个位置斜率相同,同时保持简单的数学形式的函数:$L^1$范数。 $L^1$范数可以简化如下: \begin{equation} \norm{\Vx}_1 = \sum_i |x_i|. \end{equation} 当机器学习问题中零和非零元素之间的差异非常重要时,通常会使用$L^1$范数。 每当$\Vx$中某个元素从$0$增加$\epsilon$,对应的$L^1$范数也会增加$\epsilon$。

有时候我们会统计向量中非零元素的个数来衡量向量的大小。 有些作者将这种函数称为”$L^0$范数”,但是这个术语在数学意义上是不对的。 向量的非零元素的数目不是范数,因为对向量缩放$\alpha$倍不会改变该向量非零元素的数目。 $L^1$范数经常作为表示非零元素数目的替代函数。

另外一个经常在机器学习中出现的范数是$L^\infty$范数,也被称为\,最大范数。 这个范数表示向量中具有最大幅值的元素的绝对值: \begin{equation} \norm{\Vx}_\infty = \max_i |x_i|. \end{equation}

有时候我们可能也希望衡量矩阵的大小。 在深度学习中,最常见的做法是使用Frobenius 范数, \begin{equation} \norm{\MA}F = \sqrt{\sum{i,j} A_{i,j}^2}, \end{equation} 其类似于向量的$L^2$范数。

两个向量的点积可以用范数来表示。 具体地, \begin{equation} \Vx^\top\Vy = \norm{\Vx}_2\norm{\Vy}_2 \cos \theta \end{equation} 其中$\theta$表示$\Vx$和$\Vy$之间的夹角。


举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

某地瓜

发帖: 144粉丝: 5

发消息 + 关注

发表于2020年05月31日 19:03:13
直达本楼层的链接
沙发
显示全部楼层

格式需要修改一下哦!

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

G-washington

发帖: 310粉丝: 98

发消息 + 关注

发表于2020年05月31日 20:49:58
直达本楼层的链接
板凳
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200