范数和距离度量

1. 范数

$l_p$ 范数可以形式:
$$l_p(x)=\sqrt[p]{\sum _{i=1}^n{\left|x_i\right|}^p}x=\left(x_1,x_2,\cdots ,x_n\right)$$

其中, $p$ 可以取 $(0,+\infty )$ 。
对较为感兴趣的几种进行考察,分别是 $l_0$ 范数、 $l_1$ 范数、 $l_2$ 范数、 $l_{\infty }$ 范数。

1. $l_0$ 范数
   $$l_0(\mathbf{x})=\sum _{\begin{array}{c}i=1\\ x_i\ne 0\end{array}}^n{\left|x_i\right|}^0\mathbf{x}=\left(x_1,x_2,\cdots ,x_n\right)$$
   可以看出， $l_0$ 范数就是所有维度中不为 0 的元素的个数。其与元素的具体值无关，只关心非实元素的个数。
   所以， $l_0$ 范数实际上表征了一个向量的稀疏程度（Sparsity）。 $I_0$ 范数越大，说明非零元素越多，也就意味着稀疏程度越小：反之， $l_0$ 范数越小，说明非零元愛越少，向是就越棌晸。严格来说, $l_0$ 范数并不是真正意义上的 “范数”, 因为它不满足齐次性的要求。另外, $p=0$ 不在 $p$ 的取值范围内, 但是考虑到 $p=0$ 时, 向量的所有非零元素的 0次幂都是 1 , 零元素的 0 次幂不存在, 所以求和结果就是非零元素的个数。
2. $l_1$ 范数
   $$l_1(x)=\sqrt[1]{\sum _{i=1}^n{\left|x_i\right|}^1}=\sum _{i=1}^n\left|x_i\right|\mathbf{x}=\left(x_1,x_2,\cdots ,x_n\right)$$
   $l_1$ 范数表示向量所有维度的绝对值之和的大小。
   $l_1$ 范数的一个重要性质为，它是 $p$ 取值最小的凸函数。也就是说，对于 $0⩽p<1$ 区间的所有 $p,l_p$ 范数都是非凸函数；直到 $p=1$ ，它才变成了一个凸函数；对于 $p>1,l_p$ 范数也都是凸函数。
3. $l_2$ 范数
   $$l_2(x)=\sqrt[2]{\sum _{i=1}^n{\left|x_i\right|}^2}=\sqrt{\sum _{i=1}^n{x}_i^2}x=\left(x_1,x_2,\cdots ,x_n\right)$$
   $l_2$ 范数表示高维空间的点到原点的欧几里得距离。
4. $l_{\infty }$ 范数
   l ∞ ( x ) = ∑ i = 1 n ∣ x 1 ∣ ∞ = max ⁡ { ∣ x 1 ∣ , ∣ x 2 ∣ , ⋯ , ∣ x n ∣ } x = ( x 1 , x 2 , ⋯ , x n ) l_{\infty}(x)=\sqrt{\sum_{i=1}^{n}\left|x_{1}\right|^{\infty}}=\max \left\{\left|x_{1}\right|,\left|x_{2}\right|, \cdots,\left|x_{n}\right|\right\} \quad \boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{n}\right) l∞​(x)=i=1∑n​∣x1​∣∞ ​=max{∣x1​∣,∣x2​∣,⋯,∣xn​∣}x=(x1​,x2​,⋯,xn​)
   $l_{\infty }$ 范数就是取所有维度中的绝对值的最大值。

2. 距离度量

闵可夫斯基距离
$${\mathrm{Dist}}_{\text{Minkowski }}(x,y)=\sqrt[p]{\sum _{i=1}^m{\left(x_i-y_i\right)}^p}$$

其中， $p$ 是一个可变参数

• 当 $p=1$ 时，变成了曼哈顿距离
• 当 $p=2$ 时，变成了欧氏距离
• 当 $p$无穷时，变成了切比雪夫距离