1. 向量范数从绝对值到无穷大第一次接触范数这个概念时我也被各种数字下标搞得晕头转向。直到把代码里的报错挨个踩了一遍才明白原来范数就是给向量和矩阵量尺寸的尺子。想象你手里有一把可以自由伸缩的尺子1范数、2范数、无穷范数就是不同的测量模式。先看个具体例子假设有个向量a [-5, 6, 8, -10]我们来看看不同范数怎么计算1.1 向量的1范数L1 Norm这把尺子测量的是走格子距离。就像在城市里开车只能沿着街道走直角路线。计算方法是所有元素绝对值相加‖a‖₁ |-5| |6| |8| |-10| 5 6 8 10 29用MATLAB验证就是norm(a,1)。在机器学习里L1正则化能产生稀疏解相当于帮模型做特征选择。1.2 向量的2范数L2 Norm这就是我们最熟悉的欧式距离像小鸟直线飞过城市上空。计算方法是平方和开根号‖a‖₂ √((-5)² 6² 8² (-10)²) √(25 36 64 100) √225 15对应MATLAB命令norm(a,2)。L2正则化会让参数接近0但不等于0适合需要平滑输出的场景。1.3 向量的无穷范数∞-Norm这个特别有意思它只关心向量中的极端值。就像找团队里最突出的成员正无穷范数max(|-5|,|6|,|8|,|-10|) 10 负无穷范数min(|-5|,|6|,|8|,|-10|) 5MATLAB里分别用norm(a,inf)和norm(a,-inf)计算。在控制系统中无穷范数常用于评估最坏情况下的误差。2. 矩阵范数多维空间的测量艺术当数据变成二维矩阵范数的计算就更有趣了。以这个2×3矩阵为例A [-1 2 -3 4 -6 6]2.1 矩阵的1范数列和范数沿着列方向求和取最大反映的是矩阵的列向冲击力求每列绝对值之和|-1|45, |2||-6|8, |-3|69取最大值max(5,8,9)9 MATLAB代码norm(A,1)。在数值分析中这个范数可以用来估计矩阵的条件数。2.2 矩阵的2范数谱范数计算稍微复杂些需要求ATA的最大特征值计算ATA Aᵀ × A求特征值后取最大值的平方根 最终结果约等于10.0623对应norm(A,2)。这个范数在PCA降维中特别重要因为它反映了矩阵的主成分强度。2.3 矩阵的无穷范数行和范数与1范数相反这次沿着行方向操作求每行绝对值之和|-1||2||-3|6, |4||-6||6|16取最大值max(6,16)16 使用norm(A,inf)计算。在图像处理中这个范数可以用来评估像素值的最大变化幅度。3. 机器学习中的特殊范数实际项目中我们会遇到更多为特定场景设计的范数。这些定制尺子往往能解决普通范数处理不了的问题。3.1 核范数Nuclear Norm矩阵奇异值之和用sum(svd(A))计算。就像矩阵的体积测量在推荐系统中用于低秩矩阵恢复A的奇异值[10.9287, 4.6865, 0] 核范数 10.9287 4.6865 0 ≈ 15.61523.2 L0范数非零元素个数虽然严格来说不是范数但在特征选择中非常有用A中非零元素有6个注意实际应用中常用L1范数替代因为L0优化是NP难问题。3.3 F范数Frobenius范数所有元素平方和开根号就像把矩阵拉直求欧式距离√((-1)² 2² (-3)² 4² (-6)² 6²) √(149163636) ≈ 10.0995MATLAB用norm(A,fro)计算。在神经网络中F范数常用于权重衰减。4. 范数选择的实战经验在真实项目中如何选择范数根据我的踩坑经验有几个实用原则4.1 稀疏性与特征选择需要特征选择时优先L1范数LASSO回归当特征间高度相关时L1可能随机选择这时考虑弹性网络(Elastic Net)4.2 数值稳定性L2范数处处可导更适合梯度下降遇到异常值时L1比L2更鲁棒4.3 计算效率F范数计算复杂度O(n²)适合大规模矩阵核范数需要SVD分解计算成本较高最近在自然语言处理项目中我们就用L21范数处理词向量矩阵# Python实现L21范数 def L21_norm(X): return sum(np.linalg.norm(X[:,i],2) for i in range(X.shape[1]))这种范数对列稀疏特别有效能在保留重要词语的同时去除噪声。理解范数的关键在于多动手计算。建议用NumPy实现各