一 向量空间与内积空间
向量空间也称作线性空间，向量空间对向量线性组合封闭。如果 
为向量空间 V 的一组基，则 
仍在向量空间 V 中。在向量空间中，仅定义了数乘与向量加法运算。在此基础上，定义内积运算，通过内积运算，可以求解向量长度，向量间角度等概念，这就定义了内积空间。设向量为X, Y，X 长度定义为 
， X,Y 间角度定义为 
。
二 内积定义
在 
空间上，有如下矢量 
和 
，在几何中，矢量长度表示原点到其端点的距离，根据 Pythagorean 定理，有 
。定义内积 
，则矢量 X 长度等于 
，这样建立其内积与长度关系。
在复矢量空间 
中，有如下矢量 和 ，定义内积 
。 如何理解复矢量内积？首先，针对单个复数 
，
有 
，使用共轭乘法可求解复数长度。当两个不同复数共轭乘法时，
，其结果仍然为一个复数，可分解为实数分类与虚数分量。复矢量内积就是对所得复数相加得到一个结果，最终结果一般包括实数分量与虚数分量部分，即一般结果为 
形式。
内积满足如下性质：
1）正性：如果 v 为非零向量， <v, v> > 0， 该性质对实矢量与复矢量均成立；
2）共轭对称性：
，针对复矢量，该等式成立，针对实矢量，共轭运算等于本身，则内积运算对称；
3）均匀性：
， 针对复矢量时 c 为复数，实矢量时 c 为实数；
4）线性：<u + v, w> = <u, w> + <v, w>, <u, v + w> = <u, v> + <u, w>, 针对复矢量与实矢量均成立。
三 
空间与 
空间
一个信号可表示为 f(t) 的函数，在区间 
上 ，空间 
表示所有平方可积函数组成的空间，即
函数 f(t) 可以存在无穷多个间断点，使用 Lebesgue 观点，即不考虑测度为零的集合时，在区间 
上的积分和有限。在 N 维向量空间中，空间维度为 N，向量长度也为 N。类比 N 维向量空间，空间 是无限维的（即无限个 f(t) 满足以上条件）， 区间 可以被无限细分，类似向量长度可以无限长。
假设 f(x), g(x) 是 
空间中的信号，将区间 [0, 1] 离散化为 N 等分，构成 N 为向量 
，
，当 N 趋近无穷大大时，
, 
， 则 
， 
。
当逐渐增大 N 时， 
也随着逐渐增大，由于 
空间为无限维空间，如果按该方法定义内积将得到一个无限大值（在向量空间中，由于空间维度有限，使用乘积和定义是合理的，其物理意义也很明确）。改进的方法为使用无限和平均值，则有 
。当 N 趋近无穷大时，该式为 Riemann 和近似，则 
内积可定义为：
， 
。
空间内积同样满足 正性，共轭对称性，均匀性以及线性等性质。
由于在 Lebesgue 积分过程中，不考虑测度为零的间断点，则在 
空间中定义两个函数相等意味着除了零测度集外，只要其他区域上满足 f(t) = g(t) 即认为函数相等。
在信号处理应用中，存在很多无限离散序列，
，该离散序列在 j > |N| 时，
，这定义了 
的离散形式：
，这里不再像 定义使用平均值是因为离散序列在 j > |N| 时，。
空间中可以使用两种方式定义收敛：
1）收敛定义为：给定任意足够小 
，存在一个足够大的非负整数 N，使得当 
时， 有 
；
以上定义中使用 内积概念，由于积分过程不考虑测度为零的间断点，所以并不保证在任意点上两函数都无限接近；
2）一致收敛定义为：给定任意足够小 ，存在一个足够大的非负整数 N，使得当 时， 在区间 
上任意点都满足 
；
根据以上图形，很容易得到如下结论：若 
一致收敛到 f，则 
一定 收敛到 f；反之，则不一定成立。
四 Schwarz不等式与三角不等式
1) Schwarz不等式：
；
2）三角不等式： 
；
Schwarz不等式在实空间下证明：
考虑不等式 
，其中 t 为实数变量，使用内积公式展开得：
，由于该不等式大于或等于零，关于 t 的二次函数判别式小于等于零；
， 整理得：
，结论得证。
Schwarz不等式在复空间下证明：
在复空间下内积结果一般为一复数，即 
。要使 X, Y 内积为一实数，可以对 X 做反方向旋转，故可考虑如下不等式：
，其中 t 为实数变量，
使内积结果为一实数，展开不等式得：
，
根据共轭对称性质 
，最终得到：
，当旋转合适 
后，
退化为实数 
。使用二次多项式判别式结论得证。
三角不等式证明：
，因为 
，
所以有 
，两边开平方后结论得证。
五 正交
在内积空间 V 中，
1）X, Y 属于 V ，如果 <X, Y> = 0, 根据余旋定理可得 X, Y 正交；
2）矢量集 
中每个矢量 
，如果 
且彼此正交，则矢量集 
正交；
3）如果 
，一个子空间中每个矢量与另一个子空间每个矢量正交，则子空间 
正交；
在小波变换与傅里叶变换中，分别用到两个不同得正交矢量集，haar小波函数与三角函数，具体如下：
haar小波函数包括尺度函数 
，小波函数 
，在 
空间中，根据内积定义，
，
正交。
三角函数 f(t) = sint, g(t) = cost, 在 
空间中， 根据内积定义，
，f, g 正交。
矢量可以根据某个正交基展开，
1）如果 
是内积空间 V 的一个子空间，
的正交基为 
，若 
，则 
；
2）如果 是内积空间 V 的一个子空间， 的正交基为 ，若 
，则 
，
且 
，也即 
；
当 时， 有如下推导：
使用正交基 将 v 展开得：
，其中 
为各分量系数，且未知；
令 k 为 [1,N] 区间中一具体整数，做如下运算：
，由矢量基的正交性可得：
；
将 
代入得：
，结论得证。
当 时，v 无法由 
线性张成，但可以在 
空间中找到一个离 v 最近得向量 
，使得 
，推导如下：
假设 
是 
空间最接近 v 的矢量，构造函数：
，由于 是 空间最接近 v 的矢量，则当 t = 0 时函数取得最小值；
考虑实矢量情况下，
，然后对 f(t) 求导：
，由于 t = 0 时函数取得最小值，则有 
，即 。
假设 
可写成正交基 的线性组合，
，由于 
，有 
，
根据内积线性性质，化简得： 
，求得 
，即 
。
内积空间可被分为 
与正交补 
，
定义为：
，对任意矢量 
，可以唯一表示 
，其中，
。
使用 Gram-Schmidt 方法可正交化一组基，
内积（子）空间 V 中存在一组基 
，可以寻找一组对应正交基 
，其中 
，具体方法如下：
1）定义 
；
2）
在 
上投影为：
，则 
，
，确保 
且 
；
3）
在 
，
上投影为：
，
，
；
4）重复以上过程知道求解出 
，完成 Gram-Schmidt 正交化。
参考资料 小波与傅里叶分析基础 Albert Boggess & Francis J. Narcowich
