第28讲 线性代数的应用举例 Jul 14, 2017 Shawn Linear Algebra No comments yet 第27讲 欧几里得空间 Jul 14, 2017 Shawn Linear Algebra No comments yet 1 … 3 4 5
![28.1 不相容方程组的最小二乘解 • 不相容线性方程组 ○ 一般的线性方程组 Ax ⃗=b ⃗ 无解 • 最小二乘解 ○ 使得 Ax ⃗−b 最小的 x ⃗^∗ ○ 即求 min|Ax ⃗−b| ○ 其中 Ax ⃗−b 称为残差向量 • R3 中的例子 • 更高维下的例子 ○ Ax ⃗=((α_1 ) ⃗,…,(α_s ) ⃗ )(■8(x_1@⋮@x_s ))=x_1 (α_1 ) ⃗+…+x_s (α_s ) ⃗∈L((α_1 ) ⃗,…,(α_s ) ⃗ ) ○ 是否当 (Ax ⃗−b)⊥(α_i ) ⃗ (i=1,2…s) 时，|Ax ⃗−b| 最小？ ○ 将取最小值时的 Ax ⃗^∗=((α_1 ) ⃗,…,(α_s ) ⃗ )(■8(x_1^∗@⋮@x_s^∗ )) 记为 α ⃗，显然有 α ⃗∈W ○ 即 (α ⃗−b ⃗ )⊥(α_i ) ⃗ (i=1,2…s) ○ 要证：|α ⃗−b ⃗ |≤|β ⃗−b ⃗ |，其中 β ⃗ 为 W 内的其他向量 ○ |β ⃗−b ⃗ |^2=|β ⃗−α ⃗+α ⃗−b ⃗ |^2 ○ =(β ⃗−α ⃗ )^2+(α ⃗−b ⃗ )^2+2(β ⃗−α ⃗ )⋅(α ⃗−b ⃗ ) ○ 当 (α ⃗−b ⃗ )⊥(α_i ) ⃗ (i=1,2…s) 时，(β ⃗−α ⃗ )⋅(α ⃗−b ⃗ )=0 最小 ○ 即 |β ⃗−b ⃗ |^2=(β ⃗−α ⃗ )^2+(α ⃗−b ⃗ )^2 取得最小值 • 解法 ○ 令 α ⃗=Ax ⃗^∗=((α_1 ) ⃗,…,(α_s ) ⃗ )(■8(x_1^∗@⋮@x_s^∗ ))=x_1^∗ (α_1 ) ⃗+…+x_s^∗ (α_s ) ⃗ ○ min|Ax ⃗−b| ○ ⇒(α ⃗−b ⃗ )⊥(α_i ) ⃗ (i=1,2…s) ○ ⇒{█((Ax ⃗^∗−b ⃗ )⋅(α_1 ) ⃗=0@(Ax ⃗^∗−b ⃗ )⋅(α_2 ) ⃗=0@⋮@(Ax ⃗^∗−b ⃗ )⋅(α_s ) ⃗=0)┤ ○ ⇒{█((α_1 ) ⃗^T (Ax ⃗^∗−b ⃗ )=0@(α_2 ) ⃗^T (Ax ⃗^∗−b ⃗ )=0@⋮@(α_s ) ⃗^T (Ax ⃗^∗−b ⃗ )=0)┤ ○ ⇒A^T (Ax ⃗^∗−b ⃗ )=0 ○ ⇒A^T Ax ⃗=A^T b ⃗ ○ 注：上式被称为原方程的正规方程 • 例：求不相容线性方程组 {█(x_1+4x_2=−2@x_1+2x_2=6@2x_1+3x_2=1)┤ 的最小二乘解 ○ A=(■8(1&4@1&2@2&3)), b ⃗=(■8(−2@6@1)) ○ 由正规方程 A^T Ax ⃗=A^T b ⃗ ○ 解得 x ⃗=(■8(3@−1)) 28.2 多项式插值 • 引例 ○ 已知点 (x_0,y_0 )…(x_n,y_n ) ○ 求插值多项式 y=f(x)=a_0+a_1 x+…+a_n x^n ○ 将所有点代入得 ○ {█(a_0+a_1 x_0+…+a_n x_0^n=y_1@⋮@a_0+a_1 x_n+…+a_n x_n^n=y_n )┤ ○ A=(■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n )) 为范德蒙矩阵非奇异 ○ 故一定有解 • 例子：求过 (1,2),(2,3),(3,6) 的插值多项式 ○ y=a_0+a_1 x+a_2 x^2 ○ (■8(1&1&1@1&2&4@1&3&9))(■8(a_1@a_2@a_3 ))=(■8(2@3@6)) ○ ⇒{█(a_0=3@a_1=−2@a_2=1)┤ ○ ⇒y=3−2x+x^2 28.3 数值积分 • 思路 ○ 要算 I(f)=∫_a^b▒f(x)dx 的数值积分 ○ 若找到多项式 p(x)~f(x)，则 I(f)~I(p) • 法一 ○ 取点 § (x_0,f(x_0 )),(x_1,f(x_1 ))…(x_n,f(x_n )) ○ 插值 § p(x)=a_0+a_1 x+…+a_n x^n § (■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n )) (■8(a_0@a_1@a_2@⋮@a_n ))=(■8(f(x_0)@f(x_1)@f(x_2)@⋮@f(x_n))) ○ 积分 § ∫_a^b▒p(x)dx § =a_0 ∫_a^b▒dx+a_1 ∫_a^b▒xdx+…+a_n ∫_a^b▒〖x^n dx〗 § =(∫_a^b▒dx,∫_a^b▒xdx…∫_a^b▒〖x^n dx〗)(■8(a_0@a_1@a_2@⋮@a_n )) § =(∫_a^b▒dx,∫_a^b▒xdx…∫_a^b▒〖x^n dx〗) (■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n ))^(−1) (■8(f(x_0)@f(x_1)@f(x_2)@⋮@f(x_n))) • 法二 ○ 在 f 上取点 (x_0,f(x_0 )),(x_1,f(x_1 ))…(x_n,f(x_n )) ○ 插值函数 p(x)=a_0+a_1 x+…+a_n x^n ○ (■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n )) (■8(a_0@a_1@a_2@⋮@a_n ))=(■8(f(x_0)@f(x_1)@f(x_2)@⋮@f(x_n))) ○ 若能找到 (A_0,…,A_n ) 使得 ○ (A_0,…,A_n )(■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n ))=(∫_a^b▒dx,∫_a^b▒xdx…∫_a^b▒〖x^n dx〗) ○ 则 ∫_a^b▒p(x)dx=(∫_a^b▒dx,∫_a^b▒xdx…∫_a^b▒〖x^n dx〗)(■8(a_0@a_1@a_2@⋮@a_n )) ○ =(A_0,…,A_n )(■8(1&x_0&x_0^2&…&x_1^n@1&x_1&x_1^2&…&x_2^n@1&x_2&x_2^2&…&x_3^n@⋮&⋮&⋮&⋮&⋮@1&x_n&x_n^2&…&x_n^n ))(■8(a_0@a_1@a_2@⋮@a_n ))=(A_0,…,A_n )(■8(f(x_0)@f(x_1)@f(x_2)@⋮@f(x_n))) • 例子：取三个点 ○ 得到 f(a),f((a+b)/2),f(b) ○ V_3=(■8(1&1&1@a&(a+b)/2&b@a^2&((a+b)/2)^2&b^2 )), b ⃗=(■8(∫_a^b▒dx@∫_a^b▒xdx@∫_a^b▒〖x^2 dx〗))=(■8(b−a@(b^2−a^2)/2@(b^3−a^3)/3)) ○ V_3 (■8(A_0@A_1@A_2 ))=b ⃗ ○ (■8(1&1&1&b−a@a&(a+b)/2&b&(b^2−a^2)/2@a^2&((a+b)/2)^2&b^2&(b^3−a^3)/3))→(■8(1&1&1&b−a@0&1&2&b−a@0&0&1&(b−a)/6)) ○ ⇒A_0=A_2=(b−a)/6, A_1=2/3 (b−a) ○ ∫_a^b▒f(x)dx~∫_a^b▒p(x)dx=(b−a)/6 [f(a)+4f((a+b)/2)+f(b)] ○ 上式被称为 Simpson 公式 • 注：取两个点可得梯形公式 ○ (b−a)/2[f(a)+f(b)]](https://shawnzhong.com/wp-content/uploads/2017/08/img_59874167d91ea.png)
![27.1 广义内积 • Rn 中的内积、长度和角度 ○ α ⃗⋅β ⃗=a_1 b_1+…a_n b_n ○ ‖■8(α ⃗ )‖=√(α ⃗⋅α ⃗ ) ○ ∠(α ⃗,β ⃗ )=arccos〖(α ⃗⋅β ⃗)/‖■8(α ⃗ )‖‖■8(β ⃗ )‖ 〗 • 广义内积 ○ V 是 R 上的线性空间 ○ 二元实函数 (α ⃗,β ⃗) 被称为内积，若满足 ○ 对称性 § (α ⃗,β ⃗ )=(β ⃗,α ⃗) ○ 双线性 § (kα ⃗,β ⃗ )=k(α ⃗,β ⃗ ) § (α ⃗+β ⃗,γ ⃗ )=(α ⃗,γ ⃗ )+(β ⃗,γ ⃗ ) ○ 非负性（正定性） § (α ⃗,α ⃗ )≥0 § (α ⃗,α ⃗ )=0⇔α ⃗=0 ⃗ ○ 此时称 V 为欧氏空间或内积空间 ○ 记作 E^n (Euclidean) • n×n 方阵 R(n×n) 中的内积 ○ (A,B)=tr(〖AB〗^T ) ○ 证明对称性 § (A,B)=tr(〖AB〗^T )=tr((〖AB〗^T )^T )=tr(〖BA〗^T )=(B,A) ○ 证明双线性 § (kA,B)=tr(〖kAB〗^T )=k⋅tr(〖AB〗^T )=k(A,B) § (A+B,C)=tr((A+B) C^T )=tr(AC^T+BC^T ) § =tr(AC^T )+tr(BC^T )=(A,C)+(B,C) ○ 证明非负性 § (A,A)=tr(〖AA〗^T )=a_11^2+a_12^2+…+a_nn^2≥0 § (A,A)=0⇔A=0 • [a,b]上所有实连续函数 C[a,b] 的内积 ○ (f,g)=∫_a^b▒f(x)g(x)dx ○ 证明略 • 由广义内积自然诱导的长度（范数） ○ |α ⃗ |=√((α ⃗,α ⃗)) ○ 正定性 § |α ⃗ |≥0 § |α ⃗ |=0⇔α ⃗=0 ⃗ ○ 绝对齐次 § |kα ⃗ |=|k||α ⃗ | ○ 三角不等式 § |α ⃗+β ⃗ |≤|α ⃗ |+|β ⃗ | § 证明见柯西-布尼亚科夫斯基-施瓦茨不等式 § {█((α ⃗+β ⃗,α ⃗+β ⃗ )≤(α ⃗,α ⃗ )+(β ⃗,β ⃗ )+2|α ⃗ ||β ⃗ |@(α ⃗+β ⃗,α ⃗+β ⃗ )=(α ⃗,α ⃗ )+2(α ⃗,β ⃗ )+(β ⃗,β ⃗))┤ § ⇒(α ⃗,β ⃗ )≤|α ⃗ ||β ⃗ | ○ 将三角不等式应用于 Rn § (α ⃗,β ⃗ )=a_1 b_1…a_n b_n § ⇒|a_1 b_1…a_n b_n |≤√(∑_(i=1)^n▒a_i^2 ) √(∑_(i=1)^n▒b_i^2 ) ○ 将三角不等式应用于 c[a,b] § (f,g)=∫_a^b▒f(x)g(x)dx § ⇒|∫_a^b▒f(x)g(x)dx|≤√(∫_a^b▒〖f(x)^2 dx〗) √(∫_a^b▒〖g(x)^2 dx〗) • 由广义内积自然诱导的距离 ○ d=|α ⃗−β ⃗ | • 由广义内积自然诱导的角度 ○ θ=arccos〖((α ⃗,β ⃗ ))/|α ⃗ ||β ⃗ | 〗, 0<θ<π ○ 正交（垂直） § α ⃗⊥β ⃗⇔(α ⃗,β ⃗ )=0⇔θ=π/2 ○ 零向量 § 零向量垂直任何向量 § 只有零向量和自身垂直 ○ 勾股定理 (Pythagorean theorem) § α ⃗⊥β ⃗⇔|α ⃗+β ⃗ |^2=|α ⃗ |^2+|β ⃗ |^2 § |α ⃗+β ⃗ |^2=(α ⃗+β ⃗,α ⃗+β ⃗ ) § =(α ⃗,α ⃗ )+2(α ⃗,β ⃗ )+(β ⃗,β ⃗ ) § =(α ⃗,α ⃗ )+(β ⃗,β ⃗ ) § =|α ⃗ |^2+|β ⃗ |^2 ○ 广义勾股定理 § (α_1 ) ⃗,(α_2 ) ⃗,…,(α_n ) ⃗ 两两正交，则 § |(α_1 ) ⃗+…+(α_n ) ⃗ |=|(α_1 ) ⃗ |^2+…+|(α_n ) ⃗| 27.2 标准正交基 • 度量矩阵 ○ 欧几里得空间 E^n 中有一组基 (ϵ_1 ) ⃗…(ϵ_n ) ⃗ ○ α ⃗=x_1 (ϵ_1 ) ⃗+…+x_n (ϵ_n ) ⃗ ○ β ⃗=y_1 (ϵ_1 ) ⃗+…+y_n (ϵ_n ) ⃗ ○ (α ⃗,β ⃗ )=∑_(i=1)^n▒∑_(j=1)^n▒〖x_i y_j ((ϵ_i ) ⃗,(ϵ_j ) ⃗)〗 ○ =(x_1,…,x_n)(■8(a_11&a_12&…&a_1n@a_21&a_22&…&a_2n@⋮&⋮&⋮&⋮@a_n1&a_n2&…&a_nn ))(■8(y_1@⋮@y_n )) ○ 其中 a_ij=((ϵ_i ) ⃗,(ϵ_j ) ⃗ ) ○ A=(a_ij )_(n×n) 叫做内积的度量矩阵 • 标准正交基 ○ ((ϵ_i ) ⃗,(ϵ_j ) ⃗ )={█(1, i=j@0, i≠j)┤⇔A_(n×n)=I_n ○ 此时 (α ⃗,β ⃗ )=(x_1,…,x_n )I(■8(y_1@⋮@y_n ))=x_1 y_1+…+x_n y_n • 定理：两个标准正交基之间的过渡矩阵为正交矩阵，反之亦然 ○ 欧氏空间 E^n 内的两组标准正交基 (ϵ_1 ) ⃗…(ϵ_n ) ⃗ 和 (η_1 ) ⃗…(η_2 ) ⃗ ○ 且满足 ((η_1 ) ⃗,…,(η_2 ) ⃗ )=((ϵ_1 ) ⃗,…,(ϵ_n ) ⃗ )C ○ 要证：C^T C=I ○ ((η_1 ) ⃗,…,(η_2 ) ⃗ )=((ϵ_1 ) ⃗,…,(ϵ_n ) ⃗ )(■8(c_11&c_12&…&c_1n@c_21&c_22&…&c_2n@⋮&⋮&⋮&⋮@c_n1&c_n2&…&c_nn )) ○ 又因为 ((η_i ) ⃗,(η_j ) ⃗ )={█(1, i=j@0, i≠j)┤ ○ 故 c_1i c_1j+c_2i c_2j+…+c_1n c_1n={█(1, i=j@0, i≠j)┤ ○ 即 C 是正交矩阵 27.3 正交变换 • 定义 ○ 欧氏空间 E^n 中，保持内积不变的线性变换称为正交变换 ○ ∀α ⃗,β ⃗∈E^n, (Aα ⃗,Aβ ⃗ )=(α ⃗,β ⃗ ) ○ 几何中定义为保持距离不变的变换 • 例子：旋转 ○ R2 中的两个向量 (α_1 ) ⃗=(■8(x_1@y_1 )), (α_2 ) ⃗=(■8(x_2@y_2 )) ○ 经过旋转 θ 后得到 (β_1 ) ⃗=(■8(x_1′@y_1′)),(β_2 ) ⃗=(■8(x_2′@y_2′)) ○ ((α_1 ) ⃗,(α_2 ) ⃗ )=(α_1 ) ⃗^T (α_2 ) ⃗=x_1 x_2+y_1 y_2 ○ 令 A=(■8(cosθ&−sinθ@sinθ&cosθ))，则有 A^T A=I ○ ((β_1 ) ⃗,(β_2 ) ⃗ )=(β_1 ) ⃗^T (β_2 ) ⃗=(A(α_1 ) ⃗ )^T (A(α_2 ) ⃗ )=(α_1 ) ⃗^T A^T A(α_2 ) ⃗=(α_1 ) ⃗^T (α_2 ) ⃗ ○ 故 ((α_1 ) ⃗,(α_2 ) ⃗ )=((β_1 ) ⃗,(β_2 ) ⃗ ) • 定理 ○ A 是欧氏空间 E^n 中的线性变换，以下命题等价 1. A 是正交变换 (Aα ⃗,Aβ ⃗ )=(α ⃗,β ⃗ ) 2. A 保持长度不变 |Aα ⃗ |=|α ⃗ | 3. (ϵ_1 ) ⃗…(ϵ_n ) ⃗ 是标准正交基 ⇒A(ϵ_1 ) ⃗…A(ϵ_n ) ⃗ 也是标准正交基 4. A 在任意标准正交基下的矩阵都是正交矩阵 ○ 证明 1⇒2 § (Aα ⃗,Aα ⃗ )=(α ⃗,α ⃗ ) § ⇒|Aα ⃗ |^2=|α ⃗ |^2 § ⇒|Aα ⃗ |=|α ⃗ | ○ 证明 2⇒1 § (Aα ⃗,Aα ⃗ )=(α ⃗,α ⃗ ) § (Aβ ⃗,Aβ ⃗ )=(β ⃗,β ⃗ ) § (A(α ⃗+β ⃗),A(α ⃗+β ⃗))=(α ⃗+β ⃗,α ⃗+β ⃗ ) § 对于上式 {█(左=(Aα ⃗,Aα ⃗ )+(Aβ ⃗,Aβ ⃗ )+2(Aα ⃗,Aβ ⃗ )@右=2(α ⃗,β ⃗ )+(α ⃗,α ⃗ )+(β ⃗,β ⃗ ) )┤ § 故 (Aα ⃗,Aβ ⃗ )=(α ⃗,β ⃗ ) ○ 证明 1⇒3 § (A(ϵ_i ) ⃗,A(ϵ_j ) ⃗ )=((ϵ_i ) ⃗,(ϵ_j ) ⃗ )={█(1, i=j@0, i≠j)┤ ○ 证明 3⇒1 § {█(α ⃗=x_1 (ϵ_1 ) ⃗+…+x_n (ϵ_n ) ⃗@β ⃗=y_1 (ϵ_1 ) ⃗+…+y_n (ϵ_n ) ⃗ )┤⇒(α ⃗,β ⃗ )=∑_(i=1)^n▒∑_(j=1)^n▒〖x_i y_j 〗 § {█(Aα ⃗=x_1 A(ϵ_1 ) ⃗+…+x_n A(ϵ_n ) ⃗@Aβ ⃗=y_1 A(ϵ_1 ) ⃗+…+y_n A(ϵ_n ) ⃗ )┤ § ∵A(ϵ_1 ) ⃗…A(ϵ_n ) ⃗ 是标准正交基 § ∴(Aα ⃗,Aβ ⃗ )=∑_(i=1)^n▒∑_(j=1)^n▒〖x_i y_j 〗 ○ 证明 4⇔3 § A((ϵ_1 ) ⃗…(ϵ_n ) ⃗ )=((ϵ_1 ) ⃗…(ϵ_n ) ⃗ )A § 由 27.2 的定理简单可得](https://shawnzhong.com/wp-content/uploads/2017/08/img_5987414f6b6d1.png)
