Linear Algebra

study

趙啟超教授線性代數

線性組合 Linear Combination §

• 向量的加法與純量乘法的組合
• $c_1{v}_1+c_2{v}_2+\cdots +c_n{v}_n$
• 例：$cv+dw$，其中 $c,d$ 為純量，$v,w$ 為向量

---

線性獨立 Linear Independence §

• 定義：$c_1{v}_1+\cdots +c_n{v}_n=0$ 只有全零解 ($c_i=0$)
• 沒有任何一個向量可被其他向量的線性組合取代

---

線性變換 Linear Transformations §

• 一種函數將向量從輸入空間映射到輸出空間
• 直線保持直線
  • 變換後，網格線必須保持平行且等距，不能彎曲
• 原點固定
  • 零向量變換後必須仍是零向量，$T(\vec{0})=\vec{0}$
• 例子
  • 是：旋轉、伸縮、剪切、投影
  • 否：平移 (原點移動了)、彎曲 (如 $f(x)=x^2$)
• 數學定義：
  • 若 $T$ 為線性變換，必須對所有向量 $u,v$ 及純量 $c$ 滿足以下兩點
  • 加法性，$T(u+v)=T(u)+T(v)$，先加再變 = 先變再加
  • 齊次性，$T(cu)=cT(u)$，先縮放再變 = 先變再縮放
• 每個線性變換都可以用一個矩陣 $A$ 來執行：$T(x)=Ax$
• 矩陣 $A$ 的幾何意義：矩陣的每一個 Column 紀錄了標準基底向量變換後的位置
  • $A$ 的第 1 行 = $\hat{i}$ (1,0) 變換後去了哪裡
  • $A$ 的第 2 行 = $\hat{j}$ (0,1) 變換後去了哪裡
  • 只要知道基底跑去哪，就決定了整個矩陣

$$A=\left[\begin{array}{cc}|& |\\ T(\hat{i})& T(\hat{j})\\ |& |\end{array}\right]$$

---

線性系統的解 $Ax=b$ §

• $Ax=b$ 有解 $⟺b$ 位於 $A$ 的 Column Space 內
  • $b\in C(A)$
• 解的分類 (設 $A$ 為 $m\times n$ 矩陣)：
  • 唯一解
    • Rank $r=n$ (Full Column Rank)
    • 無自由變數
    • $Ax=0$ 只有零解
  • 無限多解
    • Rank $r<n$
    • 存在自由變數
    • 通解 = 特解 + 齊次解
  • 無解：$b$ 不在 Column Space 內，通常發生在 $m>r$ 的情況

---

內積 Dot Product, Inner Product §

$$x\cdot y=x^{T}y=\sum _{i=1}^n{x}_i{y}_i=|x||y|\cos \theta$$

• 幾何意義：一個向量在另一個向量上的投影長度乘以另一向量的長度
• 若 $x\cdot y=0$，則兩向量正交，表示兩向量垂直

---

外積 Cross Product §

$$x\times y=\left[\begin{array}{c}{x}_2{y}_3-x_3{y}_2\\ x_3{y}_1-x_1{y}_3\\ x_1{y}_2-x_2{y}_1\end{array}\right]$$

• 幾何意義：兩向量所張成的平行四邊形的面積向量
• 僅適用於三維空間，結果為一個向量，且垂直於 $x$ 與 $y$ 所在的平面

---

矩陣運算 §

• 交換律 (Commutative Law)：$AB\ne BA$，不成立
• 結合律 (Associative Law)：$A(BC)=(AB)C$
• 分配律 (Distributive Law)：$A(B+C)=AB+AC$，$(A+B)C=AC+BC$

---

矩陣乘法觀點 §

• Row picture：多個平面的交點、聯立方程式的解

$$\left[\begin{array}{c}\text{— }a\text{ —}\\ \text{— }b\text{ —}\\ \text{— }c\text{ —}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}a\cdot x\\ b\cdot x\\ c\cdot x\end{array}\right]=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]$$

• $a\cdot x=r_1⟹\left[\begin{array}{ccc}{a}_1& a_2& a_3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=r_1$ 為一個平面

• Column picture：$Ax$ 是 $A$ 的行向量 (Columns) 的線性組合

$$\left[\begin{array}{ccc}|& |& |\\ a& b& c\\ |& |& |\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=x_1\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]+x_2\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]+x_3\left[\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right]=\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]$$

---

高斯消去法 Gaussian Elimination §

• Pivot (主元/軸)：列運算後，每一列第一個非零元素
• Free variables (自由變數)：對應到沒有 Pivot 的那些行的變數
• Rank (秩)：Pivot 的個數，代表矩陣中線性獨立的行（或列）的數量

---

LU 分解 §

• $A=LU$
• $L$: 下三角矩陣，對角線為 1，代表還原動作
• $U$: 上三角矩陣， 代表消去後的狀態

$$L=\left[\begin{array}{ccc}1& 0& 0\\ l_{21}& 1& 0\\ l_{31}& l_{32}& 1\end{array}\right],U=\left[\begin{array}{ccc}{u}_{11}& u_{12}& u_{13}\\ 0& u_{22}& u_{23}\\ 0& 0& u_{33}\end{array}\right]$$

• 方便計算行列式值
• 不需要每次都重新做高斯消去法，能快速解出不同 $b$ 的 $Ax=b$

$$Ax=b⟹LUx=b⟹Ly=b(先解Ly=b)⟹Ux=y(再解Ux=y)$$

• LU decomposition 的計算複雜度為
  • $n^2+(n-1{)}^2+...+1=n\cdot (n-1)\cdot (2n+1)/6\approx n^3/3=O(n^3)$
• 有 LU decomposition 時，解 $Ax=b$ 的計算複雜度為 $O(n^2)$，因為只需要解兩個三角矩陣方程式 $Ly=b$ 和 $Ux=y$
• 沒有 LU decomposition 時，解 $Ax=b$ 的計算複雜度為 $O(n^3)$，因為需要每次都進行高斯消去法
• 時間複雜度
  • LU 分解：$O(n^3)$ (約 $n^3/3$)
  • 解 $Ly=b,Ux=y$：$O(n^2)$
  • 若無 LU 分解直接解多次 $b$：每次皆須 $O(n^3)$

---

LDU 分解 §

• $A=LDU$
• $D$: 對角矩陣，包含 $U$ 的對角線元素

$$D=\left[\begin{array}{ccc}{d}_{11}& 0& 0\\ 0& d_{22}& 0\\ 0& 0& d_{33}\end{array}\right]$$

• 將 $U$ 的 Pivot 提出形成對角矩陣 $D$
  • $A=LDU$，其中 $L$ 與 $U$ 的對角線皆為 1
  • $D=\text{diag}(d_{11},d_{22},\dots )$
• 若 $A$ 可逆，且 $A=L_1{D}_1{U}_1=L_2{D}_2{U}_2$（$L,U$ 對角線為1），則必有 $L_1=L_2,D_1=D_2,U_1=U_2$

---

反矩陣 §

• 定義
  • $A{A}^{-1}=A^{-1}A=I$
• 可逆
  • $A$ 必須是方陣 ($n\times n$)
  • 矩陣中的向量必線性獨立
    • Rank $=n$ (Full Rank)
    • 擁有 $n$ 個 Pivots
    • 無 zero row
    • 行列式 $\det (A)\ne 0$
    • $Ax=0$ 只有零解
• 不可逆
  • 若 $Ax=0$ 存在非零解，則 $A$ 不可逆
    • 若 $x\ne 0$，假設 $A^{-1}$ 存在，則 $Ax=0⟹x=A^{-1}0=0$，與前提矛盾，假設不成立
  • 若 $A$ 經過消去後有一列全為 0，則不可逆
  • 全零列在矩陣乘法中無法產生單位矩陣 $I$ 對應位置的 $1$，資訊丟失
• 若 $A$ 可逆，其反矩陣是唯一的
  • 假設 $B,C$ 皆為 $A$ 的反矩陣，則 $B=B(AC)=(BA)C=IC=C$
• $(A^{-1}{)}^{-1}=A$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(ABC{)}^{-1}=C^{-1}{B}^{-1}{A}^{-1}$
  • $(ABC)(C^{-1}{B}^{-1}{A}^{-1})=AB(C{C}^{-1})B^{-1}{A}^{-1}=ABI{B}^{-1}{A}^{-1}=I$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$
  • $(A^{-1}A{)}^T=A^T(A^{-1}{)}^T=I^T=I$，故 $A^{-1T}$ 為 $A^T$ 之反矩陣

---

奇異矩陣 Singular Matrix §

• 定義：不存在反矩陣，不可逆的方陣
• 特性
  • 行列式為零：$\det (A)=0$
  • 不可逆：不存在 $A^{-1}$
  • 線性相依：行向量或列向量之間存在線性相依
  • 秩不足：$\text{rank}(A)<n$ ，即非 Full Rank
  • 零特徵值：至少有一個特徵值為 $0$
  • 存在非零解：齊次方程式 $Ax=0$ 存在非零解，即 Nullity $>0$
• 幾何意義：將空間映射到更低的維度，例如將體積壓扁成面或線

---

轉置矩陣 §

• $(A^T{)}_{ij}=A_{ji}$
• $(A+B{)}^T=A^T+B^T$
• $(AB{)}^T=B^T{A}^T$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$

$$\{\begin{array}{rl}A\cdot A^{-1}& =I\\ A^{-1}\cdot A& =I\end{array}⟹\{\begin{array}{rl}(A\cdot A^{-1}{)}^T& =A^{-1T}\cdot A^T=I^T=I\\ (A^{-1}\cdot A{)}^T& =A^T\cdot A^{-1T}=I^T=I\end{array}⟹A^{-1T}\text{ is the inverse of }{A}^T$$

---

對角矩陣 Diagonal Matrix §

• 若 $D=\text{diag}(d_1,\dots ,d_n)$ 且所有 $d_i\ne 0$，則 $D^{-1}=\text{diag}(1/d_1,\dots ,1/d_n)$

---

置換矩陣 Permutation Matrix §

• 定義：透過交換單位矩陣 $I$ 的列 (Row) 所形成的矩陣
• 數量：$n\times n$ 的置換矩陣共有 $n!$ 個
• 性質
  • $P$ 必可逆
  • $P^{-1}=P^T$ (正交矩陣的特性)
  • 例：$P=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$

---

對稱矩陣 Symmetric Matrices §

• $A=A^T$
• 特徵值 $\lambda$ 必為實數
• 不同特徵值對應的特徵向量必正交
• 必可正交對角化
  • $A=Q\Lambda Q^T$
  • $Q$ 為正交矩陣，$Q^{-1}=Q^T$
• 即使有重根，實對稱矩陣也保證可以對角化
• 幾何意義：
  • 實對稱矩陣的作用就像是把一個單位圓（或球）拉伸成一個橢圓（或橢球）。
  • 特徵向量就是這個橢圓的長軸和短軸的方向。
  • 特徵值就是軸的長度。
  • 正交性：橢圓的長軸和短軸永遠是互相垂直的！這就是為什麼實對稱矩陣的特徵向量一定正交。

---

正交矩陣 Orthogonal Matrices §

• $Q^{T}Q=Q{Q}^T=I$
• $Q^{-1}=Q^T$
• 特性：
  • 向量正交變換後，長度保持不變
  • 兩個向量正交變換後，夾角保持不變
  • 行列式 $\det (A)$ 只有兩種可能 $1$ 或 $-1$，若為 $1$，代表這是一個旋轉矩陣，若為 $-1$，代表鏡射/反射
• 可以把正交矩陣想像成對空間進行剛體運動，就像拿著一個方塊旋轉，雖然位置變了，但本身的形狀、邊長和角度都沒變
• 旋轉、鏡射

---

正定矩陣 Positive Definite Matrices §

• 定義：對於所有非零向量 $x$，都有 $x^{T}Ax>0$
  • 幾何：圖形為開口向上的碗狀 (Bowl shape)，能量函數大於 0
• 判定法 (等價條件)：
  1. 所有特徵值 ${\lambda }_i>0$
  2. 所有 Pivots > 0
  3. 所有主子行列式 (Leading Principal Minors) > 0
  4. $A=R^{T}R$ (Cholesky Decomposition，存在唯一的上三角矩陣 $R$)
• 應用：微積分極小值判定 (Hessian Matrix)、協方差矩陣

---

偽逆矩陣 Moore-Penrose Pseudoinverse §

• 符號：$A^{+}$
• 動機：解決當矩陣 $A$ 不可逆（非方陣、奇異矩陣）時，如何定義類似「反矩陣」的操作
• 定義與計算：利用 SVD 求解
  • 若 $A=U\Sigma V^T$
  • 則 $A^{+}=V{\Sigma }^{+}{U}^T$
• ${\Sigma }^{+}$ 的構造方式
  • 將 $\Sigma$ 轉置 (形狀變為 $n\times m$)
  • 將對角線上非零的奇異值取倒數 ($1/{\sigma }_i$)
  • 零元素保持為零
  $$\Sigma =\left[\begin{array}{cc}{\sigma }_1& 0\\ 0& 0\end{array}\right]⟹{\Sigma }^{+}=\left[\begin{array}{cc}1/{\sigma }_1& 0\\ 0& 0\end{array}\right]$$
• 求解 $Ax=b$ 的最佳解
  • $\hat{x}=A^{+}b$
  • 當方程組無解時 (Overdetermined)：給出最小平方解 (Least Squares Solution)，即誤差 $||Ax-b||$ 最小
  • 當方程組無限多解時 (Underdetermined)：在所有解中，給出長度范數 $||x||$ 最小的解 (Minimum Norm Solution)
• 性質
  • $A^{+}A\ne I$ (通常情況)，而是投影到 Row Space 的投影矩陣
  • $A{A}^{+}\ne I$ (通常情況)，而是投影到 Column Space 的投影矩陣
  • 若 $A$ 可逆，則 $A^{+}=A^{-1}$

---

向量空間 Vector Space §

• 定義：一個集合若要成為向量空間，必須滿足以下 10 條公理
• 加法運算
  • 封閉性：若 $u,v\in V$，則 $u+v\in V$
  • 交換律：$u+v=v+u$
  • 結合律：$(u+v)+w=u+(v+w)$
  • 零向量存在：存在 $0\in V$ 使得 $u+0=u$
  • 反向量存在：對每個 $u\in V$，存在 $-u\in V$ 使得 $u+(-u)=0$
• 純量乘法運算
  • 封閉性：若 $u\in V$ 且 $c$ 為純量，則 $c\cdot u\in V$
  • 分配律 I：$c(u+v)=cu+cv$
  • 分配律 II：$(c+d)u=cu+du$
  • 結合律：$c(du)=(cd)u$
  • 單位元素：$1\cdot u=u$
• 基底
  • 生成該空間且線性獨立的向量集合
  • 幾何意義：描述該空間所需的最精簡生成集

---

子空間 Subspace §

• 定義：包含零向量、且滿足加法與乘法封閉性的子集合，因繼承了母空間的公理，故僅需檢查 3 點
• 檢查條件
  • 零向量：$0$ 必須在集合內
  • 加法封閉性：若 $u,v\in S$，則 $u+v\in S$
  • 純量乘法封閉性：若 $u\in S$，則 $cu\in S$

---

基本子空間 §

• 若矩陣 $A$ 為 $m\times n$，秩為 $r$
• 基本子空間共四個，可分為兩組
• 第一組
  • 列空間、零空間
  • 在輸入空間 ${\mathbb{R}}^n$ 中
  • 與 $x$ 有關，包含矩陣的維度 $n$
  • ${\mathbb{R}}^n$ 被完美分割，任何 $n$ 維向量 $x$ 都可以唯一分解為 $x_r$ (在列空間) 和 $x_n$ (在零空間)
• 第二組
  • 行空間、左零空間
  • 在輸出空間 ${\mathbb{R}}^m$ 中
  • 與 $b$ 有關，包含矩陣的維度 $m$
  • ${\mathbb{R}}^m$ 也被完美分割，任何 $m$ 維向量 $b$ 都可以唯一分解為 $b_c$ (在 Column Space) 和 $b_l$ (在 Left Null Space)
• 零空間決定了哪些輸入被映射到 0，行空間決定了哪些輸入沒有被映射到 0，列空間張成了所有可能的輸出向量，而左零空間顯示了不能作為輸出的向量

---

列空間 Row Space §

• 由 $A$ 所有列向量組成的空間
• 所有有用的輸入訊號來源
• 如果把輸入向量 $x$ 分解，只有落在列空間上的分量會真正被矩陣 $A$ 轉換出去，產生非零的結果
• 維度 $=r$
• $C(A^T)$

---

零空間 Null Space §

• 所有滿足 $Ax=0$ 的向量 $x$ 組成的空間
• 無效或被壓縮至零的輸入
• 任何落在這個空間的向量經過 $A$ 轉換後都會消失，變成零向量
• 維度 $=n-r$
• $N(A)$

---

行空間 Column Space §

• 由 $A$ 的所有行向量
• 矩陣 $A$ 能產生的所有可能的輸出集合 ，即 $Ax$ 的所有可能結果
• 如果方程組 $Ax=b$ 有解，向量 $b$ 必須在行空間裡面
• 維度 $=r$
• $C(A)$

---

左零空間 Left Null Space §

• 所有滿足 $A^{T}y=0$ 的向量 $y$ 組成的空間
  • 一般的 Null Space，$x$ 在右邊把 $A$ 消除為零
  • Left Null Space，$y$ 在左邊把 $A$ 消除為零
  • $y^{T}A=0^T⟹(y^{T}A{)}^T=A^{T}y=0$
• 如果 $b$ 在此空間有分量，即 $b$ 不垂直於左零空間，則 $Ax=b$ 無解
• 代表對 $b$ 的限制條件
• 設有一方程組 $Ax=b$，若 $A$ 的左零空間中有一非零向量 $y$，根據定義，$y^{T}A=0$

$$\begin{array}{rl}Ax& =b\\ ⟹y^T(Ax)& =y^{T}b\\ ⟹(y^{T}A)x& =y^{T}b\\ ⟹0\cdot x& =y^{T}b\\ ⟹0& =y^{T}b\end{array}$$

• 如果 $Ax=b$ 要有解，右邊的 $y^{T}b$ 必須也等於 0。如果 $y^{T}b\ne 0$（即 $b$ 在左零空間有分量），就會導致 $0=\text{非零數}$，這就是矛盾，代表方程組無解。
• 維度 $=m-r$
• $N(A^T)$

---

維度定理 Rank-Nullity Theorem §

$$n=\dim (C(A))+\dim (N(A))$$

• 輸入總維度 ($n$) = 有效輸出維度 (Rank, $r$) + 被壓縮歸零的維度 (Nullity, $n-r$)

---

行列式 Determinants §

• 一個線性變換將空間中的區域縮放了多少，是面積或體積改變的倍數
• $\det (A)=0$ 代表體積塌縮，損失維度，矩陣不可逆
• $\det (A)\ne 0⟺A$ 可逆
• $\det (AB)=\det (A)\det (B)$
• $\det (A^T)=\det (A)$
• 若 $A$ 為三角矩陣，$\det (A)$ 等於對角線元素之積
• 幾何意義：
  • 2D：兩向量張成的平行四邊形面積
  • 3D：三向量張成的平行六面體體積

---

特徵值與特徵向量 Eigenvalues and Eigenvectors §

• $Ax=\lambda x(x\ne 0)$
  • 特徵值 $\lambda$
  • 特徵向量 $x$
• 幾何意義
  • 矩陣 $A$ 作用在其特徵向量 $x$ 上時，只會造成向量長度伸縮特徵值 $\lambda$ 倍，而不發生旋轉，可能反向
  • 變換前後的向量落在同一條直線上
• 特徵方程式
  • $\det (A-\lambda I)=0$
  • 因為 $(A-\lambda I)x=0$ 中 $x\ne 0$，所以 $(A-\lambda I)$ 必不可逆，必為奇異矩陣，故其行列式為零
• Trace (跡數)：$\text{tr}(A)=\sum a_{ii}=\sum {\lambda }_i$
• $\det (A)=\prod {\lambda }_i$
• $A^n\cdot x={\lambda }^{n}x$
• $A^{-1}\cdot x=\frac{1}{\lambda }x(\lambda \ne 0)$

---

對角化 Diagonalization §

• $A=S\Lambda S^{-1}$
  • $\Lambda$：特徵值對角矩陣 $\Lambda =\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]$
  • $S$：特徵向量組成的矩陣 $S=\left[\begin{array}{cccc}|& |& & |\\ v_1& v_2& \cdots & v_n\\ |& |& & |\end{array}\right]$
  • 推導：$$ A S = A [v_1 , v_2 , \cdots , v_n] = [Av_1 , Av_2 , \cdots , Av_n] = [\lambda_1 v_1 , \lambda_2 v_2 , \cdots , \lambda_n v_n] = S \Lambda \ \implies A = S \Lambda S^{-1}
• 條件：$A$ 必須有 $n$ 個線性獨立的特徵向量
• 應用：快速計算 $A^k$，$A^k=S{\Lambda }^k{S}^{-1}$

---

正交性 Orthogonality §

• 兩向量內積為零
• $x^{T}y=0$
• 夾角 $90^{\circ }$
• 正交子空間關係
  • Row Space $\perp$ Null Space，在 ${\mathbb{R}}^n$ 中互為正交補餘
  • Column Space $\perp$ Left Null Space，在 ${\mathbb{R}}^m$ 中互為正交補餘
• $Ax=0$ 代表 $x$ 與 $A$ 的每一個 Row 都垂直

---

最小平方近似 §

• 當 $Ax=b$ 無解 (方程式比未知數多)，尋找最佳近似解 $\hat{x}$ 以最小化誤差 $||A\hat{x}-b||$
  • 地平面，$A$ 的 Column Space，能組合出的所有向量
  • 天上的星星，向量 $b$，不在地平面上
  • 將星星垂直投影到地平面上，得到最近的點 $p$
  • $p=A\hat{x}$，$\hat{x}$ 為最佳近似解
  • 誤差向量 $e=b-p=b-A\hat{x}$，星星到自己在地平面的投影的向量，必垂直於地平面 (A 的 Column Space)
• 推導 Normal Equation

$$\begin{array}{rl}& A^{T}e=0\\ ⟹& A^T(b-A\hat{x})=0\\ ⟹& A^{T}A\hat{x}=A^{T}b\\ ⟹& \hat{x}=(A^{T}A{)}^{-1}{A}^{T}b\end{array}$$

• Normal Equation 數值不穩，通常使用 QR 分解或 SVD 來求解
• 在機器學習中，$b$ 通常是某個觀測值，$A$ 是特徵矩陣，$\hat{x}$ 是要學習的參數，希望找到一組參數，使得模型的預測值 $A\hat{x}$ 最接近觀測值 $b$

---

最小平方法應用在機器學習 §

• 損失函數 Loss Function

  • 將「幾何投影誤差」轉化為「均方誤差」
  • ${\min }_w||Xw-y|{|}^2$
  • 懲罰較大的誤差，因為是平方，且函數平滑可微分，適合優化

• 兩種求解途徑

  • 解析解
    • 最小平方法
    • $w=(X^{T}X{)}^{-1}{X}^{T}y$
    • 數據量小、特徵少的情況
    • 缺點是矩陣求逆運算 $(X^{T}X{)}^{-1}$ 成本高 $O(N^3)$
  • 數值優化
    • 梯度下降法 Gradient Descent
    • 利用梯度 $\nabla J$ 迭代更新權重
    • 大數據、神經網絡
    • 梯度的方向即為 $X^T(y_{pred}-y_{true})$，對應線性代數中的 $A^{T}e$，每一步都在試圖消除投影誤差在各個特徵軸上的分量

• 正規化 Regularization

  • 對權重 (模型有多複雜) 加上懲罰項，防止過擬合
  • Lasso Regression (L1)
    • 在誤差平方和後加上 $\lambda ||w|{|}_1$ (權重絕對值和)
    • 限制權重在菱形 (多面體) 區域內，容易在頂點 (座標軸) 處與誤差函數相切
    • 優點：產生稀疏解，能強迫不重要的特徵權重變成 0，具備特徵選取的功能
    • 產生稀疏解是因為菱形（L1 ball）的「角」突出，而誤差函數的等高線（橢圓）最容易先碰到這些「角」（即坐標軸），這導致某些權重直接變為 0
    • 注意：因絕對值函數在 0 處不可微分，故無解析解，需依賴數值演算法求解
  • Ridge Regression (L2)
    • 在最小平方誤差後加上 $\lambda ||w|{|}^2$
    • 解決問題：防止過擬合、解決 $X^{T}X$ 不可逆 (Singular) 的問題
    • 公式修正：$(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$

---

QR 分解 §

• $A=QR$
• 將矩陣分解成一個 正交矩陣 $Q$ 與一個上三角矩陣 $R$ 的積
• QR 分解將一個「歪斜、耦合」的複雜問題 $A$，轉換到一個「正交、獨立」的標準坐標系 $Q$ 中解析
  • 解耦
    • 在歪斜基底 $A$ 中，變數間互相牽制，牽一髮動全身
    • 在正交基底 $Q$ 中，各維度垂直互不干擾，可單獨分析或控制特定分量
  • 計算簡化
    • 求逆：將繁重的矩陣求逆運算 ($O(N^3)$) 簡化為轉置 (正矩陣 $Q^{-1}=Q^T$)
    • 投影：求分量只需做簡單內積 ($v^T{q}_i$)，無需解複雜的聯立方程式
  • 數值穩定
    • 正交變換屬於「等距同構」，旋轉不改變向量長度 $||Qx||=||x||$
    • 避免了歪斜基底造成的誤差放大效應，確保電腦計算時的資訊保真
• $Q$ 標準正交矩陣
  • Column 為標準正交基底 (Orthonormal Basis)
  • $Q^{T}Q=I$，計算反矩陣極快 ($Q^{-1}=Q^T$)
• $R$ 上三角矩陣
  • $A$ 的行向量在標準正交基底 $Q$ 下的座標係數
  • 記錄 $A$ 的行向量如何由 $Q$ 線性組合而成
  • 上三角結構的成因
    • 根據 Gram-Schmidt 建構順序，第 $k$ 個向量 $a_k$ 必定落在前 $k$ 個基底向量生成的空間 $\text{span}(q_1,\dots ,q_k)$ 內
    • 因此 $a_k$ 對未來的基底 ($q_{k+1},\dots ,q_n$) 投影量必為 0
    • $a_1$ 僅有 $q_1$ 分量；$a_2$ 僅有 $q_1,q_2$ 分量，依此類推形成上三角矩陣
• 應用於最小平方求解，利用 $A=QR$ 將 Normal Equation 簡化
  • 因 $R$ 為上三角矩陣，方程式的最後一行只有一個未知數，可直接求出
  • 求出後代回上一行，依此類推，計算成本極低且精確

$$\begin{array}{rl}& A^{T}A\hat{x}=A^{T}b\\ ⟹& (QR{)}^T(QR)\hat{x}=(QR{)}^{T}b\\ ⟹& R^T(Q^{T}Q)R\hat{x}=R^T{Q}^{T}b\\ ⟹& R\hat{x}=Q^{T}b\end{array}$$

---

Gram-Schmidt 正交化 §

• QR 分解的其中一種方法

• 目標將一組歪斜的線性獨立基底 $A$，修正為標準正交基底 $Q$

  • 原理：$New=Old-Projections$
  • 透過迭代，依序扣除新向量在「已知正交基底」上的投影分量，只保留垂直部分

• 輸入：一組線性獨立的向量 $\{a_1,a_2,\dots ,a_n\}$

• 輸出：一組標準正交基底 $\{q_1,q_2,\dots ,q_n\}$

• 流程

  1. 將 $a_1$ 單位化 $q_1=\frac{a_1}{||a_1||}$

  2. 扣除 $a_2$ 在 $q_1$ 方向的投影，得到垂直向量 $A_2$，再單位化 $A_2=a_2-(q_1^T{a}_2)q_1$ $q_2=\frac{A_2}{||A_2||}$

  3. 將 $a_k$ 扣除在所有先前基底 ($q_1\dots q_{k-1}$) 上的投影 $A_k=a_k-{\sum }_{i=1}^{k-1}(q_i^T{a}_k)q_i$ $q_k=\frac{A_k}{||A_k||}$

• 必須使用已算好的 $q$ (標準正交) 來計算投影，公式才會簡潔為內積形式 $(q^{T}a)q$

• 若直接使用尚未單位化的向量來做投影，分母會變得很複雜

---

奇異值分解 Singular Value Decomposition (SVD) §

• $A=U\Sigma V^T$
  • 將線性變換分解為旋轉、伸縮、再旋轉
• $AV=U\Sigma ⟹A=U\Sigma V^T$
• 數據 = $U$(對於樣本的組合權重) $\times$ $\Sigma$(成份排行/強度) $\times$ $V^T$(成份的定義)
• 矩陣成分對照解析 ($A$ 為 $m\times n$)
  • $V$ (Right Singular Vectors)：$n\times n$ 正交矩陣
    • $A$ 在輸入空間 ($R^n$) 的正交基底
    • 成份的定義 (Ingredients) — 定義基本元素是什麼 (如：定義「甜味」)
  • $\Sigma$ (Singular Values)：$m\times n$ 對角矩陣
    • 對角線元素 ${\sigma }_i\ge 0$ (由大到小排列)
    • 成份的強度/排行 (Importance) — 決定該成份在整體數據中的能量大小
  • $U$ (Left Singular Vectors)：$m\times m$ 正交矩陣
    • $A$ 在輸出空間 ($R^m$) 的正交基底
    • 樣本的組合權重 (Weights) — 每個樣本含有該成份的比例多寡
• 利用 $A^{T}A$ 與 $A{A}^T$ 必為對稱矩陣的性質來求解**
  1. 求 $V$ 與 $\Sigma$ (必須同步排序)
     • 計算 $A^{T}A$
     • 對 $A^{T}A$ 做特徵值分解，得到特徵值 ${\lambda }_i$ 與特徵向量 $v_i$
     • 排序：
       • 將特徵值 ${\lambda }_i$ 由大到小排列，並取平方根得到 ${\sigma }_i$ (${\sigma }_1\ge {\sigma }_2\dots$)
       • $V$ 中的行向量 $v_i$ 必須依照 ${\lambda }_i$ 的排序順序同步調整位置
       • 例如：若 ${\lambda }_3$ 最大，則對應的 $v_3$ 必須放在 $V$ 的第一欄
  2. 求 $U$
     • 映射法：利用排序好的 $v_i$ 和對應的 ${\sigma }_i$ 來求 $u_i$
     • $u_i=\frac{1}{{\sigma }_i}A{v}_i$
     • 因為 $v_i$ 和 ${\sigma }_i$ 已經是正確配對且排好序的，算出來的 $u_i$ 自然也會是正確排序的
• 為何是「旋轉 - 伸長 - 旋轉」三步？
  • SVD 要求中間的伸長矩陣 $\Sigma$ 必須是對角矩陣，只能沿著標準座標軸 ($x,y,\dots$) 進行伸縮，不能斜向伸縮
  • 極分解：$A=QS$ (旋轉 $\times$ 變形)
    • 這裡的 $S$ 是對稱矩陣，包含「斜向拉伸」的能力，所以不需要第一步旋轉。
    • 缺點：$S$ 不是對角矩陣，數學性質不如 SVD 的 $\Sigma$ 簡單直觀。

---

PCA 與 SVD 的關係 §

• PCA (主成分分析) 的目標
  • 尋找數據分布變異量 (Variance) 最大的方向
  • 數學上等同於對數據的「共變異數矩陣」 (Covariance Matrix) 做特徵值分解
• 連結推導
  • 假設數據矩陣 $X$ 已經過中心化 (Mean Centering)，大小為 $m\times n$ ($m$ 筆資料，$n$ 個特徵)
  • 共變異數矩陣 $C=\frac{1}{m-1}{X}^{T}X$
  • 對 $X$ 做 SVD 分解：$X=U\Sigma V^T$
  • 代入計算 $X^{T}X$：
  $$\begin{array}{rl}{X}^{T}X& =(U\Sigma V^T{)}^T(U\Sigma V^T)\\ & =(V{\Sigma }^T{U}^T)(U\Sigma V^T)\\ & =V{\Sigma }^T(U^{T}U)\Sigma V^T(\because U^{T}U=I)\\ & =V{\Sigma }^2{V}^T\end{array}$$
• 結論對照
  • 主成分：即 PCA 的特徵向量，正好等於 SVD 的右奇異向量矩陣 $V$
  • 變異量：PCA 的特徵值 ${\lambda }_i$ 與 SVD 的奇異值 ${\sigma }_i$ 存在關係： ${\lambda }_i=\frac{{\sigma }_i^2}{m-1}$
• 實務選擇
  • 雖然可以透過算 $X^{T}X$ 的特徵值來做 PCA，但實務上直接對 $X$ 做 SVD 更佳
  • 原因：計算 $X^{T}X$ 會大幅增加條件數 (Condition Number)，造成浮點數運算誤差 (Loss of precision)，直接做 SVD 數值穩定性較高

---

備問 §

$Ax=b$ 有解，代表向量 $b$ 與 $A$ 的 Column Space 有什麼關係？ §

$b$ 必須落在 $A$ 的 Column Space 內 ($b\in C(A)$)，$Ax$ 本質上是 $A$ 的行向量的線性組合，若 $b$ 無法由這些行向量組合出來，則無解

---

若一個 $5\times 3$ 的矩陣 $A$ Rank 是 3，請問 $Ax=0$ 有非零解嗎？ §

沒有非零解，只有零解 ($x=0$)

$A$ 是 $5\times 3$，Rank $=3$ 代表 Full Column Rank，變數有 3 個，Rank 有 3 個，表示沒有自由變數，故只有零解

---

矩陣乘法為何不滿足交換律 ($AB\ne BA$)？ §

幾何觀點：矩陣代表變換操作順序會影響結果，例如：先投影到 X 軸再旋轉 90 度 $\ne$ 先旋轉 90 度再投影到 X 軸，結果不同

代數觀點：維度限制若 $A$ 是 $2\times 3$，$B$ 是 $3\times 2$，則 $AB$ 是 $2\times 2$，但 $BA$ 是 $3\times 3$，根本無法比較

---

什麼時候 $AB=BA$？ §

雖然一般不成立，但在以下特殊情況成立：

• 其中一個是單位矩陣：$AI=IA=A$
• 其中一個是零矩陣：$A0=0A=0$
• 互為反矩陣：$A{A}^{-1}=A^{-1}A=I$
• 純量矩陣 (Scalar Matrix)：如 $3I$
• 重要：$A$ 與 $B$ 擁有相同的特徵向量時，可交換
  • 因為矩陣作用在相同基底上不會改變向量方向，只會伸縮，故可交換

矩陣 $A$ 乘上向量 $x$ 是什麼意思？ §

• 內積觀點：將 $x$ 投影到 $A$ 的每一個列向量上，算出數值分量
• 線性組合觀點：對 $A$ 的行向量做線性組合，權重係數由 $x$ 提供

LU 分解中的 L, U, P 分別代表什麼？ §

• L (Lower Triangular)：記錄「還原」的動作（Multipliers），對角線通常為 1
• U (Upper Triangular)：記錄「消去」後的最終狀態 (Echelon Form)，對角線為 Pivots
• P (Permutation)：若消去過程中 Pivot 為 0，需進行列交換公式修正為 $PA=LU$

為什麼 $L$ 的對角線是 1？ §

• 在高斯消去法中，我們執行的列運算 (如 $R_2-3R_1$) 相當於左乘一個下三角的基本矩陣 (Elementary Matrix)
• 這類操作是將「某列的倍數」加到「另一列」，並不會改變「該列自己」的比例，因此對角線元素保持為 1

什麼是線性獨立 §

• 向量的集合中，無法用任何向量的線性組合來表示其他向量
• 表示每個向量都提供了全新的維度資訊，沒有冗餘

Rank 是什麼 §

線性獨立的行向量最大數量，幾何上是變換後空間的實際維度。比如 3×3 矩陣 rank=2 代表把空間壓成平面。

$Rank(A+B)$ 與 $Rank(A)+Rank(B)$ 兩者的關係 §

• 兩個矩陣相加，其生成的空間維度不會超過兩者個別生成空間維度的總和
• 相加可能會導致某些維度抵消，rank 反而變小

何謂 Eigenvector §

矩陣代表「線性變換」。特徵向量代表變換的「主軸」方向，特徵值代表沿著該軸的「伸縮倍率」。

如何求 Eigenvalue §

解特徵方程式 (Characteristic Equation)：$\det (A-\lambda I)=0$。因為 $(A-\lambda I)x=0$ 要有非零解，代表 $(A-\lambda I)$ 必須是不可逆的（奇異矩陣），故行列式為 0。

如何求 Eigenvector §

將求出的 $\lambda$ 代回 $(A-\lambda I)x=0$。求解這個齊次方程式的 Null Space，即為該 $\lambda$ 對應的特徵空間 (Eigenspace)。

每個矩陣都有特徵向量和特徵值？ §

矩陣類型是否有特徵值/特徵向量？備註長方形矩陣 ($m\ne n$)無請改用 SVD (奇異值)方陣 (實數系)不一定旋轉矩陣可能只有複數解方陣 (複數系)一定有特徵值但特徵向量可能不夠 (缺損矩陣)實對稱矩陣 ($A=A^T$)保證有這是最完美的矩陣，保證有實數特徵值 + 完整的正交特徵向量

若 $A$ 有 Eigenvalue $\lambda$，則 A inverse 有什麼eigenvalue §

答案：$1/\lambda$ (或 ${\lambda }^{-1}$)。推導：$Ax=\lambda x⟹x=\lambda A^{-1}x⟹\frac{1}{\lambda }x=A^{-1}x$。特徵向量：$A$ 與 $A^{-1}$ 擁有相同的特徵向量。

如果 $Eigenvalue=0$ 怎麼辦 §

不可逆：矩陣 $A$ 為奇異矩陣 (Singular)，不可逆。行列式為 0：因為 $\det (A)$ 等於所有特徵值的乘積，有一項為 0 則積為 0。非零解：存在非零向量 $x$ 使得 $Ax=0x=0$，表示 Null Space 不只有零向量。

eigenvalue =0 inverse怎麼辦 §

不存在。因為對應的特徵值變為 $1/0$，無定義。幾何上，空間被壓扁了，資訊丟失，無法還原。

inverse的 ev 是啥 §

零空間與左零空間的差別 §

位置不同：Null Space $N(A)$：在輸入空間 ${\mathbb{R}}^n$，$Ax=0$，刻畫了哪些輸入訊號會無效化。Left Null Space $N(A^T)$：在輸出空間 ${\mathbb{R}}^m$，$A^{T}y=0$ (或 $y^{T}A=0$)，刻畫了對輸出向量 $b$ 的限制條件。維度不同：$N(A)$ 維度為 $n-r$。$N(A^T)$ 維度為 $m-r$

為什麼需要 Regularization §

解決不可逆：當數據特徵多於樣本數，或特徵間高度相關時，$A^{T}A$ 可能不可逆（或接近奇異）。加上 $\lambda I$ (對角線加值) 強制增加特徵值大小，確保矩陣可逆且數值穩定。防止過擬合：限制參數大小，降低模型複雜度。

$Ax=b$ 有解的幾何意義是什麼？ §

關鍵回答：向量 $b$ 必須落在 $A$ 的 Column Space (行空間) 內。 補充：$Ax$ 本質上是在將 $A$ 的 Columns 做線性組合，如果 $b$ 組合不出來，就無解。

什麼是 Rank (秩)？ §

關鍵回答：矩陣中線性獨立的行向量（或列向量）的最大數量。 幾何意義：代表這個變換後的空間「實際維度」。如果 $3\times 3$ 矩陣 Rank=2，代表它把三維空間壓扁成一個平面。

什麼是奇異矩陣 (Singular Matrix)？ §

關鍵回答：不可逆的方陣。 判斷特徵：行列式為 0、Rank 不滿 (Rank < n)、必有特徵值為 0、Null Space 內有非零向量。

$Ax=0$ 只有零解 ($x=0$) 代表什麼？ §

關鍵回答：代表 $A$ 的行向量是線性獨立的 (Full Column Rank)。 幾何意義：沒有任何非零向量被這個矩陣「壓扁」或「殺死」到零點。Null Space 只有零向量。

特徵值 (Eigenvalue) 與特徵向量 (Eigenvector) 的幾何意義？ §

關鍵回答：矩陣作用在特徵向量上，只會發生伸縮 (Scaling)，不會旋轉。 物理意義：特徵向量是變換中的「主軸」方向，特徵值是該方向的能量或強度。

行列式 (Determinant) 的幾何意義？ §

關鍵回答：線性變換後的體積縮放倍率 (2D 是面積，3D 是體積)。 延伸：若 $\det (A)=0$，代表體積被壓縮為零（塌陷），資訊丟失，故不可逆。

實對稱矩陣 (Real Symmetric Matrix, $A=A^T$) 有哪三個重要性質？ §

關鍵回答：(1) 特徵值必為實數、(2) 特徵向量必互相正交、(3) 必可對角化。 應用：這保證了我們總能找到一組完美的正交座標系來描述系統 (如應力張量、慣性矩陣)。

相似矩陣 (Similar Matrices, $B=M^{-1}AM$) 有什麼是不變的？ §

關鍵回答：特徵值不變。 意義：它們代表同一個線性變換，只是站在不同的基底 (座標系) 去觀察而已。

正交矩陣 (Orthogonal Matrix, $Q$) 有什麼好處？ §

關鍵回答：$Q^T=Q^{-1}$ (轉置即反矩陣) 且保持向量長度與夾角不變。 意義：它代表剛體旋轉或鏡射，不會改變物體的形狀大小，計算反矩陣極快。

為什麼要做 SVD (奇異值分解)？跟特徵值分解有什麼不同？ §

關鍵回答：SVD 適用於任何形狀 ($m\times n$) 的矩陣，且分解出的基底保證是正交的。 幾何意義：任何線性變換都可以拆解為「旋轉 ($V^T$) $\to$ 沿軸伸縮 ($\Sigma$) $\to$ 再旋轉 ($U$)」。

最小平方法 (Least Squares) 的幾何意義是什麼？ §

關鍵回答：當 $Ax=b$ 無解時，尋找 $b$ 在 Column Space 上的投影點 $p$，使得誤差向量 $e=b-p$ 垂直於 Column Space。 公式直覺：$A^T(b-A\hat{x})=0$ (誤差垂直於 $A$ 的所有行向量)。

什麼是正定矩陣 (Positive Definite Matrix)？為什麼它很重要？ §

關鍵回答：對任意非零向量 $x$，都有 $x^{T}Ax>0$。 幾何/應用：圖形是開口向上的碗狀，代表系統有唯一的極小值。在優化理論和控制系統的穩定性分析 (Lyapunov) 中極為關鍵。

$Rank(A)$ 和 $Rank(A^{T}A)$ 有什麼關係？ §

關鍵回答：兩者相等。 延伸：$A^{T}A$ 和 $A$ 擁有相同的 Null Space。這在證明最小平方法的可解性時很重要。

條件數 (Condition Number) 過大代表什麼？ §

關鍵回答：矩陣接近奇異 (Ill-conditioned)。 後果：輸入的微小誤差會被放大，導致解 $x$ 劇烈震盪，數值計算不可信。

為什麼正交基底在計算上更穩定？ §

主成分分析與奇異值分解的關係？ §

旋轉矩陣的特徵值是什麼？ §

如何判斷一個變換是否保持面積/體積？ §

剪切 (Shear) 變換的特徵值是什麼？ §

如果加一行（或一列），Rank 最多增加多少？ §

什麼時候矩陣「不可對角化」？ §

Eigenvalue 為負代表什麼？ §

det 與 eigenvalue 的關係？ §

為什麼 Regularization 等於「抬高 eigenvalue」？ §

Pseudoinverse 在做什麼？ §

PCA 在做什麼？ §

找最大方差方向 = 最大 eigenvalue 的 eigenvector）

為什麼要做 normalization？ §

（避免特徵尺度影響、改善條件數）

overfitting 時為何加 λI\lambda I §

（縮小參數、改善 ill-conditioned）

SVD 比 eigendecomposition 好在哪？ §

（任意矩陣都能分解、更穩定）

(A+B)−1=A−1+B−1(A+B)^{-1} = A^{-1} + B^{-1} §

(A+B)−1=A−1+B−1 對嗎？ （錯！）

eigenvalue 都是正的，矩陣就正定？（不一定，還要對稱） §

AA §

A 和 ATA^T AT 的 eigenvalue 相同嗎？ （不一定，但特徵多項式相同）

兩個可逆矩陣相加還可逆嗎？（不一定，如 A+(−A)=0A + (-A) = 0 §

A+(−A)=0）

det=0 的幾何意義？（空間被壓扁、降維） §

eigenvalue=2 代表什麼？（沿該方向伸長 2 倍） §

正交矩陣保持什麼不變？（長度、夾角） §

矩陣 $A$ 與 $A^{T}A$ 的特徵值有什麼關係？ §

關鍵回答：不一定相同，但 $A^{T}A$ 的特徵值必為「非負實數」。 延伸：$A^{T}A$ 的非零特徵值等於 $A$ 的奇異值 (Singular Values) 的平方，即 $\lambda (A^{T}A)=\sigma (A{)}^2$。這連接了特徵值分解與 SVD。

為什麼 Regularization (正規化) 等於「抬高 Eigenvalue」？ §

關鍵回答：在 $A^{T}A$ 的對角線加上 $\lambda I$ (Ridge Regression)，相當於將所有特徵值都加上 $\lambda$。 幾何意義：這讓原本接近 0 的特徵值變大，遠離奇異點 (Singular)，修正了矩陣的條件數 (Condition Number)，讓數值解更穩定，並防止過擬合。

特徵值全為正，矩陣就是正定矩陣嗎？ §

關鍵回答：不一定。 解釋：標準定義下，正定矩陣通常假設為「對稱矩陣」。若矩陣不對稱，即使特徵值全為正，也不能保證 $x^{T}Ax>0$ 恆成立。但在面試中若無特別說明，通常預設討論的是對稱矩陣。

Trace (跡) 與特徵值有什麼關係？ §

關鍵回答：Trace 等於所有特徵值的總和 ($\text{tr}(A)=\sum {\lambda }_i$ )。 應用：這是一個快速檢查特徵值計算是否錯誤的好方法，且 Trace 是基底變換下的不變量。

Pseudo-inverse (虛擬反矩陣) 的幾何意義？ §

關鍵回答：當 $Ax=b$ 無解或有無限多解時，Pseudo-inverse $A^{+}$ 幫我們找到一個「最佳解」。 意義：在最小平方法中，它給出誤差最小的解；在無限多解中，它給出長度 (Norm) 最小的解。它是透過 SVD 計算出來的。

$Ax=b$ 有解的幾何意義是什麼？ §

關鍵回答：向量 $b$ 必須落在 $A$ 的 Column Space (行空間) 內。 補充：$Ax$ 本質上是在將 $A$ 的 Columns 做線性組合，如果 $b$ 組合不出來，就無解。

什麼是 Rank (秩)？ §

關鍵回答：矩陣中線性獨立的行向量（或列向量）的最大數量。 幾何意義：代表這個變換後的空間「實際維度」。如果 $3\times 3$ 矩陣 Rank=2，代表它把三維空間壓扁成一個平面。

什麼是奇異矩陣 (Singular Matrix)？ §

關鍵回答：不可逆的方陣。 判斷特徵：行列式為 0、Rank 不滿 (Rank < n)、必有特徵值為 0、Null Space 內有非零向量。

$Ax=0$ 只有零解 ($x=0$) 代表什麼？ §

關鍵回答：代表 $A$ 的行向量是線性獨立的 (Full Column Rank)。 幾何意義：沒有任何非零向量被這個矩陣「壓扁」或「殺死」到零點。Null Space 只有零向量。

特徵值 (Eigenvalue) 與特徵向量 (Eigenvector) 的幾何意義？ §

關鍵回答：矩陣作用在特徵向量上，只會發生伸縮 (Scaling)，不會旋轉。 物理意義：特徵向量是變換中的「主軸」方向，特徵值是該方向的能量或強度。

行列式 (Determinant) 的幾何意義？ §

關鍵回答：線性變換後的體積縮放倍率 (2D 是面積，3D 是體積)。 延伸：若 $\det (A)=0$，代表體積被壓縮為零（塌陷），資訊丟失，故不可逆。

實對稱矩陣 (Real Symmetric Matrix, $A=A^T$) 有哪三個重要性質？ §

關鍵回答：(1) 特徵值必為實數、(2) 特徵向量必互相正交、(3) 必可對角化。 應用：這保證了我們總能找到一組完美的正交座標系來描述系統 (如應力張量、慣性矩陣)。

相似矩陣 (Similar Matrices, $B=M^{-1}AM$) 有什麼是不變的？ §

關鍵回答：特徵值不變。 意義：它們代表同一個線性變換，只是站在不同的基底 (座標系) 去觀察而已。

正交矩陣 (Orthogonal Matrix, $Q$) 有什麼好處？ §

關鍵回答：$Q^T=Q^{-1}$ (轉置即反矩陣) 且保持向量長度與夾角不變。 意義：它代表剛體旋轉或鏡射，不會改變物體的形狀大小，計算反矩陣極快。

為什麼要做 SVD (奇異值分解)？跟特徵值分解有什麼不同？ §

關鍵回答：SVD 適用於任何形狀 ($m\times n$) 的矩陣，且分解出的基底保證是正交的。 幾何意義：任何線性變換都可以拆解為「旋轉 ($V^T$) $\to$ 沿軸伸縮 ($\Sigma$) $\to$ 再旋轉 ($U$)」。

最小平方法 (Least Squares) 的幾何意義是什麼？ §

關鍵回答：當 $Ax=b$ 無解時，尋找 $b$ 在 Column Space 上的投影點 $p$，使得誤差向量 $e=b-p$ 垂直於 Column Space。 公式直覺：$A^T(b-A\hat{x})=0$ (誤差垂直於 $A$ 的所有行向量)。

什麼是正定矩陣 (Positive Definite Matrix)？為什麼它很重要？ §

關鍵回答：對任意非零向量 $x$，都有 $x^{T}Ax>0$。 幾何/應用：圖形是開口向上的碗狀，代表系統有唯一的極小值。在優化理論和控制系統的穩定性分析 (Lyapunov) 中極為關鍵。

$Rank(A)$ 和 $Rank(A^{T}A)$ 有什麼關係？ §

關鍵回答：兩者相等。 延伸：$A^{T}A$ 和 $A$ 擁有相同的 Null Space。這在證明最小平方法的可解性時很重要。

條件數 (Condition Number) 過大代表什麼？ §

關鍵回答：矩陣接近奇異 (Ill-conditioned)。 後果：輸入的微小誤差會被放大，導致解 $x$ 劇烈震盪，數值計算不可信。