Bài toán Gauss tổng quát

Bài toán Gauss tổng quát

• Thiết lập bài toán Gauss tổng quát cho kiểm định nhị phân vector, và suy ra kiểm định tỉ số khả dĩ dưới dạng hiệu hai dạng toàn phương.
• Với hiệp phương sai bằng nhau, suy ra thống kê đủ tuyến tính T(y)=\Delta m^TC^{-1}y và tham số phát hiện d^2=\Delta m^TC^{-1}\Delta m.
• Chéo hóa ma trận hiệp phương sai không đường chéo bằng phép quay trực giao (bài toán trị riêng), rồi áp lại kiểm định trong hệ tọa độ mới.
• Với trung bình bằng nhau, suy ra bộ dò năng lượng T(y)=\sum y_k^2, nhận ra phân phối Chi bình phương, và tính P_D,P_F.
• Áp dụng cho giả thuyết đối xứng, dựng bộ dò năng lượng kép, và tính xác suất lỗi bằng tích phân số của hai mật độ Chi bình phương độc lập.

Dùng nút, chấm tròn hoặc phím ← → để chuyển slide.

Định nghĩa: khi nào một bài toán là "Gauss tổng quát"

Một bài toán kiểm định giả thuyết được gọi là bài toán Gauss tổng quát nếu mật độ có điều kiện f_{Y|H_j}(y|H_j) là hàm mật độ Gauss với mọi j; tương tự, một bài toán ước lượng là Gauss tổng quát nếu f_{Y|\Theta}(y|\theta) là Gauss với mọi \theta (Barkat, tr. 503 đến 504). Đây chính xác là khung đã dùng ngầm ở các ví dụ Gauss xuyên suốt chương 5 và 6 (module 21, 22) — giờ được tổng quát hóa đầy đủ cho quan sát vector nhiều chiều thay vì một hay vài mẫu vô hướng.

Quan sát vector: Y=X+N

Xét H_1{:}\,Y=X+N, H_0{:}\,Y=N, với Y,X,N là các vector K\times1. Mỗi giả thuyết đặc trưng bởi trung bình vector m_1=E[Y|H_1], m_0=E[Y|H_0], và ma trận hiệp phương sai C_1=E[(Y-m_1)(Y-m_1)^T|H_1], C_0=E[(Y-m_0)(Y-m_0)^T|H_0] (Barkat, tr. 503 đến 504). Mật độ Gauss nhiều chiều là f_{Y|H_j}(y|H_j)=\dfrac{1}{(2\pi)^{K/2}|C_j|^{1/2}}\exp\left[-\tfrac12(y-m_j)^TC_j^{-1}(y-m_j)\right].

Kiểm định tỉ số khả dĩ rút về hiệu hai dạng toàn phương

Thay mật độ Gauss vào tỉ số khả dĩ \Lambda(y) và lấy logarit, kiểm định tỉ số khả dĩ trở thành \tfrac12(y-m_0)^TC_0^{-1}(y-m_0)-\tfrac12(y-m_1)^TC_1^{-1}(y-m_1)\gtrless\gamma, với \gamma=\ln\eta+\tfrac12(\ln|C_1|-\ln|C_0|) (Barkat, tr. 504 đến 505). Đây là bước khởi đầu chung cho mọi bài toán Gauss tổng quát: kiểm định luôn là hiệu hai dạng toàn phương, và việc đánh giá tiếp tùy thuộc ràng buộc lên m_j,C_j.

Ba trường hợp chuẩn sẽ nghiên cứu

Đánh giá tiếp hiệu hai dạng toàn phương phụ thuộc ràng buộc: (1) đồng hiệp phương sai C_1=C_0=C (phần 2, 3) — kiểm định rút về thống kê đủ tuyến tính; (2) đồng trung bình m_1=m_0 (phần 4) — kiểm định rút về bộ dò năng lượng Chi bình phương; (3) giả thuyết đối xứng, đồng trung bình 0 nhưng hoán đổi vai trò tín hiệu-nhiễu giữa hai nửa vector (phần 5) — bộ dò năng lượng kép (Barkat, tr. 505 đến 506, 517 đến 528).

Liên hệ với chương 5: cùng một khung, nay là vector

Ví dụ 5.1, 5.2 (module 21) là trường hợp riêng của phần 2 dưới đây với K=1 hay các mẫu độc lập cùng phương sai: \hat m_{ml} và ngưỡng \gamma ở đó chính là hình chiếu một chiều của thống kê đủ tuyến tính T(y)=\Delta m^TC^{-1}y sẽ suy ra ở phần 2. Việc tổng quát hóa lên vector cho phép xử lý các bài toán radar/sonar thực tế nơi nhiều mẫu tương quan với nhau qua ma trận hiệp phương sai không phải bội của ma trận đơn vị.

Tự kiểm tra phần 1

• Một bài toán được gọi là \"Gauss tổng quát\" khi nào?
• Kiểm định tỉ số khả dĩ log của bài toán Gauss tổng quát rút về dạng nào?
• Ba trường hợp chuẩn được nghiên cứu trong chương này là gì?

Gợi ý: khi mật độ có điều kiện là Gauss với mọi giả thuyết/tham số; hiệu hai dạng toàn phương trong y; đồng hiệp phương sai, đồng trung bình, và đối xứng.

Khi C_1=C_0=C: các số hạng bậc hai triệt tiêu

Thay C_1=C_0=C vào kiểm định toàn phương và khai triển, các số hạng y^TC^{-1}y ở cả hai dạng toàn phương giống hệt nhau nên triệt tiêu lẫn nhau, chỉ còn lại số hạng tuyến tính trong y: (m_1^T-m_0^T)C^{-1}y\gtrless\gamma_1 (Barkat, tr. 505 đến 507). Đặt \Delta m=m_1-m_0, kiểm định trở thành T(y)=\Delta m^TC^{-1}y\gtrless\gamma_1 — thống kê đủ T(y) là một tích vô hướng, tuyến tính theo y.

T(y) là Gauss: chỉ cần trung bình và phương sai

T(Y) là tổ hợp tuyến tính của các biến Gauss Y_k, nên bản thân nó là biến ngẫu nhiên Gauss. Trung bình có điều kiện là E[T(Y)|H_j]=\Delta m^TC^{-1}m_j; phương sai là \text{var}[T(Y)|H_j]=\Delta m^TC^{-1}CC^{-1}\Delta m=\Delta m^TC^{-1}\Delta m — không phụ thuộc giả thuyết nào (Barkat, tr. 507). Vì T(Y) Gauss với phương sai giống nhau dưới cả hai giả thuyết, toàn bộ hiệu năng kiểm định (giống hệt khung ROC của module 21) chỉ phụ thuộc một con số duy nhất: tham số phát hiện.

Tham số phát hiện d^2=\Delta m^TC^{-1}\Delta m

Tổng quát hóa định nghĩa d đã gặp ở module 21, d^2\triangleq\{E[T|H_1]-E[T|H_0]\}^2/\text{var}[T|H_0]. Thay các biểu thức trên vào, tử số là (\Delta m^TC^{-1}\Delta m)^2 và mẫu số là \Delta m^TC^{-1}\Delta m, cho d^2=\Delta m^TC^{-1}\Delta m (Barkat, tr. 507 đến 508). d^2 đo mức phân biệt được của hai giả thuyết: hiệu năng kiểm định (đường cong ROC, xác suất lỗi) chỉ phụ thuộc d, không phụ thuộc chi tiết nào khác của m_j,C.

Trường hợp riêng: phương sai bằng nhau, đường chéo

Nếu C=\sigma^2I (các thành phần độc lập, cùng phương sai), C^{-1}=(1/\sigma^2)I, nên T(y)=\Delta m^Ty/\sigma^2 — chỉ là tích vô hướng giữa \Delta m và y, chia \sigma^2. Tham số phát hiện rút gọn thành d^2=|\Delta m|^2/\sigma^2, tức d=|\Delta m|/\sigma — khoảng cách Euclid giữa hai vector trung bình, chia độ lệch chuẩn chung (Barkat, tr. 508 đến 509, hình 9.1).

Số đo: d^2 và trung bình/phương sai của T(y) khớp mô phỏng

Số đo: với K=4, C=2I (đường chéo, phương sai bằng nhau \sigma^2=2), \Delta m=[1,2,-1,0.5]^T: d^2=|\Delta m|^2/\sigma^2 = 3.125, khớp công thức tổng quát \Delta m^TC^{-1}\Delta m = 3.125. Mô phỏng Monte Carlo 200\,000 mẫu dưới mỗi giả thuyết: trung bình T(Y) dưới H_0 là 0.0037 (lý thuyết 0) và dưới H_1 là 3.1225 (khớp \Delta m^TC^{-1}m_1); phương sai của T(Y) đo được dưới cả hai giả thuyết đều xấp xỉ 3.1206, khớp d^2 vì C^{-1}=I/\sigma^2 nên \text{var}=d^2 khi \Delta m^TC^{-1}\Delta m trùng chính d^2.

Số đo: xác suất lỗi tối thiểu theo Q(d/2), đúng khung module 21

Với xác suất tiên nghiệm bằng nhau và tiêu chuẩn xác suất lỗi tối thiểu, kết quả module 21 áp trực tiếp: P(\varepsilon)=Q(d/2). Số đo: với C không đường chéo (ma trận hiệp phương sai có tương quan chéo), d = 1.2536, và xác suất lỗi mô phỏng bằng Monte Carlo là 0.2654, khớp Q(d/2) = 0.2654 — xác nhận công thức d^2=\Delta m^TC^{-1}\Delta m đúng ngay cả khi C có tương quan chéo, không chỉ trường hợp đường chéo đơn giản.

Tự kiểm tra phần 2

• Vì sao các số hạng bậc hai trong y triệt tiêu khi C_1=C_0?
• Tham số phát hiện d^2 tổng quát bằng công thức nào?
• Với C=\\sigma^2I, d rút gọn thành đại lượng gì?

Gợi ý: vì cả hai dạng toàn phương dùng chung C^{-1} nên các số hạng y^TC^{-1}y giống hệt nhau; d^2=\Delta m^TC^{-1}\Delta m; d=|\Delta m|/\sigma.

Khi các thành phần tương quan: cần đổi hệ tọa độ

Nếu C không đường chéo, các thành phần Y_k không độc lập thống kê. Để tách chúng ra, cần tìm hệ tọa độ mới với các trục \{\Phi_k\} trực chuẩn sao cho các thành phần chiếu Y_k'=\Phi_k^TY độc lập — tức hiệp phương sai trong hệ mới là đường chéo: E[(Y_j'-m_j)(Y_k'-m_k)]=\lambda_k\delta_{jk} (Barkat, tr. 511 đến 512). Điều kiện này chỉ thỏa mãn khi \Phi_j^TC\Phi_k=\lambda_k\delta_{jk}, tức C\Phi_k=\lambda_k\Phi_k — bài toán trị riêng.

Ma trận modal và phép quay giữ chuẩn

Ghép các vector riêng trực chuẩn thành ma trận modal M=[\Phi_1\ \Phi_2\ \cdots\ \Phi_K]; vì C thực đối xứng, M^{-1}=M^T. Phép biến đổi tương tự cho M^TCM=\text{diag}(\lambda_1,\ldots,\lambda_K) (Barkat, tr. 512 đến 513). Vector trong hệ mới là y'=M^Ty (hay y=My'); vì M trực giao, đây là một phép quay thuần túy, nên chuẩn của y' bằng chuẩn của y trong hệ gốc — không mất thông tin, chỉ đổi cách nhìn.

Trong hệ tọa độ mới: áp lại đúng kết quả phần 2

Sau phép quay, hiệp phương sai \Lambda đường chéo với các phần tử \lambda_k (nói chung khác nhau); áp kết quả phương sai-khác-nhau của phần 2 (thay \sigma_k^2 bằng \lambda_k): thống kê đủ là T(y')=\sum_{k=1}^K\Delta m_k'y_k'/\lambda_k, và tham số phát hiện là d^2=\sum_{k=1}^K(\Delta m_k')^2/\lambda_k — cùng công thức d^2=\Delta m^TC^{-1}\Delta m, chỉ viết theo hệ tọa độ chéo hóa (Barkat, tr. 509 đến 511, áp dụng lại ở tr. 513 đến 514).

Số đo: chéo hóa một hiệp phương sai 2\times2 cụ thể

Số đo: với C=\begin{bmatrix}2&0.5\\0.5&1\end{bmatrix}, giải bài toán trị riêng cho \lambda_1 = 0.7929, \lambda_2 = 2.2071; kiểm tra trực chuẩn \Phi_1^T\Phi_2 = 0.00e+00 (gần 0) và \Phi_1^T\Phi_1 = 1 (bằng 1). Ma trận sau chéo hóa M^TCM có phần tử ngoài đường chéo lớn nhất là 2.04e-17 (gần 0), xác nhận chéo hóa thành công.

Số đo: d^2 tính trong hệ gốc và hệ chéo hóa khớp nhau

Số đo: với \Delta m=[1.5,\,1.0]^T và cùng C ở trên, tham số phát hiện tính trực tiếp \Delta m^TC^{-1}\Delta m trong hệ gốc là 1.5714; tính bằng \sum_k(\Delta m_k')^2/\lambda_k sau khi quay sang hệ chéo hóa là 1.5714 — khớp nhau chính xác, xác nhận d^2 là bất biến dưới phép quay, đúng như lý thuyết dự đoán (Barkat, tr. 513 đến 514).

Tự kiểm tra phần 3

• Việc chéo hóa C tương ứng với bài toán toán học nào?
• Phép biến đổi y'=M^Ty có tính chất gì đặc biệt khi M trực giao?
• Tham số phát hiện d^2 có thay đổi khi tính trong hệ tọa độ chéo hóa thay vì hệ gốc không?

Gợi ý: bài toán trị riêng C\Phi=\lambda\Phi; nó là phép quay, giữ nguyên chuẩn vector; không, d^2 bất biến dưới phép quay.

Khi m_1=m_0: kiểm định chỉ còn số hạng bậc hai

Đặt m_1=m_0=m (không mất tổng quát, chọn m=0 vì m không ảnh hưởng quyết định), kiểm định toàn phương rút về T(y)=y^T(C_0^{-1}-C_1^{-1})y\gtrless\gamma_2 (Barkat, tr. 517 đến 519). Ứng với bài toán vật lý H_1{:}\,Y_k=S_k+N_k, H_0{:}\,Y_k=N_k — chỉ có nhiễu dưới H_0, có cả tín hiệu lẫn nhiễu dưới H_1, với tín hiệu và nhiễu độc lập.

Thành phần tín hiệu độc lập, phương sai bằng nhau: rút về năng lượng

Nếu nhiễu trắng (C_n=\sigma_n^2I=C_0) và các thành phần tín hiệu độc lập, cùng phương sai (C_s=\sigma_s^2I), thì C_1=C_s+C_n=(\sigma_s^2+\sigma_n^2)I. Thay vào kiểm định, các hệ số vô hướng gộp vào ngưỡng, để lại thống kê đủ đơn giản đến bất ngờ: T(y)=\sum_{k=1}^Ky_k^2 — tổng bình phương các quan sát, tức năng lượng của vector quan sát (Barkat, tr. 519 đến 520).

T(Y) tuân theo phân phối Chi bình phương

Vì Y_k độc lập, cùng phân phối Gauss, mỗi Y_k^2 có phân phối Gamma với \alpha=1/2, \beta=2\sigma^2; tổng K biến độc lập cùng dạng có hàm đặc trưng nhân lại, cho T(Y)=\sum Y_k^2 có phân phối Gamma với \alpha=K/2 — chính là phân phối Chi bình phương K bậc tự do, tỉ lệ theo \sigma^2 (Barkat, tr. 520 đến 522). Phương sai \sigma^2 là \sigma_n^2 dưới H_0 và \sigma_s^2+\sigma_n^2 dưới H_1.

P_D, P_F từ hai mật độ Chi bình phương

Với f_{T|H_j}(t|H_j) là mật độ Chi bình phương K bậc tự do tỉ lệ theo \sigma_j^2 (\sigma_0^2=\sigma_n^2, \sigma_1^2=\sigma_s^2+\sigma_n^2), P_F=\int_{\gamma_3}^\infty f_{T|H_0}(t|H_0)\,dt và P_D=\int_{\gamma_3}^\infty f_{T|H_1}(t|H_1)\,dt (Barkat, tr. 521 đến 522). Đây chính là hàm sống sót (survival function) của phân phối Chi bình phương đã tỉ lệ — tính được trực tiếp bằng các gói thống kê chuẩn, không cần tích phân tay.

Số đo: P_D,P_F lý thuyết khớp mô phỏng

Số đo: với K=6, \sigma_n^2=1, \sigma_s^2=3, ngưỡng \gamma_3=8: P_F lý thuyết (hàm sống sót Chi bình phương) = 0.2381, mô phỏng Monte Carlo 300\,000 lần là 0.2366; P_D lý thuyết = 0.9197, mô phỏng là 0.9196 — khớp nhau trong sai số thống kê, xác nhận công thức Chi bình phương.

Tự kiểm tra phần 4

• Khi m_1=m_0, số hạng nào trong kiểm định toàn phương triệt tiêu?
• Với tín hiệu độc lập cùng phương sai, nhiễu trắng, thống kê đủ rút gọn thành đại lượng gì?
• T(Y)=\\sum_ky_k^2 tuân theo phân phối nào?

Gợi ý: số hạng tuyến tính trong y; năng lượng \sum_ky_k^2; Chi bình phương K bậc tự do, tỉ lệ theo phương sai.

Cấu trúc giả thuyết đối xứng

Xét bài toán 2K chiều: H_1{:}\,Y_k=S_k+N_k (k\le K), Y_k=N_k (k>K); H_0{:}\,Y_k=N_k (k\le K), Y_k=S_k+N_k (k>K) — tín hiệu xuất hiện ở nửa đầu dưới H_1 nhưng ở nửa sau dưới H_0 (Barkat, tr. 524 đến 525). Với m_1=m_0=0 và nhiễu trắng C_n=\sigma_n^2I, ma trận hiệp phương sai khối là C_1=\text{diag}(C_s+\sigma_n^2I,\ \sigma_n^2I), C_0=\text{diag}(\sigma_n^2I,\ C_s+\sigma_n^2I) — chỉ hoán đổi hai khối cho nhau.

Kiểm định rút gọn: hiệu hai năng lượng nửa vector

Với tín hiệu độc lập, cùng phương sai \sigma_s^2 mỗi thành phần, thay các khối vào kiểm định toàn phương chung và rút gọn (dùng đúng kỹ thuật phần 4 cho từng khối), ta được T(y)=\sum_{k=1}^Ky_k^2-\sum_{k=K+1}^{2K}y_k^2\gtrless\gamma_3 (Barkat, tr. 526 đến 527) — so sánh trực tiếp năng lượng nửa đầu với năng lượng nửa sau. Với xác suất tiên nghiệm bằng nhau và tiêu chuẩn xác suất lỗi tối thiểu, ngưỡng \gamma_3=0 (vì |C_1|=|C_0| do đối xứng), nên kiểm định đơn giản còn lại là: nửa nào có năng lượng lớn hơn thì mang tín hiệu.

Xác suất lỗi: hai biến Chi bình phương độc lập

Đặt T_1=\sum_{k=1}^Ky_k^2, T_0=\sum_{k=K+1}^{2K}y_k^2 — hai biến độc lập, mỗi biến Chi bình phương K bậc tự do tỉ lệ theo phương sai riêng của nửa vector đó. Vì bài toán đối xứng, P(\varepsilon|H_0)=P(\varepsilon|H_1), nên P(\varepsilon)=P(T_1>T_0\,|\,H_0) (Barkat, tr. 527 đến 528, hình 9.3). Đây tính được trực tiếp bằng tích phân số của hai mật độ Chi bình phương độc lập, không cần một công thức tổ hợp đóng.

Số đo: xác suất lỗi khớp cả tích phân số lẫn mô phỏng

Số đo: với K=4, \sigma_n^2=1, \sigma_s^2=2 (nên \sigma_1^2=\sigma_s^2+\sigma_n^2=3 cho nửa mang tín hiệu, \sigma_n^2=1 cho nửa chỉ nhiễu): tích phân số của P(T_1>T_0|H_0) (dùng hai mật độ Chi bình phương đã tỉ lệ độc lập) cho P(\varepsilon) = 0.1562; mô phỏng Monte Carlo 400\,000 lần trực tiếp trên định nghĩa gốc cho 0.1554 — khớp nhau chặt chẽ, xác nhận cả tích phân số lẫn định nghĩa mô phỏng cho cùng kết quả.

Nhìn lại: một họ công thức, ba ràng buộc

Cả năm bài toán trong chương — từ Ví dụ 5.1/5.2 (module 21) tới bộ dò năng lượng kép — đều xuất phát từ đúng một kiểm định toàn phương \tfrac12(y-m_0)^TC_0^{-1}(y-m_0)-\tfrac12(y-m_1)^TC_1^{-1}(y-m_1)\gtrless\gamma. Ràng buộc C_1=C_0 cho thống kê tuyến tính; ràng buộc m_1=m_0 cho thống kê bậc hai (năng lượng); ràng buộc đối xứng cho hiệu hai năng lượng. Đây là bài học cốt lõi: cùng một khung Gauss tổng quát, khác nhau chỉ ở ràng buộc áp lên (m_j,C_j).

Tự kiểm tra phần 5

• Trong giả thuyết đối xứng, tín hiệu xuất hiện ở nửa nào của vector dưới mỗi giả thuyết?
• Kiểm định năng lượng kép so sánh trực tiếp đại lượng nào?
• Xác suất lỗi P(\\varepsilon) trong phần này được tính bằng cách nào, thay vì dùng công thức tổ hợp đóng?

Gợi ý: nửa đầu dưới H_1, nửa sau dưới H_0 (hoán đổi); năng lượng nửa đầu so với năng lượng nửa sau; tích phân số của hai mật độ Chi bình phương độc lập.

Điều cần mang theo

• Bài toán Gauss tổng quát: mật độ có điều kiện Gauss với mọi giả thuyết; kiểm định tỉ số khả dĩ log luôn rút về hiệu hai dạng toàn phương \tfrac12(y-m_0)^TC_0^{-1}(y-m_0)-\tfrac12(y-m_1)^TC_1^{-1}(y-m_1).
• Đồng hiệp phương sai (C_1=C_0=C): kiểm định tuyến tính hóa, T(y)=\Delta m^TC^{-1}y, và toàn bộ hiệu năng phụ thuộc một số duy nhất d^2=\Delta m^TC^{-1}\Delta m.
• Hiệp phương sai không đường chéo: chéo hóa bằng bài toán trị riêng C\Phi=\lambda\Phi, phép quay y'=M^Ty giữ nguyên d^2; sau đó áp lại đúng công thức phần 2.
• Đồng trung bình (m_1=m_0): kiểm định rút về bộ dò năng lượng T(y)=\sum y_k^2, tuân theo phân phối Chi bình phương K bậc tự do, cho công thức đóng cho P_D,P_F.
• Giả thuyết đối xứng: bộ dò năng lượng kép so sánh trực tiếp năng lượng hai nửa vector; xác suất lỗi tính bằng tích phân số của hai mật độ Chi bình phương độc lập.