Lý thuyết quyết định thống kê

Lý thuyết quyết định thống kê

• Thiết lập kiểm định tỉ số khả dĩ từ tiêu chuẩn Bayes, tính ngưỡng \eta từ chi phí và xác suất tiên nghiệm, và nhận ra thống kê đủ.
• Mở rộng sang kiểm định M giả thuyết, suy ra tiêu chuẩn xác suất hậu nghiệm cực đại (MAP) khi chi phí là 0–1.
• Áp dụng tiêu chuẩn minimax khi không biết xác suất tiên nghiệm, và diễn giải đồ thị rủi ro Bayes tuyến tính theo P_1.
• Suy ra kiểm định Neyman–Pearson bằng nhân tử Lagrange, dựng đường cong ROC, và liên hệ độ dốc của ROC với ngưỡng \eta.
• Xử lý giả thuyết hợp thành khi tham số ngẫu nhiên hay không ngẫu nhiên, nhận biết kiểm định mạnh nhất đều (UMP), và thiết lập dò tìm tuần tự Wald.

Dùng nút, chấm tròn hoặc phím ← → để chuyển slide.

Bốn khả năng của một quyết định nhị phân

Mỗi khi đưa ra quyết định dựa trên một tiêu chuẩn nào đó cho bài toán kiểm định giả thuyết nhị phân này, có bốn trường hợp có thể xảy ra: quyết định H_0 khi H_0 đúng; quyết định H_0 khi H_1 đúng; quyết định H_1 khi H_0 đúng; quyết định H_1 khi H_1 đúng. Ở hai trường hợp đầu và cuối, người thu nhận đưa ra quyết định đúng, còn ở hai trường hợp giữa thì mắc sai lầm. Theo thuật ngữ radar, trường hợp thứ hai gọi là bỏ sót (miss), trường hợp thứ ba gọi là báo động giả (false alarm), và trường hợp thứ tư gọi là phát hiện (detection) (Barkat, tr. 289 đến 291).

Chi phí, rủi ro trung bình, và mục tiêu Bayes

Tiêu chuẩn Bayes cần hai giả định: biết xác suất tiên nghiệm P_0,P_1 của hai giả thuyết (với P_0+P_1=1), và mỗi quyết định D_i khi giả thuyết H_j đúng được gán một chi phí C_{ij}. Rủi ro trung bình (risk) \\Re=E[C] cần được cực tiểu hóa, với giả định hợp lý rằng chi phí quyết định sai lớn hơn chi phí quyết định đúng: C_{01}>C_{11} và C_{10}>C_{00} (Barkat, tr. 291). Số đo: với C_{00}{=}C_{11}{=}0, C_{01}{=}C_{10}{=}1, P_0{=}P_1{=}0.5 và các xác suất lỗi loại tính từ ví dụ Gauss dưới đây, rủi ro tính được bằng 0.1587, đúng bằng xác suất lỗi trung bình.

Kiểm định tỉ số khả dĩ và ngưỡng \eta

Viết lại rủi ro theo vùng quyết định Z_0, phần biến thiên duy nhất của tích phân là vùng Z_0; cực tiểu hóa rủi ro dẫn tới việc gán một điểm y vào Z_1 (quyết định H_1) khi P_1(C_{01}-C_{11})f_{Y|H_1}(y|H_1) > P_0(C_{10}-C_{00})f_{Y|H_0}(y|H_0), và ngược lại vào Z_0. Kiểm định này viết gọn bằng tỉ số khả dĩ \\Lambda(y)=f_{Y|H_1}(y|H_1)/f_{Y|H_0}(y|H_0) so với ngưỡng \\eta=P_0(C_{10}-C_{00})/[P_1(C_{01}-C_{11})] (Barkat, tr. 293 đến 295). Vì logarit tự nhiên tăng đơn điệu, kiểm định tương đương dùng \\ln\\Lambda(y) so với \\ln\\eta. Số đo: với các chi phí và xác suất tiên nghiệm ở trên, \\eta = 1.

Ví dụ 5.1: hằng số cộng nhiễu Gauss

Xét nguồn phát điện áp hằng m dưới H_1 và điện áp không dưới H_0, tín hiệu thu bị nhiễu Gauss trắng trung bình 0, phương sai \sigma^2 cộng vào: H_1{:}\,Y=m+N, H_0{:}\,Y=N. Kiểm định tỉ số khả dĩ đơn giản thành so sánh quan sát y với ngưỡng \gamma=(\sigma^2/m)\ln\eta+m/2 (Barkat, tr. 296 đến 297). Với m=2, \sigma=1, \eta=1 (xác suất tiên nghiệm bằng nhau), ngưỡng \gamma = 1. Xác suất báo động giả P_F=Q(\gamma/\sigma) = 0.1587, xác suất phát hiện P_D=Q((\gamma-m)/\sigma) = 0.8413, và xác suất bỏ sót P_M=1-P_D = 0.1587.

K mẫu độc lập: cộng lại rồi so ngưỡng

Nếu thu K mẫu độc lập Y_1,\ldots,Y_K của cùng bài toán, mật độ liên hợp là tích các mật độ từng mẫu, và kiểm định tỉ số khả dĩ rút gọn thành so sánh tổng \sum_{k=1}^K y_k với ngưỡng (\sigma^2/m)\ln\eta+Km/2 (Barkat, tr. 298 đến 299). Nghĩa là bộ thu chỉ cần cộng K mẫu lại rồi so với một ngưỡng duy nhất — không cần giữ lại từng mẫu riêng lẻ. Số đo: mô phỏng Monte Carlo với K=5 mẫu ngẫu nhiên dưới mỗi giả thuyết, tỉ lệ trường hợp mà quyết định dựa trên tổng \sum y_k khớp đúng quyết định dựa trên tỉ số khả dĩ đầy đủ là 1 trên tổng số lần thử.

Thống kê đủ: định nghĩa và ví dụ Bernoulli

Một thống kê là bất kỳ biến ngẫu nhiên nào tính được từ dữ liệu quan sát. Thống kê T được gọi là đủ nếu, khi biết T, mật độ có điều kiện của một thống kê khác T' không còn phụ thuộc vào tham số cần ước lượng hay kiểm định — nghĩa là T đã tóm gọn toàn bộ thông tin dữ liệu liên quan (Barkat, tr. 300). Với K mẫu Bernoulli tham số p độc lập, mật độ liên hợp f_Y(y,p)=p^{\sum y_k}(1-p)^{K-\sum y_k} chỉ phụ thuộc dữ liệu qua tổng \sum y_k; do đó T(Y)=\sum_{k=1}^KY_k là thống kê đủ cho p (Barkat, tr. 301). Số đo: với K=6 mẫu Bernoulli và p=0.4, kiểm tra bằng số cho ba dãy nhị phân khác nhau có cùng tổng (3) thì cho cùng giá trị mật độ liên hợp tương đối (sai khác 1.25e-16), xác nhận mật độ chỉ phụ thuộc tổng.

Khi phương sai khác nhau: thống kê đủ là tổng bình phương

Nếu f_{Y|H_0} và f_{Y|H_1} đều Gauss trung bình 0 nhưng phương sai khác nhau, \sigma_0^2<\sigma_1^2, kiểm định tỉ số khả dĩ dẫn đến T(Y)=Y^2 so với một ngưỡng \gamma; với K mẫu độc lập, thống kê đủ trở thành T(Y)=\sum_{k=1}^KY_k^2 (Barkat, tr. 301 đến 303). Đây là một ví dụ mà thống kê đủ không phải tổng đơn giản mà là tổng bình phương, khác hẳn trường hợp Ví dụ 5.1/5.2. Số đo: với \sigma_0^2=1, \sigma_1^2=4, ngưỡng \gamma=\dfrac{2\sigma_0^2\sigma_1^2}{\sigma_1^2-\sigma_0^2}\ln\eta tại \eta=1 cho 0 (bằng 0, vì \ln1=0); tại \eta=2, \gamma = 1.8484.

Tự kiểm tra phần 1

• Tại sao rủi ro Bayes \Re chỉ phụ thuộc vào cách chọn vùng Z_0, không phụ thuộc Z_1 trực tiếp?
• Ngưỡng \eta trong kiểm định tỉ số khả dĩ được xác định từ những đại lượng nào?
• Thống kê đủ tóm gọn điều gì về dữ liệu quan sát?

Gợi ý: vì Z_1=Z-Z_0 nên chỉ một vùng biến thiên độc lập; từ chi phí C_{ij} và xác suất tiên nghiệm P_0,P_1; toàn bộ thông tin dữ liệu liên quan tới quyết định hay tham số cần tìm.

Từ hai lên M giả thuyết

Với M giả thuyết H_0,\ldots,H_{M-1}, mỗi lần thử có thể có M^2 cặp (quyết định, giả thuyết đúng), mỗi cặp mang một chi phí C_{ij}. Không gian quan sát Z được chia thành M vùng con Z_0,\ldots,Z_{M-1} rời nhau, và rủi ro trung bình là tổng trên tất cả các cặp \Re=\sum_{i}\sum_j P_jC_{ij}\int_{Z_i}f_{Y|H_j}(y|H_j)\,dy (Barkat, tr. 303 đến 304). Cực tiểu hóa dẫn tới việc gán mỗi điểm y vào vùng Z_i có I_i(y)=\sum_{j\ne i}P_j(C_{ij}-C_{jj})f_{Y|H_j}(y|H_j) nhỏ nhất (Barkat, tr. 304 đến 305).

Chi phí 0–1: cực tiểu rủi ro thành cực đại hậu nghiệm

Trong các bài toán truyền thông, thường gán C_{ii}=0 (quyết định đúng không mất gì) và C_{ij}=1 với i\ne j (mọi quyết định sai đều mất như nhau). Khi đó cực tiểu rủi ro tương đương cực tiểu I_i(y)=[1-P(H_i|Y)]f_Y(y), tức tương đương cực đại xác suất hậu nghiệm P(H_i|Y) (Barkat, tr. 305). Bộ thu tính các xác suất hậu nghiệm P(H_i|Y), i=0,\ldots,M-1, và chọn giả thuyết có giá trị lớn nhất — đây gọi là bộ thu xác suất hậu nghiệm cực đại (MAP). Số đo: với ba giả thuyết Gauss trung bình 0,1,2 (phương sai 1, xác suất tiên nghiệm bằng nhau), tại quan sát y=1.5, ba xác suất hậu nghiệm là 0.1554, 0.4223, 0.4223, tổng bằng 1.

Ba giả thuyết: kiểm chứng MAP bằng rủi ro trực tiếp

Với M=3 và chi phí 0–1, thay vì tính hậu nghiệm ta có thể trực tiếp so sánh mật độ f_{Y|H_j}(y|H_j)P_j cho ba giả thuyết và chọn giá trị lớn nhất — hai cách phải cho cùng một quyết định vì P(H_i|Y)\propto f_{Y|H_i}(y|H_i)P_i (quy tắc Bayes). Số đo: quét y liên tục và so sánh quyết định từ quy tắc \"hậu nghiệm lớn nhất\" với quyết định từ quy tắc \"mật độ tiên nghiệm-có-điều-kiện lớn nhất\" trên 2001 điểm lưới; tỉ lệ khớp là 1.

Biên quyết định nằm ở điểm giữa hai đỉnh

Với ba Gauss đồng phương sai, đồng xác suất tiên nghiệm, trung bình 0,1,2, hai biên quyết định là các điểm mà hai mật độ liền kề bằng nhau — theo đối xứng, đó chính xác là điểm giữa hai trung bình, tức y=0.5 và y=1.5 (Barkat, tr. 307 đến 308, phần minh họa hình 5.6). Số đo: giải phương trình f_{Y|H_0}(y|H_0)=f_{Y|H_1}(y|H_1) bằng số cho nghiệm y = 0.5, và f_{Y|H_1}(y|H_1)=f_{Y|H_2}(y|H_2) cho nghiệm y = 1.5, khớp đúng dự đoán đối xứng.

Hai tỉ số khả dĩ đủ để mô tả kiểm định ba giả thuyết

Với M=3, chỉ có hai tỉ số khả dĩ độc lập, \Lambda_1(y)=f_{Y|H_1}/f_{Y|H_0} và \Lambda_2(y)=f_{Y|H_2}/f_{Y|H_0}, và không gian quyết định là mặt phẳng (\Lambda_1,\Lambda_2) hai chiều thay vì ba chiều (Barkat, tr. 308). Vùng Z_0, Z_1, Z_2 được xác định bằng so sánh từng cặp I_i(y) theo (5.51)–(5.52). Số đo: tại y=1.5 (biên lý thuyết giữa H_1 và H_2), \Lambda_1(1.5) = 2.7183 và \Lambda_2(1.5) = 2.7183; vì hai giả thuyết cạnh nhau có cùng f\cdot P tại biên, I_1(y)=I_2(y) tại đó với sai khác chỉ 1.00e-16.

Rủi ro của kiểm định MAP so với kiểm định lệch tâm

Vì kiểm định MAP cực tiểu hóa rủi ro (xác suất lỗi trung bình khi chi phí 0–1), bất kỳ lựa chọn biên quyết định nào khác — chẳng hạn dịch cả hai biên sang phải 0.3 — đều cho rủi ro lớn hơn hoặc bằng. Số đo: xác suất lỗi trung bình của kiểm định MAP đúng biên (y=0.5,1.5) là 0.4114; xác suất lỗi của kiểm định dịch biên (0.3) là 0.4217, lớn hơn kiểm định MAP một khoảng 0.0103, xác nhận MAP tối ưu.

Liên hệ với module ước lượng tham số

Tiêu chuẩn MAP ở đây chọn rời rạc trong M giả thuyết đã biết trước; trong chương tiếp theo về ước lượng tham số (module 22), một khái niệm rất gần — ước lượng MAP — sẽ chọn giá trị liên tục của một tham số \theta sao cho cực đại mật độ hậu nghiệm f_{\Theta|Y}(\theta|y), thay vì chọn giữa một số hữu hạn giả thuyết. Cả hai đều dựa trên cùng quy tắc Bayes để lật ngược f_{Y|\Theta} thành f_{\Theta|Y}, chỉ khác nhau ở miền giá trị rời rạc hay liên tục của \theta (Barkat, tr. 305, liên hệ với chương 6).

Tự kiểm tra phần 2

• Với chi phí 0–1, cực tiểu rủi ro tương đương cực đại đại lượng gì?
• Với M=3 giả thuyết, không gian quyết định có bao nhiêu chiều?
• Biên quyết định giữa hai Gauss đồng phương sai, đồng xác suất tiên nghiệm nằm ở đâu?

Gợi ý: xác suất hậu nghiệm P(H_i|Y); hai chiều (hai tỉ số khả dĩ độc lập); đúng điểm giữa hai trung bình.

Khi không có xác suất tiên nghiệm đáng tin

Tiêu chuẩn Bayes cần biết xác suất tiên nghiệm; trong nhiều tình huống, thông tin này không có sẵn. Một cách tiếp cận là chọn giá trị P_1 làm cho rủi ro lớn nhất, rồi cực tiểu hóa rủi ro đó — nguyên lý cực tiểu hóa chi phí trung bình lớn nhất theo P_1 đã chọn được gọi là tiêu chuẩn minimax (Barkat, tr. 313). Thay P_0=1-P_1 vào công thức rủi ro (5.15), rủi ro trở thành một hàm tuyến tính của P_1: \Re(P_1)=C_{00}(1-P_F)+C_{10}P_F+P_1[(C_{11}-C_{00})+(C_{01}-C_{11})P_M-(C_{10}-C_{00})P_F] (Barkat, tr. 313 đến 314).

Hai điểm cực đoan: P_1=0 và P_1=1

Nếu P_1=0, ngưỡng trở thành vô cùng và luôn quyết định H_0; khi đó P_F=0, P_M=1, và rủi ro rút gọn thành \Re=C_{00}. Nếu P_1=1, ngưỡng bằng 0 và luôn quyết định H_1; khi đó P_F=1, P_M=0, và rủi ro rút gọn thành \Re=C_{11} (Barkat, tr. 314 đến 315). Đồ thị rủi ro theo P_1 do đó là một đoạn thẳng nối (0,C_{00}) và (1,C_{11}) về mặt hình học của hai giá trị cực đoan, nhưng đường cong Bayes thực sự (ứng với P_1 tối ưu tại từng điểm) phải lõm xuống dưới đoạn thẳng đó. Số đo: với C_{00}=0, C_{11}=0 (chi phí 0–1), hai điểm cực đoan của \Re(P_1) đúng bằng 0 và 0.

Phương trình minimax và trường hợp chi phí 0–1

Lấy đạo hàm rủi ro theo P_1 và cho bằng 0 tại điểm tối ưu P_1^*, ta được phương trình minimax (C_{11}-C_{00})+(C_{01}-C_{11})P_M-(C_{10}-C_{00})P_F=0 (Barkat, tr. 315). Nếu chi phí quyết định đúng bằng 0 (C_{00}=C_{11}=0), phương trình rút gọn thành C_{01}P_M=C_{10}P_F; và nếu thêm chi phí quyết định sai bằng 1 (C_{01}=C_{10}=1), thì P_F=P_M — ngưỡng minimax chính là ngưỡng làm hai xác suất lỗi bằng nhau (Barkat, tr. 316). Số đo: với ví dụ Gauss m=2, \sigma=1, ngưỡng minimax \gamma^*=m/2 = 1; tại đó P_F = 0.1587 và P_M = 0.1587, khớp nhau với sai khác 0.00e+00.

Ví dụ 5.6: biết hay không biết P_0,P_1 cho cùng kết quả

Trong ví dụ nguồn hằng số cộng nhiễu Gauss, phần (a) giả sử P_0=P_1=1/2 đã biết, cho ngưỡng \gamma=m/2 và xác suất lỗi trung bình P(\varepsilon)=Q(m/2\sigma). Phần (b) giả sử P_0,P_1 hoàn toàn không biết, dùng minimax với điều kiện P_F=P_M: cũng cho ngưỡng \gamma^*=m/2 và cùng xác suất lỗi Q(m/2\sigma) (Barkat, tr. 315 đến 317). Đây là một kết quả đáng chú ý: với bài toán đối xứng này, không biết xác suất tiên nghiệm không hề làm giảm hiệu năng. Số đo: với m=2, \sigma=1, cả hai cách đều cho P(\varepsilon) = 0.1587, sai khác giữa hai cách chỉ 0.00e+00.

Minimax không phải lúc nào cũng "miễn phí"

Kết quả của Ví dụ 5.6 là đặc biệt nhờ tính đối xứng của bài toán (hai mật độ Gauss cùng phương sai, đối xứng qua điểm giữa). Nói chung, khi thiết kế kiểm định cho một giá trị P_1 cố định rồi áp dụng cho một P_1 thực tế khác, rủi ro thực tế sẽ lớn hơn rủi ro Bayes tối ưu tương ứng với P_1 thực đó — đó chính là lý do đường cong rủi ro Bayes phải lõm xuống dưới đoạn thẳng nối hai điểm cực đoan. Số đo: dùng ngưỡng thiết kế cho P_1=0.5 (tức \gamma=m/2=1) nhưng áp dụng khi P_1 thực tế là 0.8: rủi ro thực tế là 0.1587, lớn hơn rủi ro Bayes tối ưu cho P_1=0.8 là 0.1121.

Đọc đồ thị rủi ro theo P_1

Trên đồ thị \Re theo P_1 (hình 5.10 của sách), đường tiếp tuyến tại P_1^* nằm ngang vì đó là điểm cực đại của đường cong Bayes lõm — nghĩa là đạo hàm bằng 0 đúng tại điểm minimax. Rủi ro minimax \Re^*(P_1^*) chính là giá trị lớn nhất của rủi ro Bayes tối ưu trên toàn miền P_1\in[0,1] (Barkat, tr. 315). Số đo: quét P_1 từ 0 đến 1, tính rủi ro Bayes tối ưu (ngưỡng \gamma(P_1) tối ưu cho từng P_1) và tìm giá trị P_1 làm rủi ro đó lớn nhất; kết quả số quét được là P_1^* = 0.5, khớp với 0.5 dự đoán từ tính đối xứng của bài toán trong sai số lưới 0.

Tự kiểm tra phần 3

• Vì sao cần dùng minimax thay vì Bayes trong một số tình huống thực tế?
• Với chi phí 0–1, phương trình minimax rút gọn thành điều kiện gì?
• Trong ví dụ 5.6, vì sao không biết P_0,P_1 lại không làm giảm hiệu năng?

Gợi ý: khi không biết xác suất tiên nghiệm đáng tin cậy; P_F=P_M; vì bài toán đối xứng khiến ngưỡng tối ưu Bayes trùng ngưỡng minimax.

Khi chi phí và xác suất tiên nghiệm không thực tế

Trong nhiều tình huống vật lý, như dò tìm radar, rất khó gán chi phí và xác suất tiên nghiệm thực tế. Để khắc phục, tiêu chuẩn Neyman–Pearson dùng trực tiếp các xác suất có điều kiện P_F và P_D: cố định P_F=\alpha trong khi cực đại P_D (Barkat, tr. 317). Vì P_M=1-P_D, cực đại P_D tương đương cực tiểu P_M với ràng buộc P_F=\alpha; dùng phép tính cực trị có ràng buộc, ta lập hàm mục tiêu J=P_M+\lambda(P_F-\alpha) với \lambda\ge0 là nhân tử Lagrange (Barkat, tr. 317 đến 318).

Vẫn dẫn tới kiểm định tỉ số khả dĩ

Viết lại J theo vùng quyết định Z_0, ta có J=\lambda(1-\alpha)+\int_{Z_0}[f_{Y|H_1}(y|H_1)-\lambda f_{Y|H_0}(y|H_0)]\,dy; J được cực tiểu khi các điểm có f_{Y|H_1}>f_{Y|H_0} (hiệu âm) được gán cho Z_1. Điều này cho đúng kiểm định tỉ số khả dĩ \Lambda(y)\gtrless\lambda, với \lambda đóng vai trò ngưỡng \eta tương đương của tiêu chuẩn Bayes (Barkat, tr. 318 đến 319). Vậy tiêu chuẩn Neyman–Pearson và tiêu chuẩn Bayes dùng cùng một dạng kiểm định — chỉ khác cách xác định ngưỡng.

Ví dụ 5.7: hai mật độ khác dạng

Cho f_{Y|H_0}(y|H_0)=\dfrac{1}{2(1-e^{-1})}e^{-|y|} và f_{Y|H_1}(y|H_1)=\tfrac12 (đều trên [-1,1]), hai giả thuyết đồng xác suất. Kiểm định xác suất lỗi cực tiểu cho biên tại \pm0.459, tức quyết định H_1 khi 0.459\le|y|\le1 (Barkat, tr. 319 đến 320). Số đo: biên chính xác giải bằng số cho 0.4587, khớp giá trị 0.459 của sách; xác suất báo động giả tại biên này là P_F = 0.418 và xác suất bỏ sót P_M = 0.4587, cho xác suất lỗi trung bình P(\varepsilon) = 0.4383.

Cùng ví dụ, ngưỡng theo Neyman–Pearson với P_F=0.5

Nếu thay vì cực tiểu xác suất lỗi ta cố định P_F=0.5 (tiêu chuẩn Neyman–Pearson), ngưỡng thay đổi thành \gamma giải từ P_F=\int_{-1}^{-\gamma}f_{Y|H_0}\,dy+\int_{\gamma}^{1}f_{Y|H_0}\,dy=0.5, cho \gamma\approx0.38; xác suất phát hiện tương ứng là P_D=2[(1-\gamma)(1/2)]\approx0.62 (Barkat, tr. 320 đến 321). Số đo: giải số cho \gamma = 0.3799, và P_D = 0.6201, khớp các giá trị của sách.

Đường cong ROC: P_D theo P_F với ngưỡng làm tham số

Đường cong ROC vẽ P_D theo P_F khi ngưỡng biến thiên; nó chỉ phụ thuộc mật độ có điều kiện f_{Y|H_j}(y|H_j), không phụ thuộc chi phí hay xác suất tiên nghiệm (Barkat, tr. 321). Với ví dụ tổng K mẫu Gauss, thống kê đủ đã chuẩn hóa có tham số phát hiện d=\sqrt{K}\,m/\sigma (tỉ số tín hiệu-tạp âm), và P_F=Q(\ln\eta/d+d/2), P_D=Q(\ln\eta/d-d/2) (Barkat, tr. 321 đến 322). Số đo: với K=4, m=2, \sigma=1, tham số d = 4; tại \ln\eta=0, P_F = 0.0228 và P_D = 0.9772 — P_D vượt xa P_F, thể hiện d lớn cho phân biệt tốt.

Độ dốc của ROC là ngưỡng \eta

Lấy đạo hàm P_D và P_F theo ngưỡng \eta, có thể chứng minh dP_D/dP_F=\eta (Barkat, tr. 323 đến 325): độ dốc tiếp tuyến tại một điểm trên ROC chính là ngưỡng Neyman–Pearson cần dùng để đạt điểm (P_F,P_D) đó. Trong tiêu chuẩn Bayes, \eta được xác định từ chi phí và xác suất tiên nghiệm, nên (P_F,P_D) nằm tại điểm trên ROC có tiếp tuyến độ dốc \eta đó. Số đo: đạo hàm số dP_D/dP_F tại \ln\eta=0 (tức \eta=1) cho 1, khớp \eta=1; tại \ln\eta=1 (tức \eta=e\approx2.718), độ dốc số là 2.7183, khớp 2.7183.

Ví dụ 5.8: ROC của hai mật độ mũ

Với f_{Y|H_0}(y|H_0)=e^{-y} và f_{Y|H_1}(y|H_1)=\alpha e^{-\alpha y} (y\ge0, \alpha>1), tỉ số khả dĩ cho ngưỡng \gamma=\tfrac{1}{1-\alpha}\ln(\eta/\alpha), và P_D=1-e^{-\alpha\gamma}, P_F=1-e^{-\gamma} (Barkat, tr. 325 đến 326). Số đo: với \alpha=2 và \gamma=1, P_D = 0.8647, P_F = 0.6321; độ dốc lý thuyết tại điểm này, \eta=\alpha e^{-(\alpha-1)\gamma} (từ đạo hàm trực tiếp dP_D/dP_F), cho 0.7358, khớp độ dốc số dP_D/dP_F tính trực tiếp bằng 0.7358.

Tự kiểm tra phần 4

• Tiêu chuẩn Neyman–Pearson cố định đại lượng nào và cực đại đại lượng nào?
• Đường cong ROC phụ thuộc vào những gì, và không phụ thuộc vào những gì?
• Độ dốc của đường cong ROC tại một điểm bằng đại lượng nào?

Gợi ý: cố định P_F=\alpha, cực đại P_D; phụ thuộc mật độ có điều kiện, không phụ thuộc chi phí hay xác suất tiên nghiệm; ngưỡng \eta cần dùng để đạt điểm đó.

Giả thuyết hợp thành: khi tham số không biết đầy đủ

Trong các bài toán trước, tham số đặc trưng cho mỗi giả thuyết đều biết chính xác. Trong nhiều tình huống, tham số này không biết; khi đó giả thuyết được gọi là hợp thành (composite). Ví dụ, nếu H_1{:}\,Y=m+N với m không biết, thì H_1 là hợp thành trong khi H_0{:}\,Y=N vẫn đơn giản (Barkat, tr. 326 đến 327). Có hai trường hợp: tham số \Theta là biến ngẫu nhiên có mật độ đã biết, hoặc \theta là hằng số không biết nhưng không ngẫu nhiên.

Tham số ngẫu nhiên: lấy trung bình theo mật độ của nó

Nếu \Theta ngẫu nhiên với mật độ đã biết f_{\Theta|H_j}(\theta|H_j), tiêu chuẩn Bayes vẫn áp dụng được, chỉ cần lấy trung bình mật độ có điều kiện theo tham số: f_{Y|H_j}(y|H_j)=\int f_{Y|\Theta,H_j}(y|\theta,H_j)f_{\Theta|H_j}(\theta|H_j)\,d\theta (Barkat, tr. 327). Với M (viết hoa, để phân biệt giá trị hằng m) là Gauss trung bình 0, phương sai \sigma_m^2, mật độ biên f_{Y|H_1}(y|H_1) hóa ra vẫn là Gauss nhưng với phương sai hợp \sigma_m^2+\sigma^2 (Barkat, tr. 327 đến 329). Số đo: tích phân số của \int f_{Y|M,H_1}(y|m,H_1)f_M(m)\,dm tại y=1.3 cho 0.1507, khớp công thức đóng \dfrac{1}{\sqrt{2\pi(\sigma_m^2+\sigma^2)}}\exp\!\left(-\dfrac{y^2}{2(\sigma_m^2+\sigma^2)}\right) = 0.1507.

Tham số không ngẫu nhiên: kiểm định mạnh nhất đều (UMP)

Nếu \theta không phải biến ngẫu nhiên nhưng không biết, tiêu chuẩn Bayes không áp dụng được vì không có mật độ để lấy trung bình; thay vào đó dùng Neyman–Pearson, cực đại P_D với P_F cố định cho từng giá trị giả định của \theta. Đồ thị P_D theo \theta gọi là hàm công suất (power function). Một kiểm định cực đại P_D với mọi giá trị \theta có thể có, tức không phụ thuộc vào giá trị thật của \theta, được gọi là mạnh nhất đều (uniformly most powerful, UMP) (Barkat, tr. 329).

Ví dụ 5.11: khi tồn tại UMP, khi nào không

Với H_1{:}\,Y=m+N, m không biết nhưng biết là dương, kiểm định tỉ số khả dĩ rút gọn thành y\gtrless\gamma_1, với \gamma_1 giải từ P_F=\int_{\gamma_1}^\infty f_{Y|H_0}(y|H_0)\,dy — hoàn toàn không phụ thuộc giá trị m cụ thể. Vậy một kiểm định tốt nhất tồn tại độc lập với m, và UMP tồn tại (Barkat, tr. 330 đến 331). Nhưng nếu m có thể dương hoặc âm, kiểm định thiết kế cho m>0 khác kiểm định cho m<0 (bất đẳng thức đảo chiều), nên không tồn tại một kiểm định chung tối ưu cho mọi m — UMP không tồn tại trong trường hợp này (Barkat, tr. 331 đến 332). Số đo: với \sigma=1 và P_F=0.1, ngưỡng \gamma_1 giải bằng số cho 1.2816, không phụ thuộc giá trị m được thử (1 hay 3 đều cho cùng \gamma_1, sai khác 0).

Dò tìm tuần tự: quyết định sau từng quan sát

Ở phần trước, số quan sát K luôn cố định trước. Trong dò tìm tuần tự, sau mỗi quan sát, một trong ba quyết định được đưa ra: chọn H_1, chọn H_0, hoặc chưa đủ thông tin (lấy thêm một quan sát nữa). Kiểm định so sánh tỉ số khả dĩ tích lũy \Lambda(y_K)=\prod_{k=1}^K f_{Y_k|H_1}/f_{Y_k|H_0} với hai ngưỡng \eta_0<\eta_1: nếu \Lambda\ge\eta_1 chọn H_1; nếu \Lambda\le\eta_0 chọn H_0; nếu ở giữa, lấy thêm quan sát (Barkat, tr. 332 đến 333). Số quan sát K trở thành một biến ngẫu nhiên.

Số mẫu kỳ vọng: Ví dụ 5.12

Với bộ thu của Ví dụ 5.2 lấy mẫu tuần tự, \sigma^2=1, m=1, và mục tiêu P_F=\alpha=0.1=P_M=\beta, hai ngưỡng log là \ln\eta_1=\ln[(1-\beta)/\alpha] và \ln\eta_0=\ln[\beta/(1-\alpha)]; và số quan sát kỳ vọng dưới mỗi giả thuyết là E[K|H_j]=\dfrac{(1-\beta)\ln\eta_1+\beta\ln\eta_0}{E[L(y)|H_j]} hay công thức tương tự (Barkat, tr. 334 đến 337). Số đo: \ln\eta_1 = 2.1972, \ln\eta_0 = -2.1972; E[K|H_1] = 3.5156 và E[K|H_0] = 3.5156 — nghĩa là trung bình cần khoảng bốn mẫu để đạt hiệu năng P_F=P_M=0.1, thay vì một cỡ mẫu cố định lớn hơn nếu dùng kiểm định không tuần tự cùng hiệu năng.

Nhìn lại: một sợi dây xuyên suốt lý thuyết quyết định

Từ Bayes đến MAP, minimax, Neyman–Pearson, và dò tìm tuần tự, mọi tiêu chuẩn trong chương này đều quy về cùng một dạng kiểm định tỉ số khả dĩ \Lambda(y)\gtrless ngưỡng — chỉ khác nhau ở cách xác định ngưỡng đó: từ chi phí và xác suất tiên nghiệm (Bayes), từ điều kiện P_F=P_M (minimax với chi phí 0–1), từ ràng buộc P_F=\alpha cố định (Neyman–Pearson), hay từ hai ngưỡng thay đổi theo từng bước quan sát (tuần tự). Đây là bài học cốt lõi của chương: kiểm định tỉ số khả dĩ là cấu trúc chung, còn tiêu chuẩn chỉ quyết định ngưỡng.

Tự kiểm tra phần 5

• Giả thuyết hợp thành khác giả thuyết đơn giản ở điểm nào?
• Kiểm định mạnh nhất đều (UMP) có tính chất gì đặc biệt?
• Trong dò tìm tuần tự, biến ngẫu nhiên nào không cố định trước như kiểm định cỡ mẫu cố định?

Gợi ý: tham số đặc trưng cho giả thuyết không biết đầy đủ; cực đại P_D với mọi giá trị tham số thật có thể có; số quan sát K.

Điều cần mang theo

• Tiêu chuẩn Bayes cực tiểu rủi ro \Re=E[C] dẫn đến kiểm định tỉ số khả dĩ \Lambda(y)=f_{Y|H_1}/f_{Y|H_0}\gtrless\eta, với \eta xác định từ chi phí và xác suất tiên nghiệm.
• Với chi phí 0–1, cực tiểu rủi ro tương đương cực đại xác suất hậu nghiệm P(H_i|Y): tiêu chuẩn MAP, mở rộng tự nhiên sang M giả thuyết.
• Minimax chọn ngưỡng làm P_F=P_M khi không biết xác suất tiên nghiệm; Neyman–Pearson cố định P_F=\alpha và cực đại P_D, cho đường cong ROC với độ dốc dP_D/dP_F=\eta.
• Giả thuyết hợp thành: tham số ngẫu nhiên dùng Bayes sau khi lấy trung bình; tham số không ngẫu nhiên dùng Neyman–Pearson, và kiểm định độc lập tham số thật gọi là UMP.
• Dò tìm tuần tự Wald so tỉ số khả dĩ tích lũy với hai ngưỡng \eta_0,\eta_1; số mẫu K ngẫu nhiên, kỳ vọng nhỏ hơn kiểm định cỡ mẫu cố định cùng hiệu năng.