Ước lượng tham số

Ước lượng tham số

• Thiết lập phương trình hợp lý, giải ước lượng hợp lý cực đại (ML) cho trung bình và phương sai Gauss, và dùng tính chất bất biến.
• Đánh giá một ước lượng bằng độ chệch, phương sai tối thiểu không chệch (MVU), và tính nhất quán.
• Suy ra ba ước lượng Bayes — MMSE, MAVE, MAP — từ ba hàm chi phí khác nhau, và nhận ra khi nào ba ước lượng trùng nhau.
• Áp dụng bất đẳng thức Cramér–Rao để tìm cận dưới phương sai, và xác định khi nào một ước lượng đạt hiệu quả.
• Mở rộng sang nhiều tham số bằng ma trận thông tin Fisher, và thiết lập ước lượng tuyến tính không chệch tốt nhất (BLUE) và bình phương tối thiểu (LSE) khi mật độ xác suất không có sẵn.

Dùng nút, chấm tròn hoặc phím ← → để chuyển slide.

Từ "giả thuyết nào đúng" sang "tham số bằng bao nhiêu"

Ở chương 5, bộ thu nhận một phiên bản nhiễu của tín hiệu và quyết định giả thuyết nào đúng trong số M giả thuyết. Ở chương này, giả sử bộ thu đã quyết định đúng giả thuyết, nhưng một tham số gắn với tín hiệu có thể chưa biết. Mục tiêu là ước lượng tham số đó một cách tối ưu, dựa trên một số hữu hạn mẫu tín hiệu. Với K mẫu độc lập cùng phân phối Y_1,\ldots,Y_K có mật độ phụ thuộc tham số chưa biết \theta, ước lượng \hat\theta=g(Y_1,\ldots,Y_K) là một thống kê (hàm của dữ liệu) dùng để ước lượng \theta (Barkat, tr. 345 đến 346).

Tham số ngẫu nhiên hay không ngẫu nhiên: hai nhánh của chương

Tham số cần ước lượng có thể ngẫu nhiên hoặc không ngẫu nhiên. Ước lượng tham số ngẫu nhiên gọi là ước lượng Bayes (Bayes' estimation, phần 6.5); ước lượng tham số không ngẫu nhiên gọi là ước lượng hợp lý cực đại (maximum likelihood estimation, MLE, phần 6.2) (Barkat, tr. 345). Hai nhánh này chạy song song xuyên suốt chương: MLE không cần biết mật độ tiên nghiệm của \theta, còn ước lượng Bayes tận dụng mật độ đó khi có sẵn.

Hàm hợp lý và phương trình hợp lý

Với K mẫu độc lập cùng phân phối, hàm hợp lý là L(\theta)=f_{Y|\Theta}(y|\theta)=\prod_{k=1}^Kf_{Y_k|\Theta}(y_k|\theta). Giá trị \hat\theta cực đại hóa L(\theta) gọi là ước lượng hợp lý cực đại. Vì logarit tăng đơn điệu, cực đại L(\theta) tương đương cực đại \ln L(\theta), và điều kiện cần (không đủ) là giải phương trình hợp lý \partial\ln f_{Y|\Theta}(y|\theta)/\partial\theta=0 (Barkat, tr. 346). Số đo: với K=8 mẫu Gauss m=3, \sigma=2, quét \theta trên một lưới và tìm đỉnh hàm hợp lý bằng số cho \hat m = 2.3815, khớp công thức đóng \hat m=\frac1K\sum y_k = 2.3815.

Ví dụ 6.1(a): ML của trung bình Gauss

Với Y_k=m+N_k, N_k Gauss độc lập trung bình 0 phương sai \sigma^2, và m chưa biết: \ln f_{Y|M}(y|m)=\text{hằng}-\sum_{k=1}^K(y_k-m)^2/2\sigma^2. Giải \partial\ln f/\partial m=0 cho \sum_{k=1}^K(y_k-m)/\sigma^2=0, tức \hat m_{ml}=\frac1K\sum_{k=1}^Ky_k — trung bình mẫu (Barkat, tr. 347 đến 348). Số đo: với dữ liệu mẫu cụ thể, \hat m_{ml} = 2.3815, và đạo hàm số của \ln L tại điểm đó bằng 0.00e+00 (xấp xỉ 0), xác nhận đó là điểm dừng.

Ví dụ 6.1(b): ML của phương sai, dùng tính bất biến

Nếu m đã biết nhưng \sigma^2 chưa biết, cực đại \ln L(\sigma^2) tương đương cực tiểu g(\sigma^2)=K\ln\sigma+\sum_{k=1}^K(y_k-m)^2/2\sigma^2. Dùng tính chất bất biến, dễ hơn lấy đạo hàm theo \sigma thay vì \sigma^2: dg/d\sigma=0 cho \hat\sigma_{ml}=\sqrt{\frac1K\sum(y_k-m)^2}, và do đó \hat\sigma^2_{ml}=\frac1K\sum_{k=1}^K(y_k-m)^2 (Barkat, tr. 348). Số đo: với m đã biết đúng bằng giá trị thật, \hat\sigma^2_{ml} = 6.3152, so với giá trị thật \sigma^2 = 4.

Tại sao lại là bình phương tối thiểu ở dạng ẩn

Cực đại hàm hợp lý Gauss tương đương cực tiểu tổng bình phương sai lệch \sum_k(y_k-m)^2 — đây chính là nguyên lý bình phương tối thiểu (sẽ gặp lại tường minh ở phần 5 của module này, mục 6.9). Với mô hình Gauss, ML và bình phương tối thiểu trùng nhau; với mô hình khác (ví dụ Ví dụ 6.5 ở phần 3), hai nguyên lý có thể cho kết quả khác nhau. Số đo: quét trực tiếp \sum_k(y_k-m)^2 theo m và tìm điểm cực tiểu bằng số cho 2.3815, khớp \hat m_{ml} = 2.3815.

Tự kiểm tra phần 1

• Ước lượng ML \hat\theta là giá trị cực đại hóa đại lượng gì?
• Phương trình hợp lý \partial\ln f_{Y|\Theta}/\partial\theta=0 là điều kiện cần hay điều kiện đủ?
• Tính chất bất biến của ML nói điều gì về g(\hat\theta)?

Gợi ý: hàm hợp lý L(\theta) (hay \ln L(\theta)); chỉ là điều kiện cần, không đủ (có thể có nhiều điểm dừng); g(\hat\theta) là ML của g(\theta) khi g một-một.

Khi giả thuyết hợp thành gặp tham số chưa biết

Ở Ví dụ 5.9 (chương 5), bài toán kiểm định giả thuyết có một giả thuyết chứa tham số chưa biết, làm cho giả thuyết đó hợp thành. Nếu tham số đó không ngẫu nhiên, một cách xử lý thực dụng là thay tham số bằng ước lượng ML của nó ngay trong tỉ số khả dĩ, thay vì lấy trung bình theo một mật độ tiên nghiệm (như module 21 đã làm khi tham số ngẫu nhiên). Kiểm định thu được, dùng \hat\theta_{ml} thay cho \theta chưa biết trong \Lambda(y), gọi là kiểm định tỉ số khả dĩ tổng quát (generalized likelihood ratio test, GLRT) (Barkat, tr. 349 đến 351).

GLRT: thực dụng nhưng không còn tối ưu tuyệt đối

GLRT không cực tiểu rủi ro Bayes theo nghĩa chặt chẽ (không có mật độ tiên nghiệm để lấy trung bình), và không nhất thiết là kiểm định mạnh nhất đều (UMP đã gặp ở module 21) — nhưng nó thường cho hiệu năng tốt trong thực hành và là phương pháp phổ biến nhất khi tham số hợp thành không có mô hình xác suất tiên nghiệm hợp lý. Ý tưởng cốt lõi: ước lượng trước, kiểm định sau — dùng ước lượng tốt nhất có thể của tham số chưa biết, rồi tiến hành kiểm định như thể tham số đó đã biết (Barkat, tr. 349 đến 351).

Không chệch: giá trị kỳ vọng đúng bằng tham số thật

Vì \hat\theta là biến ngẫu nhiên (hàm của dữ liệu ngẫu nhiên), nó có thể nhận nhiều giá trị khác nhau qua các lần thử — cần các tiêu chuẩn để đánh giá \"độ tốt\" của nó. Tiêu chuẩn đầu tiên: \hat\theta không chệch (unbiased) nếu E[\hat\theta]=\theta với mọi \theta. Tổng quát hơn, viết E[\hat\theta]=\theta+b(\theta); nếu b(\theta) không phụ thuộc \theta (độ chệch đã biết, hằng số), có thể hiệu chỉnh \hat\theta-b để được ước lượng không chệch; nếu b(\theta) phụ thuộc \theta (độ chệch chưa biết), không thể hiệu chỉnh được vì \theta chính là ẩn số (Barkat, tr. 353 đến 354).

Không chệch chưa đủ: cần thêm phương sai nhỏ

Không chệch chỉ đảm bảo trung bình của ước lượng đúng; nếu phương sai lớn, các sai lệch cụ thể trong mỗi lần thử vẫn có thể rất lớn (hình 6.4 của sách). Tiêu chuẩn thứ hai là phương sai nhỏ. Ước lượng \hat\theta gọi là không chệch phương sai tối thiểu (minimum variance unbiased, MVU) nếu, trong số mọi ước lượng không chệch \theta' của \theta, \text{var}[\hat\theta]\le\text{var}[\theta'] với mọi \theta' — tức có phương sai nhỏ nhất trong lớp các ước lượng không chệch (Barkat, tr. 354).

Nhất quán: ước lượng cải thiện khi có thêm dữ liệu

Ước lượng \hat\theta (dựa trên K mẫu) gọi là nhất quán (consistent) nếu \lim_{K\to\infty}P(|\hat\theta-\theta|>\varepsilon)=0 với mọi \varepsilon>0 (Barkat, tr. 354). Kiểm tra trực tiếp định nghĩa này thường khó; một định lý tiện dụng hơn: nếu \hat\theta không chệch và \lim_{K\to\infty}\text{var}[\hat\theta]=0, thì \hat\theta nhất quán (Barkat, tr. 354 đến 355). Số đo: với \hat m_{ml}=\frac1K\sum y_k, phương sai \sigma^2/K giảm dần khi K tăng: tại K=4,16,64, phương sai số đo lần lượt là 1.0151, 0.2433, 0.0641, giảm đúng theo tỉ lệ 1/K.

Ví dụ 6.3: kiểm tra độ chệch của \hat m_{ml} và \hat\sigma^2_{ml}

Phần (a): E[\hat m_{ml}]=E[\frac1K\sum Y_k]=\frac1K\cdot Km=m, nên \hat m_{ml} không chệch. Phần (b), với m đã biết: E[\hat\sigma^2_{ml}]=E[\frac1K\sum(Y_k-m)^2]=\sigma^2, nên \hat\sigma^2_{ml} (khi m đã biết) cũng không chệch (Barkat, tr. 355 đến 356). Số đo: mô phỏng Monte Carlo 20\,000 lần với m=3, \sigma=2, K=8: trung bình của \hat m_{ml} qua các lần thử là 3.0086 (khớp m=3), và trung bình của \hat\sigma^2_{ml} (dùng m thật) là 4.0016 (khớp \sigma^2=4).

Cái bẫy: khi m cũng phải ước lượng, \hat\sigma^2_{ml} trở nên chệch

Kết quả không chệch của Ví dụ 6.3(b) chỉ đúng khi m đã biết chính xác. Trong thực tế thường phải ước lượng cả m lẫn \sigma^2 cùng lúc (sẽ gặp ở phần 4, Ví dụ 6.6): dùng \hat m_{ml} thay cho m thật trong công thức \hat\sigma^2_{ml}=\frac1K\sum(y_k-\hat m_{ml})^2 làm mất đi một \"bậc tự do\", khiến E[\hat\sigma^2_{ml}]=\frac{K-1}{K}\sigma^2 — chệch xuống dưới giá trị thật (đây chính là lý do quen thuộc vì sao ước lượng phương sai mẫu thường chia cho K-1 thay vì K để trở thành không chệch). Số đo: cùng mô phỏng Monte Carlo trên nhưng dùng \hat m_{ml} ước lượng từ chính mẫu thay vì m thật: trung bình của \hat\sigma^2_{ml} là 3.4997, so với dự đoán chệch \frac{K-1}{K}\sigma^2 = 3.5.

Tự kiểm tra phần 2

• Kiểm định tỉ số khả dĩ tổng quát (GLRT) thay tham số chưa biết bằng đại lượng gì?
• Một ước lượng không chệch nhưng phương sai lớn có phải luôn là ước lượng \"tốt\"?
• Vì sao \hat\sigma^2_{ml} trở nên chệch khi m cũng phải ước lượng?

Gợi ý: ước lượng hợp lý cực đại \hat\theta_{ml} của tham số đó; không, cần thêm phương sai nhỏ; vì dùng \hat m_{ml} thay m thật làm mất một bậc tự do.

Rủi ro Bayes cho một tham số ngẫu nhiên

Trong ước lượng Bayes, gán một chi phí C(\theta,\hat\theta) không âm cho mỗi cặp (\theta,\hat\theta), và cực tiểu rủi ro \Re=E[C(\theta,\hat\theta)]. Chỉ xét chi phí là hàm của sai số \tilde\theta=\theta-\hat\theta: (1) bình phương sai số C=(\theta-\hat\theta)^2; (2) giá trị tuyệt đối sai số C=|\theta-\hat\theta|; (3) hàm chi phí đồng nhất, bằng 0 nếu |\theta-\hat\theta|<\Delta/2 và bằng 1 nếu ngược lại (Barkat, tr. 355 đến 357).

MMSE: cực tiểu bình phương sai số cho ra trung bình có điều kiện

Với chi phí bình phương, cực tiểu rủi ro \Re_{ms} dẫn tới \hat\theta_{ms}=\int\theta f_{\Theta|Y}(\theta|y)\,d\theta=E[\theta|y] — ước lượng bình phương tối thiểu trung bình (MMSE) chính là trung bình có điều kiện của \theta cho Y (Barkat, tr. 357 đến 358). Rủi ro tối thiểu tương ứng chính là phương sai có điều kiện của \theta cho Y, lấy trung bình theo mọi giá trị Y: \Re_{ms}=E_Y[\text{var}(\theta|Y)].

MAVE: cực tiểu sai số tuyệt đối cho ra trung vị

Với chi phí giá trị tuyệt đối, cực tiểu rủi ro dẫn tới \int_{-\infty}^{\hat\theta_{abs}}f_{\Theta|Y}(\theta|y)\,d\theta=\int_{\hat\theta_{abs}}^{\infty}f_{\Theta|Y}(\theta|y)\,d\theta — nghĩa là \hat\theta_{abs}=\hat\theta_{mave} chính là trung vị của mật độ hậu nghiệm f_{\Theta|Y}(\theta|y) (Barkat, tr. 358 đến 359).

MAP: cực tiểu chi phí đồng nhất cho ra mốt (đỉnh mật độ)

Với chi phí đồng nhất, khi \Delta đủ nhỏ, cực tiểu rủi ro tương đương cực đại hóa xác suất P(\hat\theta-\Delta/2\le\Theta\le\hat\theta+\Delta/2|y), tức cực đại hóa chính mật độ hậu nghiệm f_{\Theta|Y}(\theta|y) tại \theta=\hat\theta. Đây là ước lượng xác suất hậu nghiệm cực đại (MAP), giải từ phương trình MAP \partial\ln f_{\Theta|Y}(\theta|y)/\partial\theta=0, hay tương đương (dùng quy tắc Bayes) \partial\ln f_{Y|\Theta}(y|\theta)/\partial\theta+\partial\ln f_\Theta(\theta)/\partial\theta=0 (Barkat, tr. 359 đến 361).

Ví dụ 6.4: tham số ngẫu nhiên Gauss, ba ước lượng trùng nhau

Với Y_k=M+N_k, M và N_k độc lập, cả hai Gauss trung bình 0 và cùng phương sai \sigma^2: mật độ hậu nghiệm f_{M|Y}(m|y) hóa ra vẫn Gauss, trung bình \frac1{K+1}\sum y_k, độ lệch chuẩn \sigma'=\sigma/\sqrt{K+1} (Barkat, tr. 360 đến 362). Vì Gauss đối xứng, trung bình = trung vị = mốt, nên \hat m_{ms}=\hat m_{map}=\hat m_{mave}=\frac1{K+1}\sum_{k=1}^Ky_k. Số đo: với K=5 và dữ liệu mẫu cụ thể, mật độ hậu nghiệm số (tích phân trực tiếp) cho trung bình có điều kiện 0.6059, khớp công thức đóng 0.6059.

Ví dụ 6.5: khi ba ước lượng thực sự khác nhau

Cho Y=X+N, với X chỉ nhận hai giá trị rời rạc \{0,1\} đồng xác suất, f_X(x)=\tfrac12\delta(x)+\tfrac12\delta(x-1), và N có mật độ Laplace f_N(n)=\tfrac12e^{-|n|}. Vì mật độ hậu nghiệm chỉ khác 0 tại x=0,1, ước lượng MAP đơn giản là chọn giá trị gần n=y hơn: \hat x_{map}=1 nếu n\ge1/2, ngược lại \hat x_{map}=0 (Barkat, tr. 362 đến 364). Trong khi đó \hat x_{ms}=e^{-n-1}/(e^{-n}+e^{-n-1}) hóa ra là một hằng số không phụ thuộc n — một kết quả đáng ngạc nhiên do cấu trúc đặc biệt của mật độ Laplace kết hợp hai xung Dirac.

Số đo: \hat x_{map} nhảy bậc, \hat x_{ms} luôn không đổi

Số đo: tại n=-1,0,0.5,1,2, \hat x_{map} lần lượt là 0,0,1,1,1 — nhảy bậc đúng tại n=0.5. Trong khi đó \hat x_{ms}=e^{-n-1}/(e^{-n}+e^{-n-1})=1/(1+e) tại mọi n, một hằng số bằng 0.2689 — hoàn toàn không phụ thuộc n, khác biệt rõ rệt so với hành vi nhảy bậc của MAP; số đo tại năm giá trị n khác nhau cho cùng giá trị 0.2689,0.2689,0.2689,0.2689,0.2689, xác nhận đúng là hằng số. Đây là minh chứng rõ ràng rằng lựa chọn hàm chi phí (và do đó tiêu chuẩn ước lượng) có thể ảnh hưởng lớn đến kết quả.

Tự kiểm tra phần 3

• Ước lượng MMSE \hat\theta_{ms} chính là đại lượng nào của mật độ hậu nghiệm?
• Ba ước lượng MMSE, MAVE, MAP trùng nhau khi nào?
• Trong Ví dụ 6.5, điều gì đáng ngạc nhiên về \hat x_{ms}?

Gợi ý: trung bình có điều kiện E[\theta|y]; khi mật độ hậu nghiệm đối xứng quanh đỉnh (như Gauss); nó không phụ thuộc quan sát n, luôn là hằng số 1/(1+e).

Khi phương sai chính xác khó tính: cần một cận dưới

Nếu tham số \theta không ngẫu nhiên (mật độ tiên nghiệm bằng 0 với mọi \theta), phương trình MAP (6.31) rút gọn về phương trình hợp lý (6.3) — nên ML có thể xem là trường hợp riêng của MAP. Để đánh giá \"độ tốt\" của một ước lượng không chệch trong trường hợp này, cần tính phương sai sai số, nhưng biểu thức chính xác thường rất khó tìm. Thay vào đó, người ta nghiên cứu một cận dưới của phương sai sai số, gọi là cận Cramér–Rao (Barkat, tr. 364 đến 365).

Định lý Cramér–Rao

Cho vector quan sát Y gồm K mẫu, và \hat\theta là ước lượng không chệch của \theta. Khi đó \text{var}[(\hat\theta-\theta)|\theta]\ge1/E[(\partial\ln f_{Y|\Theta}(y|\theta)/\partial\theta)^2], với E[(\partial\ln f_{Y|\Theta}/\partial\theta)^2]=-E[\partial^2\ln f_{Y|\Theta}/\partial\theta^2] (thông tin Fisher) (Barkat, tr. 365 đến 366).

Phác thảo chứng minh: bất đẳng thức Schwarz

Chứng minh xuất phát từ E[(\hat\theta-\theta)|\theta]=0 (do không chệch), lấy đạo hàm theo \theta, và dùng \partial f_{Y|\Theta}/\partial\theta=f_{Y|\Theta}\cdot\partial\ln f_{Y|\Theta}/\partial\theta để được \int(\hat\theta-\theta)f_{Y|\Theta}\cdot(\partial\ln f_{Y|\Theta}/\partial\theta)\,dy=1. Áp bất đẳng thức Schwarz [\int xy\,dt]^2\le\int x^2dt\int y^2dt với x=(\hat\theta-\theta)\sqrt{f_{Y|\Theta}} và y=(\partial\ln f_{Y|\Theta}/\partial\theta)\sqrt{f_{Y|\Theta}} cho ngay bất đẳng thức Cramér–Rao (Barkat, tr. 366 đến 367). Đẳng thức xảy ra khi và chỉ khi \partial\ln f_{Y|\Theta}/\partial\theta=c(\theta)[\hat\theta-\theta] — điều kiện hiệu quả.

Ước lượng hiệu quả: đạt đúng cận, và bằng ML

Ước lượng không chệch nào thỏa mãn đẳng thức trong bất đẳng thức Cramér–Rao gọi là hiệu quả (efficient). Nếu một ước lượng hiệu quả tồn tại, có thể chứng minh nó trùng với ước lượng ML — vì cả hai đều giải cùng một phương trình dừng \partial\ln f_{Y|\Theta}/\partial\theta=0 tại \hat\theta=\hat\theta_{ml} (Barkat, tr. 367 đến 368). Lưu ý: không phải mọi ước lượng ML đều hiệu quả — điều kiện đẳng thức Schwarz không phải lúc nào cũng thỏa mãn; nhưng khi nó thỏa mãn, ML chính là lựa chọn hiệu quả.

Ví dụ 6.6: ML đồng thời cho m và \sigma^2

Với Y_k=m+N_k, cả m lẫn \sigma^2 đều chưa biết: giải đồng thời \partial\ln f/\partial m=0 và \partial\ln f/\partial\sigma^2=0 cho \hat m_{ml}=\frac1K\sum y_k và \hat\sigma^2_{ml}=\frac1K\sum(y_k-\hat m_{ml})^2 (Barkat, tr. 368 đến 369) — khớp đúng nhận xét ở phần 2 rằng \hat\sigma^2_{ml} trở nên chệch khi m cũng ước lượng. \hat m_{ml} vẫn không chệch, vì E[\hat m_{ml}]=m không đổi bất kể \sigma^2 có biết hay không.

Số đo: \hat m_{ml} đạt đúng cận Cramér–Rao

Dùng điều kiện đẳng thức (6.50), \partial\ln f/\partial m=K(\bar y-m)/\sigma^2 có đúng dạng c(\theta)[\hat\theta-\theta] với c=K/\sigma^2 — nên \hat m_{ml} là ước lượng hiệu quả, và cận Cramér–Rao đạt được chính xác bằng \sigma^2/K (Barkat, tr. 369 đến 370). Số đo: mô phỏng Monte Carlo 50\,000 lần với \sigma=1.5, K=10: phương sai thực nghiệm của \hat m_{ml} là 0.2249, so với cận Cramér–Rao lý thuyết \sigma^2/K = 0.225 — khớp gần như tuyệt đối, xác nhận tính hiệu quả.

Tự kiểm tra phần 4

• Vì sao cần dùng cận Cramér–Rao thay vì tính trực tiếp phương sai sai số?
• Điều kiện đẳng thức trong bất đẳng thức Cramér–Rao là gì?
• Nếu một ước lượng hiệu quả tồn tại, nó trùng với ước lượng nào?

Gợi ý: vì phương sai chính xác thường rất khó tính; \partial\ln f_{Y|\Theta}/\partial\theta=c(\theta)[\hat\theta-\theta]; ước lượng hợp lý cực đại (ML).

Khi cần ước lượng nhiều tham số cùng lúc

Trong nhiều ứng dụng radar và truyền thông, cần ước lượng đồng thời nhiều tham số — ví dụ khoảng cách và vận tốc mục tiêu radar, hay biên độ, thời điểm đến, và tần số sóng mang của tín hiệu truyền thông. Với vector tham số \theta=[\theta_1\;\theta_2\;\cdots\;\theta_K]^T không ngẫu nhiên, phương trình hợp lý (6.3) trở thành một hệ K phương trình đồng thời \partial\ln f_{Y|\theta}/\partial\theta_i=0, i=1,\ldots,K, viết gọn bằng toán tử gradient \nabla_\theta[\ln f_{Y|\Theta}(y|\theta)]=0 (Barkat, tr. 371 đến 372).

Ma trận thông tin Fisher và cận Cramér–Rao ma trận

Cận Cramér–Rao mở rộng cho vector: nếu \hat\theta không chệch tuyệt đối, hiệp phương sai sai số bị chặn dưới bởi nghịch đảo ma trận thông tin Fisher J: E[(\theta-\hat\theta)(\theta-\hat\theta)^T|\theta]\ge J^{-1}, với phần tử J_{ij}=E[(\partial\ln f_{Y|\Theta}/\partial\theta_i)(\partial\ln f_{Y|\Theta}/\partial\theta_j)|\theta] (Barkat, tr. 373 đến 375). Phương sai của riêng \theta_i bị chặn dưới bởi phần tử đường chéo thứ i của J^{-1} — tổng quát hóa trực tiếp trường hợp một tham số ở phần 4.

Khi không biết mật độ: ước lượng tuyến tính không chệch tốt nhất (BLUE)

Trong nhiều bài toán thực tế, không biết hàm mật độ xác suất của dữ liệu, chỉ biết mô-men bậc một và bậc hai — khi đó không áp dụng được MMSE hay cận Cramér–Rao. Giải pháp thực dụng: giới hạn ước lượng ở dạng tuyến tính \hat\theta_{lms}=aY+b, và tìm a,b cực tiểu rủi ro bình phương trung bình. Giải hai phương trình đạo hàm bằng 0 cho a=(E[\theta Y]-E[\theta]E[Y])/(E[Y^2]-E^2[Y]) và b=E[\theta]-aE[Y] — biểu thức chỉ cần mô-men bậc một, hai (Barkat, tr. 378 đến 380).

Số đo: BLUE khớp cực tiểu tìm bằng lưới số

Số đo: mô phỏng \theta và Y tương quan tuyến tính có nhiễu (200\,000 mẫu), tính a,b theo công thức đóng ở trên, rồi so sánh rủi ro bình phương trung bình tại (a,b) đó với các điểm lân cận trên lưới \pm0.01. Số đo: (a,b) = (0.7508, 0.9472), rủi ro tại điểm đó là 1.0735, nhỏ hơn hoặc bằng rủi ro tại mọi điểm lân cận đã thử trên lưới (chênh lệch nhỏ nhất là 2.25e-04), xác nhận (a,b) đóng đúng là cực tiểu.

Bình phương tối thiểu: không cần thống kê nào

Khác với các phương pháp trên (vốn dựa trên một ước lượng không chệch phương sai tối thiểu), ước lượng bình phương tối thiểu (LSE) chỉ cực tiểu sai lệch bình phương giữa dữ liệu quan sát và mô hình tín hiệu giả định, không cần biết bất kỳ thống kê nào của nhiễu. Với mô hình tuyến tính Y=H\theta+N (H ma trận K\times M đã biết, K\ge M), cực tiểu J(\theta)=(Y-H\theta)^T(Y-H\theta) cho phương trình chuẩn tắc H^TH\theta=H^TY, và nghiệm \hat\theta_{ls}=(H^TH)^{-1}H^TY nếu H có hạng đầy đủ (Barkat, tr. 387 đến 389).

Số đo: nghiệm đóng khớp giải số trực tiếp

Số đo: với ma trận H ngẫu nhiên cỡ 6\times2 và \theta thật đã biết, sinh Y=H\theta+N với nhiễu Gauss nhỏ, rồi so sánh nghiệm đóng (H^TH)^{-1}H^TY với nghiệm bình phương tối thiểu giải trực tiếp bằng số (không dùng công thức đóng, chỉ tối ưu số). Hai thành phần của \hat\theta_{ls} theo công thức đóng là 1.3883,-1.7178, và theo giải số trực tiếp là 1.3883,-1.7178 — khớp nhau với sai khác 8.88e-16, xác nhận công thức đóng đúng.

Nhìn lại chương: một cây quyết định các phương pháp ước lượng

Toàn chương gợi ý một cây quyết định thực dụng: nếu tham số không ngẫu nhiên và biết mật độ, dùng ML (và kiểm tra hiệu quả qua Cramér–Rao); nếu tham số ngẫu nhiên và biết mật độ tiên nghiệm, dùng Bayes (MMSE nếu muốn phương sai nhỏ nhất, MAP nếu muốn đỉnh hậu nghiệm, MAVE nếu muốn trung vị bền với ngoại lai); nếu không biết mật độ nhưng biết mô-men bậc một, hai, dùng BLUE; nếu không có thông tin thống kê nào cả, chỉ có mô hình tuyến tính, dùng bình phương tối thiểu. Đây là bức tranh tổng thể nối liền chương 5 (quyết định) và chương 6 (ước lượng): cùng khung Bayes, khác ở đối tượng cần tìm — rời rạc (giả thuyết) hay liên tục (tham số).

Tự kiểm tra phần 5

• Cận Cramér–Rao dạng ma trận chặn dưới đại lượng nào?
• Ước lượng BLUE cần biết những thông tin gì về dữ liệu?
• Bình phương tối thiểu (LSE) khác các phương pháp trước ở điểm nào?

Gợi ý: hiệp phương sai sai số của ước lượng vector; chỉ mô-men bậc một và bậc hai, không cần mật độ xác suất; không cần biết thống kê nhiễu nào, chỉ cực tiểu sai lệch bình phương với mô hình tuyến tính.

Điều cần mang theo

• Ước lượng ML \hat\theta cực đại hóa hàm hợp lý L(\theta), giải từ phương trình hợp lý \partial\ln f_{Y|\Theta}/\partial\theta=0; tính bất biến cho phép đổi biến tiện lợi khi lấy đạo hàm.
• Một ước lượng tốt cần không chệch, phương sai nhỏ (lý tưởng: MVU), và nhất quán; \hat\sigma^2_{ml} trở nên chệch khi trung bình cũng phải ước lượng đồng thời.
• Ba hàm chi phí — bình phương, tuyệt đối, đồng nhất — cho ba ước lượng Bayes MMSE (E[\theta|y]), MAVE (trung vị), MAP (mốt); chúng trùng nhau khi mật độ hậu nghiệm đối xứng.
• Bất đẳng thức Cramér–Rao cho cận dưới phương sai sai số 1/E[(\partial\ln f_{Y|\Theta}/\partial\theta)^2]; một ước lượng đạt cận đúng gọi là hiệu quả, và trùng với ML.
• Không biết mật độ nhưng biết mô-men: dùng BLUE \hat\theta=aY+b; không có thống kê nào cả: dùng bình phương tối thiểu \hat\theta_{ls}=(H^TH)^{-1}H^TY từ mô hình tuyến tính Y=H\theta+N.