樣本共變異數矩陣的收縮，理論
共變異數矩陣收縮論文背後是否有任何理論，為什麼它有效？
我說的是這個統計交換執行緒
是的。它來自靜力學的核心定理，斯坦因引理。它一問世就動搖了統計領域的基礎。它顛覆了查看數理統計的整個方式。儘管它源於羅賓斯在貝氏估計中的批判性工作，但斯坦因的工作確實是現在人們所記得的。
統計學有三所小學，頻率學派、貝氏學派和概似學派。就實際的日常使用而言，可能性主義者可能是一所小學校，有時會在大聯盟中脫穎而出。像魯道夫卡爾納普（Rudolf Carnap）那樣對機率有一些次要的解釋，並且仍然存在稱為基準統計的次要統計流派。
這些不同的學校中的每一個實際上都解決了不同的問題。互換使用它們是錯誤的，但人們會這樣做。
1930 年代到 1950 年代充滿了機率和統計學的基礎工作。其他重要發現之一，也給統計領域帶來了衝擊波，是所有貝氏統計都是可接受的統計，只有那些在每次採樣時都相同或在極限匹配的頻率統計量是可接受的。
有很多方法可以談論可接納性，但最簡單的方法是注意它與帕累托最優的相似性。如果一個統計量不能被另一個統計量隨機支配，則該統計量是可接受的。
在 1950 年代統計的簡單世界中，工作主要針對頻率統計，但也針對基於概似的統計，例如貝氏工具或最大概似法。Lehman 和 Hodges 表明，貝氏統計和基於抽樣的統計之間存在聯繫，例如最大概似估計 (MLE) 或最小變異數無偏估計 (MVUE)。
如果非貝氏估計量是廣義貝氏規則，則它是可接受的。一個統計量是貝氏，一個特定類型的效用函式的頻率術語，如果它做兩件事的話。貝氏統計最小化平均損失，這是一個標量，因此它允許對可能的統計進行總排序。一般來說，頻率統計最小化最大風險，這是一個函式，因此不能保證總排序。您可能會強加不同的標準。廣義貝氏規則同時執行並映射到隱式先驗分佈，使得貝氏答案和頻率派答案產生相同的結果。
這是一種曲折的說法，在某些基本情況下，除了用於解釋目的之外，您使用哪種思想流派並不重要。如果您的唯一目標是數值估計，那麼只要您使用廣義貝氏規則，您如何解決問題並不重要。
在打孔卡計算的世界中，這就像說您可以拋棄貝氏統計數據一樣。現代電腦很難計算出貝氏答案。通常很容易計算 MVUE。
一切都在順利進行，直到出現兩種類型的發現。最大的一個是斯坦引理。Stein 的引理不僅直面頻率論統計，它還揭示了貝氏方法中的問題。當使用平面先驗時，貝氏方法可以使分母中的積分發散。這與說機率之和不加為一是一樣的。
第二個是，如果確實存在真實的先驗資訊，那麼非貝氏估計量是不可接受的。這導致在頻率學派方面創建了元分析方法。貝氏研究人員有一個簡單的（或瘋狂的，取決於你問誰）方法將先前研究的結果直接納入他們的計算中。事實上，理論上他們有義務在他們的統計計算中包含先前的發現，基本上就像他們在自己的實驗中觀察到的數據一樣。
查看所有頻率收縮估計量的一種方法是作為使用適當先驗分佈的貝氏方法的限制形式。困難在於不能有一個規範的收縮估計量，因為有無限數量的適當的先驗分佈。
假設您以前從未使用過貝氏方法，請了解它包含三個部分。第一部分稱為先驗分佈。在實際查看數據之前，它包含有關參數的所有資訊。第二個稱為可能性。它包含了在所有可能的數據解釋下準確看到數據的非標準化可能性。第三部分，分母，既可以被認為是概似函式的主觀期望值，也可以被認為是數據的邊際機率。
在這裡你要關心的是先驗。您將可能性乘以先驗。已知變異數的正態分佈的最大概似方法的先驗是均勻分佈。
在查看數據之前，總體均值的每個可能值都是等機率的。你還沒有看到數據。對於最大概似法，它就像將得到的正態分佈乘以 1。所有的資訊都來自可能性。
貝氏可能不會這樣做。例如，假設您正在計算一種新的綠豆品種的卡路里數量。
你知道負卡路里不存在，所以你在那裡應用零之前的重量。您還知道它與兩個不同的品種密切相關。您非常了解它們的卡路里估算值。您相信您的卡路里計數將接近兩個品種的卡路里計數。因此，您在為這兩個品種估計的區域中給予非常高的先驗權重，並將該區域之外的機率降低到接近零。
其效果是通過對可能區域賦予很大權重而在不可能區域中賦予幾乎零權重而在不可能區域中不賦予權重，例如 -5 kcal，從而極大地縮小了可能的位置。
這就是收縮估計器正在做的事情。對於任何頻率收縮估計量，您都可以找到貝氏概似性和產生它的適當先驗。將通過對該後驗分佈應用損失或效用函式來提取統計數據。
當然，Frequentist 統計沒有先驗分佈，因此您會得到一些經常起作用的東西，例如加權方案或將估計匯總在一起的機制。
應該注意的是，測量不必與相關事物有關。
因此，例如，Stein 的原始估計器等效於採用一組事物的總平均值進行估計，並將其用作經驗先驗分佈來估計感興趣的總體均值的個體向量。
由於共變異數只是一種期望，因此您正在做同樣的事情，但在共變異數領域。
一種思考方式是，您從總體均值中提取的資訊比單獨樣本均值中的資訊要多。然而，這會產生一些奇怪的智力問題。
想像一下，您正在估算香港在某些分級限制下的鑽石價格，在特定時間和日期在特定地點交割的豬肉期貨價格，黃金期貨價格，以及三年級男孩和女孩的身高在印第安納州的曼西。
斯坦因引理說，估計的事物不必與您相關以提高您的估計。任何真正的隨機事物都可以。這適用於任何級別的估計，而不僅僅是平均值。如果您也對協變數感興趣，它也適用於協變數。
從某種意義上說，收縮估計器使用數據對總體均值的大致位置進行第一次猜測。如果這是真的，收縮估計器將收縮很多，如果第一次不正確，收縮估計器會收縮得很少。
這將我們帶到了最大概似估計量。它們對於數據的單調變換是不變的。如果樣本均值是 8，並且您取數據的對數基數 2，那麼樣本均值將為 3。對於 MVUE 或貝氏方法，情況並非如此。
收縮估計量不是不變的。如果您記錄數據，那麼您將更改估算器。
同樣，它們也不是無偏見的，因此您包含可以添加資訊的原則性偏見，但您是有偏見的。
與可接受性的聯繫是收縮估計量也將隨機支配正常的非貝氏估計量。收縮估計量的均方誤差在任何地方都將小於標準非貝氏估計量。
因為貝氏估計量在可接受性下自動成為最優估計量，所以它不是判斷比較工具的有意義的標準。您不能直接將貝氏方法與非貝氏方法進行比較。即使看起來不像收縮估計器，貝氏方法也不會失去。它可以平局，但不能輸。
然而，重要的是要注意，如果使用真正的適當先驗，即使它實際上是一個更差的估計量，它也不會失去。
要了解為什麼會出現這種情況，請考慮那些認為 2020 年大選被盜或認為伊維菌素優於其中一種疫苗或單複製抗體的人的先前信念。只要他們的先驗分佈不是簡併分佈，也就是說，他們將 100% 的確定性歸因於他們的想法，那麼他們就可以被接受。在某些情況下，即使是完全確定的人也會被接納。可接納性是判斷貝氏方法與非貝氏方法的較差標準。
根據評分標準，事後，一些後驗估計器的校準會很差。
證明 2020 年的選舉結果是正確的結果很簡單，但代價高昂，而且涉及很多。同樣，有足夠的關於伊維菌素的數據將其排除為主要治療方法，儘管正在對其進行調查以確定它是否可以使其他治療更好地發揮作用。
相信伊維菌素作為治療或預防藥物起作用的人與現實的校準很差，但他們的估計可能是可以接受的。我必須要麼查找在可能性下可以接受的估計量，要麼自己進行計算。我也沒有那麼積極地去做，因為這並不真正相關，我希望。
相信川普贏得 2020 年大選的人也是如此。
在可接受性下，兩個校準不佳的結果都勝過更好的校準結果。
共變異數收縮估計器提供了一些可能是也可能不是好的加權方案的加權方案。權重可以是 Stein 估計器或嶺回歸之類的東西。有特定於共變異數的收縮估計量。
您正在獲取數據並使用它兩次以嘗試從中提取一點點額外資訊。平均而言，對於更高維度的問題，收縮估計器將產生比 MVUE 或 MLE 更好的結果， $ k>2 $ ，其他東西不變。
此處顯示了先驗對產生後驗分佈的可能性進行加權的範例。
在這個一維範例中，這就是收縮正在做的事情，除了先驗是通過從您不感興趣的參數中提取資訊來創建的，以便更好地估計您感興趣的參數。
