無限變異數回歸器
OLS 的許多展示文稿都有一個條件， $ E(X’X)<\infty $ 並且是可逆的。我的問題是，為什麼 $ < \infty $ 危急？
考慮，
$$ y_i =\beta_0 +\beta_1 x_{1i} +\varepsilon_i $$
條件， $ E(X’X)<\infty $ 在此設置中相當於$$ Var(x_1)<\infty $$和 $ E[x_1]<\infty $ .
OLS 估計量 $ \beta_1 $ 是$$ \hat{\beta_1}=\frac{Cov(x,y)}{Var(x)} = \frac{Cov(x,\beta_0 +\beta_1 x_{1i} +\varepsilon_i)}{Var(x)} =\beta_1 \frac{Var(x)}{Var(x)} + \frac{Cov(x,u)}{Var(x)} $$
即使 $ Var(x)=\infty $ ， 我們有 $ Var(x)/Var(x)=1 $ $$ \hat{\beta_1}=\beta_1 + \frac{Cov(x,u)}{Var(x)} $$
在我看來，如果 $ Cov(x,u)=0 $ ， 然後 $ 0/\infty $ 通常定義為 0 並且沒有問題。
提前致謝！
無限變異數回歸器沒有問題。做出這個假設是因為它導致樣本量平方根率的一致性。這是標準和常見的，因此在大多數教科書中都是這樣呈現的。
在無限變異數回歸量的情況下，OLS 估計收斂到真值的速度比 $ \sqrt{N} $ ，並且是“超一致的”。
考慮模型： $ y_i =\beta_0 +\beta_1 x_{1i}+u_i $ .
OLS 估計量 $ \beta_1 $ 是$$ \hat{\beta_1} =\beta_1 \frac{Var(x)}{Var(x)} + \frac{Cov(x,u)}{Var(x)} $$
為方便起見，考慮均值零回歸器的情況：$$ \hat{\beta_1} =\beta_1 +\frac{\frac{1}{N}\sum_{i=1}^Nx_iu_i}{\frac{1}{N}\sum_{i=1}^Nx_i^2} $$
$$ \sqrt{N}(\hat{\beta_1} -\beta_1)=\frac{\frac{1}{\sqrt{N}}\sum_{i=1}^Nx_iu_i}{\frac{1}{N}\sum_{i=1}^Nx_i^2} $$
如果 CLT 適用於分子，LLN 適用於分母（即，回歸量具有有限變異數），則 OLS 估計收斂速度為 $ \sqrt{N} $ . 如果存在無限變異數回歸量，則上述表達式中的分母不會收斂。然而，假設 $ \frac{1}{N^2}\sum_{i=1}^Nx_i^2 $ 收斂到一個非零常數，然後，
$$ N^{3/2}(\hat{\beta_1} -\beta_1)=\frac{\frac{1}{\sqrt{N}}\sum_{i=1}^Nx_iu_i}{\frac{1}{N^2}\sum_{i=1}^Nx_i^2} $$
同樣，CLT 適用於分子，分母收斂。因此，OLS 估計以速率收斂 $ N^{3/2} $ . 這是“超一致性”，是大多數基礎教科書為了便於說明而排除的情況。
所以讓我們從一個變異數必須是無限的真實案例開始，股票市場。
我在這裡沒有做一個完整的推導，因為它會作為多個章節執行。我知道這一點，因為我正在對此進行網路展示。但我可以做的足夠多的事情來告訴你，股市不可能有第一時刻。由此，我將解釋回歸量的結果。
讓我們從一些關於投資回報或回報的簡單觀察開始。
如果我們將一對現金流的回報定義為$$ r_t=\frac{p_{t+1}}{p_t}\times\frac{q_{t+1}}{q_t}-1 $$和$$ R_t=r_t+1 $$我們可以注意到一些事情。
第一的，$$ R_t=R(p_t,p_{t+1},q_t,q_{t+1}). $$ 根據定義，價格是數據。卷是數據。返回是數據的函式。然後，根據定義，回報是一個統計數據。因此，假設它們的分佈存在在數學上是不正確的。你不能假設 $ R_t $ 是對數正態分佈的，因為它必須導出。
二、 $ -1 $ 初始公式的一部分與隨機公式無關，因此 $ R_t $ 是兩個比率分佈的乘積分佈。我很抱歉，但我不會在這裡完成數學，因為它太長了，但我會大致涵蓋它，以便為你找到一個好的解決方案。
為簡單起見，我們將像 Markowitz 那樣忽略流動性，儘管這是非常不合適的，因為它違反了荷蘭書定理。儘管如此，如果我們不在乎我們的公式不可用，我們會假裝 $ P=P $ 代替 $ P=P(Q) $ . 我們還將取消股息，同樣的問題與上述相同。
假設我們在本次討論中忽略賣空，因為它幾乎是對稱的，實際上“幾乎”是一個大問題。在這種情況下，我們可以專注於 $ q_{t+1}, $ $ p_t $ ， 和 $ p_{t+1} $ 才能找到問題的癥結所在。問題與 $ q_{t+1} $ ，即使我們忽略流動性成本，破產法院也可能將其設置為 $ q_{t+1}=0 $ ，另一家公司可能會在合併中替換其股票，或者現金可能會以現金代替股票合併。因此，即使不考慮流動性成本，我們的體積比率分佈也將是多項式的。
因此，回報的機率將是未來可能狀態的加權和。我們將僅考慮公司在期末仍為持續經營的情況。不可能有合併、分紅或破產，我們生活在無限流動性的海洋中。
放寬這些約束不會改變問題，但確實會使問題變得很長。
所以我們可以限制我們的案例$$ R_t=\frac{p_{t+1}}{p_t}. $$ 價格的分配將取決於拍賣規則。例如，在英式拍賣中，有贏家的詛咒。高價者獲勝，因此中標者的分佈應該是 Gumbel 分佈。只有中標的報價才會被記錄為市場價格。其他代表未發生的交易。
在紐約證券交易所式的雙重拍賣中，買家對買家出價，賣家對賣家出價。在均衡中，沒有贏家的詛咒。理性的行為是讓每個投標人出價他們的期望。因此，隨著時間的推移，限價簿應該是圍繞均衡價格的預期分佈。根據中心極限定理，一旦縮放，它應該是正態分佈的。
有兩種方法可以處理這種分佈。第一種也是最直接的方法就是簡單地解決$$ R_t=\frac{p_{t+1}}{p_t}. $$ 這樣做的問題是，在歷史的大部分時間裡，我們只有日終值，並且由於較大的訂單被從磁帶上取下並稍後重新插入，因此日內交易沒有按照它們發生的順序記錄。通過轉換為平衡周圍的極座標存在替代方案。在這種情況下，我們最終會減少一個要估計的參數和一個可行的解決方案。
在統計文獻中眾所周知，兩個正態分佈的分佈沒有第一矩或更高矩，因此偶數矩是無限的，奇數矩不存在。整個分佈是對狀態的加權和，但只要和的分量之一具有無限變異數，那麼整個分佈就具有無限變異數。
Wolfram 研究的數學詞典中有一個簡單案例的證明。連結在這裡。
分佈必須截斷為 0。作為經驗說明，一旦您考慮了所有其他因素和結構性中斷，您最終會得到一個出色的現實世界模型。
可以在以下位置找到更廣泛、更一般的討論
馬薩利亞，G.（2006 年）。正態變數的比率。統計軟體雜誌，16(4), 1-10 或 Marsaglia G (1965)。正態變數的比率和均勻變數之和的比率。美國統計協會雜誌，第 60 頁，第 193–204 頁。
現在讓我們談談將沒有均值的變數映射到沒有均值的變數時會發生什麼。
普通最小二乘法沒有任何分佈假設。這並不意味著它對所有可能的分佈都按預期工作，因此限制了有限變異數。
普通最小二乘是一種投影和一種算法。事實上，所有頻率論決策規則都是算法。如果違反假設，無論多麼嚴重，它們仍然會彈出一個數字。這個數字可能沒有意義，但它會存在。如果在收集數據之前已知數據，它將最大限度地減少收集數據時發生的平方損失。就最小化觀察樣本中的平方損失而言，回歸線將是最佳擬合線。
1851 年，數學家奧古斯丁·柯西與數學家艾琳·朱爾斯·比奈姆展開了一場戰鬥。你可能從未聽說過比奈梅，但他的作品在統計學中無處不在，但總是以別人的名字命名。例如，Bienayme 解決了切比雪夫定理。
Bienayme 在 1851 年基本上表明 OLS 是藍色的。由於柯西發現了整個數學領域，他認為這是對個人的侮辱，因為他剛剛發表了基於中值的回歸方法。奧古斯丁·柯西（Augustin Cauchy）可能是有史以來排名前十的數學家。
柯西發現的是，如果存在無限變異數，那麼 OLS 將始終無法產生有用的答案。事實上，擁有兩對座標和一百萬對座標在數學上沒有區別。添加數據不會提高回歸的質量。自 1851 年以來，已知任何形式的最小二乘回歸都會產生虛假結果，其中的變數缺少有限的二階矩。
對於單變數案例，我找到了一個簡化的簡化證明，我將在最後連結。
要理解為什麼會發生這種情況，請考慮平方損失試圖做什麼，它試圖最小化具有無限總體變異數的估計量的變異數。你如何精確地最小化無窮大？
正在發生的事情的證據太長，無法在此處呈現，但出現在不用於應用的標準統計文本中。然而，可以提供一些直覺。
具有無限變異數的分佈的一個特殊性質是樣本變異數隨樣本大小而增長。這是有道理的，因為隨著樣本量趨於無窮大，觀察到的變異數會收斂到無限的真實變異數。對於最小二乘估計量，隨著樣本量的增加，分母趨於無窮大。分子的討論更複雜，因為共變異數不存在，但存在類似的概念。
最終發生的是估計量的抽樣分佈最終映射到所有可能斜率集合的總體分佈。這使得推理毫無意義，樣本估計也毫無意義。
你能做的是三件事之一。
如果您正在從事學術工作，那麼您可以使用泰爾回歸或分位數回歸，因為所有分佈都有中位數。Thiel 的回歸在效率方面是兩者中較好的。它與引導方法有關，但速度很慢。分位數回歸可能對異常值有更多問題。雖然斷點很高，但也不是無限的。
如果你在做應用工作，那麼你必須使用貝氏回歸。對於這種類型的回歸，不存在足夠的點統計量，但貝氏概似函式始終是最低限度的。在這種情況下，貝氏方法和頻率論方法之間的質量差異太大了。另外，頻率論方法違反了荷蘭書定理。因此，如果使用者使用貝氏方法而銀行使用頻率方法，則有可能迫使銀行承擔損失。
將缺少二階矩的分佈映射到缺少二階矩的分佈的一個相當奇怪的元素是，OLS 估計器將滿足計量經濟學中用於有效性的所有標準頻率主義標準。然而，它將具有零精度的奇怪特性。隨著樣本量趨於無窮大，估計器在估計總體數量時將完全不精確。
洛斯阿拉莫斯國家實驗室在
Hanson KM, Wolf DR (1996) 柯西分佈估計器。在：Heidbreder GR (eds) 最大熵和貝氏方法。物理學基礎理論（物理學基礎理論國際叢書：它們的澄清、發展和應用），第 62 卷。施普林格，多德雷赫特。https://doi.org/10.1007/978-94-015-8729-7_20
這類問題也出現在粒子物理學和滾動物體的物理學中。
沒有回歸的單變數案例是海鷗燈塔問題。如果您想像回歸線的旋轉並將誤差折疊到單個變數上，那麼旋轉變數的投影最終會成為這種單變數情況。燈塔的光的投射點有這個性質。
它的幻燈片展示在帝國理工學院。這裡主要是 13 頁的方程式。
問題的原始陳述位於
海鷗，斯蒂芬（1988 年）。貝氏歸納推理和最大熵。科學與工程中的最大熵和貝氏方法。第 1 卷，第 53-74 卷。