確保我的 OLS 估計的 p 值是正確的
我已經學習了經典線性回歸模型的基礎知識以及各種診斷測試,以檢查是否滿足 CLRM 的假設,例如同變異數、不存在接近完美的多重共線性、殘差的正態性等。
我想知道是否有可能有一組我需要測試的詳盡的東西來對我得到的 p 值有合理的信心,無論是總體還是每個特定回歸器的係數(在具有橫截面數據的多元回歸中)。
例如,研究人員將測試哪些內容以確保 p 值在技術上是正確的(或至少可以接受)並且可以在學術期刊上發表(不是談論主題的有用性或是否存在因果關係等,只是統計推斷,是否可以接受)?我見過的不同教科書/講座對不同事物的重視程度不同。我想知道專業研究人員會做什麼?
你的問題的答案:
我想知道是否有可能有一組我需要測試的詳盡的東西,以便對我得到的 p 值有合理的信心,無論是總體還是每個特定的回歸係數
是“否”,但出於與評論中所述不同的原因。
首先,讓我先了解一下 p 值是什麼,不是什麼。首先,它不是機率陳述。這是一個條件頻率語句。它以效用函式和世界模型為條件。如果你的世界模型不好,那麼你的 p 值是可疑的。
頻率檢驗,與貝氏檢驗相反,試圖證明某些零假設是錯誤的。它通過假設 null 為真來做到這一點。這不是一個微不足道的陳述,原因有兩個。首先,零假設充當資訊。您正在根據該假設調整所有觀察結果,就好像真實一樣。如果你改變你的空值,你就會改變對你的假設的推斷。其次,沒有辦法區分偶然效應和假空值。
p 值是一個聲明,如果你重複你的實驗,可能無限次,那麼看到你看到的結果或更極端的結果的頻率並不比規定的 p 值更常見,如果空模型是真正的模型。
因此,讓我們看看您需要正確處理 p 值以暗示其抽象含義的內容。
首先,您的效用函式必須正確。最小二乘模型假設損失是二次的,也就是說$$ U(\hat{\theta},\theta)=-c(\hat{\theta}-\theta)^2. $$ 如果你改變你的模型,那麼你就改變了你的估計量,這意味著你對 p 值的選擇會改變。
例如,如果您假設 $ U(\hat{\theta},\theta)=-c|\hat{\theta}-\theta| $ ,那麼您最終會得到中位數估計量,並會使用諸如 Theil 或分位數回歸之類的東西。結果更強大但功能更弱。
其次,你需要讓你的規范正確。P 值假設空模型為真,如果您有一個錯誤指定的模型,那麼您的 p 值將是可疑的,儘管不會自動遠離現實以丟棄它們。
第三,您需要將正確的假設與真實的空模型相匹配。這是異變異數性檢驗的危險。如果你有異變異數,但它不能拒絕零,那麼你有一組錯誤的假設。如果您沒有異變異數性,但它拒絕零,那麼您有一組錯誤的假設。
解決此類問題的實際方法是邏輯地處理假設。這就是為什麼沒有一本書或參考集來解決這個問題。
鑽石價格在大小上是異變異數的,但方式很奇怪。簡單的邏輯會告訴您,它們在大小方面可能是異變異數的。
非常小的鑽石只有兩個用途,用於鑽孔等工業用途,以及作為珠寶的添加物。作為珠寶,它們的價格非常高。作為工業材料,價格非常低廉。
大多數中等尺寸的鑽石要麼接近珠寶所需的尺寸,要麼需要切割成非常小的碎片以供工業使用。然而,它們的大部分用途將是製造按規格切割的中型鑽石。按原樣估計它們的價值會更容易。
非常大的鑽石可能仍然具有很高的價值,非常大的鑽石。以希望鑽石為例。其他人可能會製造數百顆用於工業用途的小鑽石。
結果是你得到了一個蝴蝶結版本的異變異數。小鑽石和超大鑽石的價格波動很大。中等鑽石的最終切工和價值是可以預測的,因此價格範圍要窄得多。
您永遠不應該用鑽石測試異變異數性,因為有一種方法可以考慮這一點。測試應該保留給您沒有主題知識的事物。
大多數 p 值是穩健的,因為大多數頻率估計器是極小極大估計器,也就是說,該估計器最小化了您在指定效用函式下必須承擔的最大風險。
因此,p 值在使用資訊和任何由此產生的推論方面往往是保守的。
沒有一個列表的原因是,如果您可以斷言有關人口的某些事情是真實的,例如鑽石價格在邏輯上是異變異數的,那麼您可以使用該知識來調整您的模型。
因此,如果您要測試鑽石價格並且它們測試為同變異數,那麼您可以忽略測試結果,因為它不相關。
沒有清單。相反,您需要確定一個狹窄領域的研究人員做什麼。
讓我再舉一個例子,看看為什麼這很重要。
如果實體零售商需要改變其收入,它可以發行優惠券。它有能力控制其收入和銷量。
電力公司通常無法控制其數量或價格。即使他們可以郵寄優惠券以使用額外的電力,但有人會如何監控這次銷售?電力公司控制他們的成本,而不是他們的收入。
僅此討論就告訴您,管理層認為對邊際決策很重要的會計資訊是不同的。如果你給他們一個共同的規範,那麼你的模型將被錯誤指定。您的 p 值已關閉。您省略了一個變數行業類型。
找到正確的 p 值不僅僅在於克服技術障礙,例如多重共線性和異變異數,還在於了解您的研究領域。
幸運的是,p 值通常是穩健的。如果你設置 $ \alpha=.05 $ 和 $ p<.01 $ 那麼你可能是安全的。另一方面,如果 $ p<.04999 $ 而且你的工作有點不穩定,那麼即使你遵循技術規則也不要感到自信。
沒有一本書,沒有簡單的清單。只有在某些領域,研究人員會發現意想不到的事情並對其進行糾正。