計量經濟學與機器學習的關係
在我的理解中，計量經濟學與機器學習的效用通常被認為是對因果關係的研究。
如果我沒記錯的話，當我們把實驗經濟學放在一邊時，證明因果關係的黃金標準是使用插入變數。但在實踐中，發現通常不可能找到相關的 IV，而作者最終會選擇他們能找到的最好的“IV”。
問題：這個變數很有可能實際上不是外生的，但是當 IV 依賴於諸如幸福之類的變數時，我們無法驗證它。由於我們無法驗證這些依賴關係，因此科學就到此為止了。
所以我說在大多數情況下計量經濟學不能科學地建立因果關係是錯誤的嗎？在那種情況下，為什麼要使用傳統的計量經濟學而不是現代機器學習技術？
I.) 與機器學習相比，計量經濟學的 2 個原理可能有用。（參見 Hal R Varian 2014 論文：https ://pubs.aeaweb.org/doi/pdf/10.1257/jep.28.2.3 ）
A.) 正如您所說，尋找因果關係是一個優勢，但與您的想法不同，即使因果關係有時可能難以衡量，它仍然非常有用和實用。
但首先，當您建議工具變數是適用於大多數情況並允許因果推斷的唯一可用工具時，我認為還有一些技術仍然可以適用於測量因果關係以響應治療、操縱，或乾預並且在大多數情況下仍然是相關的（與您精確的自然實驗不同，因為它對大多數情況的直接適用性受到限制），例如：
● 顯式實驗 ● 回歸不連續性 ● 差異差異 ● 結構估計
例如，您可以使用這些技術或工具變數來研究因果關係，因為即使這些技術存在偏差和相關性問題（尤其是因為大數據，因為數據集規模的增加限制了工具變數方法的有用性，具體取決於工具強度和混雜程度），它仍然暗示調查因果關係。例如，它可以檢測有條件的反事實（與事實相反的 if 子句），同時還可以檢查是否存在潛在的選擇偏差。
什麼是條件反事實：
如果下雨，那麼他就在裡面。: 雨 = 指示變數
如果下雨，他就會在裡面。: Rain = 條件反事實變數
因此，您對反事實的預測模型越好，您就越能更好地估計因果效應。因此，即使預測模型不一定允許人們自行得出有關因果關係的任何結論，但此類模型可能有助於估計干預發生時的因果影響。因為它可以突出顯示一堆條件反事實，這些條件反事實可以用作潛在的因果變數來執行測試，以便最終確定給定數據集中的因果關係以做出良好的決策（清除混淆問題）。如果沒有，至少它會給你一些線索來進行更深入的調查以理解問題：理論有什麼問題嗎？我的計量經濟學模型有什麼問題嗎？我的數據有什麼問題嗎？
有關計量經濟學中不同因果推理技術的利弊的更多見解：
https://www.jstor.org/stable/pdf/44234997.pdf?refreqid=excelsior%3A18bacfd86299dcf19e7f1f13d9c52022
B.) 除了因果關係，模型不確定性是計量經濟學與機器學習相比的另一個優勢。
計量經濟學的機率基礎是一種優勢，它允許大多數模型及其參數的可解釋性（避免黑匣子現象）並給出不確定性的量化（具有信賴區間）。目標通常是表明某些有趣參數的估計對所使用的確切規範不是很敏感：估計參數如何隨著使用不同的模型而變化。這個問題說明了模型不確定性的一種簡單形式。在這個“大數據”時期，關注樣本不確定性似乎很奇怪，因為大數據集往往很小，而完全忽略了可能相當大的模型不確定性。解決這個問題的一種方法是明確檢查參數估計如何隨著控制變數和工具的選擇而變化。
II.）相反，機器學習技術也可用於社會科學中的數據分析。
A.) ML 中的參數選擇、模型驗證方法可以改進傳統的計量經濟學模型
機器學習研究人員已經開發出處理大型數據集的方法，對處理此類數據感興趣的經濟學家最好投資於學習這些技術。例如，Web Mining 方法可以發現新的可用解釋變數。交叉驗證應辨識非線性效應或被遺忘的交叉效應。模型驗證應檢測模型何時被錯誤指定，從而允許更好地規範計量經濟學模型，並總體上減少遺漏變數偏差和誤差。例如，最近金融領域的文獻關注 Garch 模型（傳統時間序列模型），通過神經網路改進，以更好地預測波動性和資產價格。
有關 ML 在計量經濟學中的用處的更多見解，請查看 Arthur Charpentier 的這篇論文：https ://arxiv.org/pdf/1708.06992.pdf
B.) 因果建模開始成為 ML 的一個關注點和研究領域。這意味著從長遠來看，ML 可能會克服其自身的缺陷（比如只關注適合性）並超越計量經濟學。
一些理論電腦科學家，例如 Pearl (2009a, b) 對電腦科學中的因果建模做出了重大貢獻（通過擴展機器學習）：
（參見：統計中的因果推論：A Primer Wiley，2016 Judea Pearl 等人）
珀爾直接根據“結構方程模型”定義反事實——一組方程，其中每個變數都被賦予一個值，該值是系統中其他變數的顯式函式。給定這樣一個模型，句子“如果 X 是 x，Y 將是 y”（正式地，X = x > Y = y）被定義為斷言：如果我們用常數 X = x 替換目前確定 X 的方程，並且求解變數 Y 的方程組，得到的解將是 Y = y。該定義已被證明與可能世界語義公理兼容，並構成自然科學和社會科學中因果推理的基礎，因為這些領域中的每個結構方程都對應於一種熟悉的因果機制，研究人員可以對其進行有意義的推理.
然而，這些理論進步似乎還沒有被納入機器學習實踐中。除了最近的一些研究論文：
http://www.nasonline.org/programs/sackler-colloquia/documents/athey.pdf
作為一個結論，在我看來，就目前的情況而言，計量經濟學在社會科學中的價值比機器學習所能帶來的更有價值。因此，使用計量經濟學代替 ML 技術進行數據分析仍然是足夠的。
我的觀點與你對問題的介紹不謀而合。即，a) 計量經濟學主要關注因果關係 b) 機器學習主要關注擬合。
但對於其餘部分，我們的觀點不同。原因如下：
a) IV 和其他準實驗技術）不是檢驗因果關係的唯一方法。替代方案是 i) 實驗 ii) 結構估計。在這兩種情況下，您都應用計量經濟學機器，儘管在第一種情況下您將主要使用簡單的 OLS，在第二種情況下使用貝氏/GMM/最大概似法。與實驗相比，結構估計的幫助可能不太清楚，這裡我來談談第二點；
b) 與任何科學一樣，經濟學家建立數學模型來展示事物是如何運作的。問題是社會非常不同，因此我們必須為許多社會背景開發許多模型。所以很自然地，一個問題出現了：如何定義，在給定的情況下哪種模型是合適的？這是計量經濟學家可以提供幫助的地方，因為計量經濟學適用於區分工作模型和非工作模型。有不同的方式來展示它。
通過（現在如此流行的）準實驗，您表明希望因果關係存在或不存在，其大小為 $ \beta_i $ . 一個模型的簡單故事，它的參數是線性的（ $ \beta_i $ 不取決於時間、主體的社會階層等）。
現在，如果您的數據不適合該方法並且無法進行實驗怎麼辦？您可以進行結構估計，假設模型 XYZ - 例如 Cobb-Douglas 生產函式 - 是對現實世界的良好描述。有了這個假設，你會問參數會是什麼樣子。因此，您將非實驗數據強行放入您擁有的模型中並估計參數。
它如何幫助確立“真理”？一種方法是查看係數在時間和研究中的合理性和穩定性。例如，假設您估計了 Cobb-Douglas 生產的參數 ( $ Y = AK^\alpha L^{1-\alpha} $ 英石 $ 0 <\alpha < 1 $ ) 函式和對數對數回歸的係數是 $ \beta = [13, 0.8, 1.5] $ （這些數字絕對是虛構的）。在這種情況下，您有充分的理由得出結論，該模型不適合您正在研究的環境（可能是行業），因為您得到了 $ \beta_2 = (1 - \alpha) = 1.5 $ . 請注意，在這種情況下 $ \beta_2 > 1 $ ，這是無稽之談，因為 $ \alpha $ 是在範圍內 $ (0,1) $ . 我發現這種方法的好處是它讓你從兩個方向*思考：理論有什麼問題嗎？*我的計量經濟學模型有什麼問題嗎？我的數據輸入有什麼問題嗎？
宏觀和工業組織中的人們經常採用這種方法（儘管他們的工具不同），因為他們在該領域進行實驗的能力有限。否則，當您確實遵循準實驗文獻的規定時，您只能研究一小部分問題，這對於我們理解經濟如何運作至關重要。
在我看來，這是迪頓批評因果推理的準實驗方法的主要觀點。它將研究人員變成人，他們正在尋找適合該工具的問題並關心上下文，因為隨機化是可信的。因此，您可以發布研究勞動經濟學，得出政治經濟學結論，分析體育數據，評估貧窮國家的發展政策，同時不關心底層機制。然而，這種方法對模型選擇沒有太大幫助。也許真正的關係是線性的，也許不是。但是當工具很強大並且你在辨識策略部分使用了正確的詞時，出版就無關緊要了。這本身可能並沒有那麼糟糕，但迪頓擔心這種方法幾乎不能說明哪些模型有效以及基本參數的值是多少（儘管檢查 Imbens 的響應。這兩件事都是很好的讀數）。
為什麼參數很重要？讓我們從物理學中舉一個例子。在物理學中，您進行實驗，測量輸入和輸出，並獲得係數。如果我們想預測石頭在新地方下落的速度，我們將採用先前獲得的參數估計，插入輸入數據並預測石頭在新環境中從一定距離下落的速度。如果您知道新環境與另一個環境有何不同（由模型定義！），您可以使用獲得的係數，將它們插入模型並獲得可靠的預測。
在經濟學中，你從準實驗中獲得的價值不會幫助你做同樣的事情。想想世界銀行在東歐啟動並希望在南非應用的發展計劃。假設您對超花哨的 RDD 策略有一個可信的推論。好吧，你得到了你的超級重要 $ \beta_i $ . 很明顯，東歐發展計劃的影響與南非不同，因為環境（環境）不同。所以使用 $ \beta_i $ 直接不行。但是我們不能以某種方式調整值並做出合理的預測嗎？好吧，因為我們不知道地球上有什麼 $ \beta_i $ 真的是，兩個模型到底有什麼不同，我們不知道是什麼樣的轉變 $ \beta $ 我們需要申請。所以我們知道東歐的一些東西，但不能將這些數字用於其他地方。很可惜吧？因為你做得很好，但不能概括其結果。結構計量經濟學可以明確說明係數（就模型而言）的含義以及將它們轉移到另一個環境時如何使用這些值。它的代價是對變數與您（作為建模者）對誤差項施加的結構之間的關係進行更嚴格的假設。
c) 在我看來，機器學習是收集數據的寶貴工具。一個很好的例子是目前關於抗議和政治經濟的論文流。通過網際網路，您可以訪問大量非結構化資訊，例如文本。例如，使用機器學習技術從中提取、處理和產生見解的能力使您能夠評估選民的情緒以及它如何影響未來的政治結果。因此，從某種意義上說，ML 是一個很好的工具，可以節省您創建數據集以研究新問題或解決遺漏變數偏差的時間。