程式

雅虎/Google是否不再支持外匯數據的網路抓取?

  • November 6, 2017

我使用 Python 3.6 開發量化外匯交易策略。我曾經結合使用雅虎或Googlepandas.datareader來收集外匯數據以進行日常策略開發。但是,最近,這些pandasAPI 根本不起作用。我不確定他們是否改變了訪問外匯數據的方式……使用類似EURUSD=X' orEUR=X` 的東西通常用作證券“名稱”的參數。

我也嘗試過使用ffnpython。這是一個使下載數據/回測非常簡單的軟體包。但是,我發現即使這樣也已停止執行。

雅虎和Google是否改變了他們圍繞外匯數據的數據政策?還是我做錯了什麼?

datareader 和 ffn 都試圖訪問此 URL 無濟於事:Yahoo: http://ichart.finance.yahoo.com/table.csv

雅虎改變了他們的網站結構。新的下載 URL 如下所示:

https://query1.finance.yahoo.com/v7/finance/download/MSFT?period1=1463461200&period2=1494910800&interval=1d&events=history&crumb=lHxk.yfuuzZ

這些連結來自這樣的頁面:https ://finance.yahoo.com/quote/MSFT/history?period1=1463461200&period2=1494910800&interval=1d&filter=history&frequency=1d

他們已將日期格式切換到 Unix 時間戳,並且下載 URL 現在驗證 cookie(crumb查詢字元串中的參數),這意味著任何想要抓取數據的人都需要處理 cookie。

Elite Trader 上有更全面的討論:https ://www.elitetrader.com/et/threads/yahoo-historical-data-did-they-change-the-url-recently.309554/

引用自:https://quant.stackexchange.com/questions/34249