崗位職責:
1、負責設計、開發、維護分布式爬蟲系統;
2、負責跨平臺的數據抓?。╝pp、web等),為公司業務提供穩定正確的數據;
3、負責爬蟲系統的后臺監控、報警模塊的開發;
4、持續完善爬蟲框架及性能,保證穩定性及可擴展性。
崗位要求:
1、3年或以上的開發經驗,熟練掌握 Python、了解Java/Nodejs的優先;
2、熟悉反中間人攻擊,對此有一套成熟的策略;了解安卓或者ios逆向;
3、熟悉 HTML、XPath、正則表達式、AJAX等;
4、具有分布式、多線程/協程/進程的編程經驗;
5、有 MySQL, Redis 或 MongoDB 等相關數據庫使用經驗;
6、有數據意識,有產品數據方面相關經驗。
加分項:
1、有大數據開發經驗,數倉建模、數據治理經驗,或了解相關開發流程;
2、有主流電商網站抓取經驗,有模擬登陸、解決賬號和ip檢測相關問題的經驗;