崗位職責:
1、負責項目中數據處理工作,分析原始數據并采用合適的算法,對數據去重、清洗、分析、轉換與入庫;
2、負責數據倉庫ETL的性能、存儲、調度等問題 ;
3、維護大數據框架組件,如airflow、ES、kafka、flink等
4、通過理解業務、數據建模、數據挖掘等手段,提高業務決策的速度和準度,熟悉機器學習算法模型。
5、跨部門和產品經理以及工程師合作,確保數據源的完整和準確
崗位要求:
1. 本科及以上學歷,計算機相關專業,5年以上大數據開發經驗或算法模型開發相關工作經驗
2、對大數據基礎架構和平臺有深刻理解,對基于Hadoop的大數據體系有深入認識,精通大數據開發框架(flink、Hadoop、Hive、HBase、Kafka、ES等)。
3、精通Python、SQL等
4、對數倉有一定理解,理解維度建模的概念
4、對數據敏感,對業務問題充滿好奇心,優秀的邏輯思維能力與跨團隊溝通協調能力
加分項:
1、有爬蟲相關工作經驗,主流電商網站抓取經驗
2、對機器學習、深度學習框架(如tensorflow、keras等)、數據挖掘有了解的優先