大數(shù)據(jù)平臺工程師崗位職責8篇

第1篇 大數(shù)據(jù)平臺高級工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責公司級的通用數(shù)據(jù)平臺和分析型產品，服務于今日頭條全公司的數(shù)十個用戶產品線；

2、面向pb級超大規(guī)模數(shù)據(jù)問題，每天處理千億增量的用戶行為數(shù)據(jù)；

3、為大數(shù)據(jù)的全生命周期提供服務，覆蓋數(shù)據(jù)產生，傳輸，建模，統(tǒng)計分析，實驗評估，可視化的全流程；

4、構建設計良好的數(shù)據(jù)流、數(shù)據(jù)倉庫、調度系統(tǒng)、查詢引擎，數(shù)據(jù)服務、分析系統(tǒng)、流程規(guī)范，數(shù)據(jù)工具/產品，降低數(shù)據(jù)的使用門檻，保證系統(tǒng)穩(wěn)定高效運行，以實現(xiàn)數(shù)據(jù)的最大價值。

任職要求：

1、熟悉多項大數(shù)據(jù)處理/分析相關的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強悍的編碼能力，生產環(huán)境快速 trouble-shooting能力，對新技術有強烈的學習熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅動業(yè)務、支撐決策上的價值，有web應用開發(fā)能力者優(yōu)先。

第2篇 大數(shù)據(jù)平臺工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與公司數(shù)據(jù)平臺架構設計，負責大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關建設；2、依據(jù)公司的大數(shù)據(jù)技術發(fā)展路線，負責基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設，提供可靠的數(shù)據(jù)存儲和訪問能力；3、負責公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調優(yōu)，保證集群高效穩(wěn)定運行；4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲和計算架構的性能；5、負責數(shù)據(jù)平臺技術難點攻關、技術選型評估，參與開發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實施；7、負責協(xié)助產品經理進行數(shù)據(jù)倉庫相關的需求分析、建模、寬表設計等工作；

8、負責系統(tǒng)核心代碼編寫、代碼審核和重構，指導和培訓數(shù)據(jù)工程師、不斷進行系統(tǒng)優(yōu)化；

任職要求：

1、本科以上學歷，5年以上大數(shù)據(jù)研發(fā)經驗，帶領過10人以上的大數(shù)據(jù)團隊； 2、有大型分布式系統(tǒng)設計經驗，負責過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構設計；3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等數(shù)據(jù)倉庫技術，并有廣泛的實踐經驗，具備維護和解決生產問題的能力；5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術（如monogodb、redis等），有實際生產項目應用經驗；6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數(shù)據(jù)結構，算法，了解軟件工程、敏捷開發(fā)等知識，熟悉常用設計模式; 7、理解soa，微服務，中間件等paas相關的關鍵理念與技術，并對其有廣泛的實踐與應用經驗，樂于。8、有民航、電子商務、風控等大數(shù)據(jù)設計和從業(yè)經驗者優(yōu)先。

第3篇 微信支付大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

崗位特色：

基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù)，使用業(yè)界開源的主流技術棧以及我們自研的大數(shù)據(jù)技術相結合，構建金融級的大數(shù)據(jù)平臺，提供金融級數(shù)據(jù)安全保障和質量保障，為數(shù)據(jù)開發(fā)者提供工業(yè)化的數(shù)據(jù)平臺服務，建立元數(shù)據(jù)管理、血緣關系、計算任務和計算資源的動態(tài)管控、全方位的數(shù)據(jù)安全風險控制，為數(shù)據(jù)分析、智慧推薦、金融風控等業(yè)務提供數(shù)據(jù)平臺支撐；

工作職責：

負責微信支付大數(shù)據(jù)基礎平臺相關開發(fā)工作；

負責大數(shù)據(jù)采集、計算、分析處理相關開發(fā)工作；

負責大數(shù)據(jù)治理相關開發(fā)工作，提供一站式的數(shù)據(jù)平臺及工具支持。

任職要求：

本科及以上學歷，計算機相關專業(yè)，3年及以上開發(fā)經驗；

熟悉java、php、shell、python等至少三種開發(fā)語言；

有分布式系統(tǒng)、大數(shù)據(jù)服務、數(shù)據(jù)分析方面的開發(fā)經驗者優(yōu)先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平臺和組件，有相關項目經驗優(yōu)先；

良好的溝通表達能力，執(zhí)行力力強，對待工作認真嚴謹、高度負責。

第4篇 大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

負責spark、hadoop計算平臺的設計和開發(fā)工作，構建高效穩(wěn)定的計算平臺，為業(yè)務提供大數(shù)據(jù)分析所需的海量計算服務；

負責數(shù)據(jù)倉庫、以及機器學習平臺的建設。

任職要求：

計算機相關專業(yè)，本科及以上學歷，2年以上大數(shù)據(jù)平臺開發(fā)、運維經驗；

對spark、hadoop平臺計算原理有深刻理解，能夠閱讀spark、hadoop源碼；對社區(qū)有源碼貢獻者優(yōu)先；

熟悉spark流計算框架或其他開源實時計算框架；

有elasticsearch集群運維、開發(fā)經驗者優(yōu)先；

有數(shù)據(jù)倉庫建設經驗者優(yōu)先；

數(shù)據(jù)大數(shù)據(jù)算法經驗、機器學習平臺建設經驗者優(yōu)先；

精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關的二次開發(fā)；

對新技術充滿熱情，具有良好的學習能力、團隊協(xié)作能力和溝通能力；

能承受較大的工作壓力。

第5篇 大數(shù)據(jù)平臺高級/資深工程師/專家（基礎架構方向）職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、參與小鵬汽車技術中臺的大數(shù)據(jù)云平臺產品建設，包括：實時計算處理平臺、離線計算處理平臺、調用鏈分析監(jiān)控、日志處理平臺；

2、分析系統(tǒng)瓶頸，處理、協(xié)調和解決基礎框架中出現(xiàn)的技術問題；

3、大數(shù)據(jù)新技術研究和應用，并推動適合技術應用于生產；

任職要求：

1、計算機相關專業(yè)，本科或以上學歷，五年以上開發(fā)工作經驗，有基礎架構開發(fā)經驗優(yōu)先；

2、熟練java、python服務端編程，有良好的編碼習慣；

3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，并閱讀部分源碼；

4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜索引擎、推薦引擎等相關經驗優(yōu)先；

6、熟悉docker容器及容器化技術，有kubernetes實戰(zhàn)經驗者優(yōu)先；

7、對新技術有執(zhí)著追求，熱愛編程。善于抽象、總結、思考，能及時關注和學習業(yè)界最新技術；

8、有較強的自學能力和鉆研精神，具有良好的溝通能力和團隊合作能力，綜合能力強。

第6篇 大數(shù)據(jù)平臺高級工程師-平臺產品方向職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責公司級的統(tǒng)一數(shù)據(jù)平臺和分析型產品的研發(fā)，服務于今日頭條全公司的數(shù)十個用戶產品線；

2、設計和實現(xiàn)web后端和關鍵數(shù)據(jù)服務，用數(shù)據(jù)?量產品并驅動產品演進。

任職要求：

1、熟悉互聯(lián)網產品和服務的開發(fā)過程，熟悉后端技術架構，具備良好的系統(tǒng)設計能力；

2、扎實的計算機基礎，對技術有熱情，愿意不斷嘗試新技術和業(yè)務挑戰(zhàn)；

3、熟悉python和go語言優(yōu)先；

4、有大數(shù)據(jù)集、分布式計算工具(hadoop，spark，hive，storm)等應用開發(fā)經驗優(yōu)先；

5、有產品sense，兼具pm技能者優(yōu)先。

第7篇 大數(shù)據(jù)平臺(高級)工程師-實驗評估方向職位描述與崗位職責任職要求

職位描述：

工作職責：

1、研發(fā)業(yè)界領先的灰度實驗/abtest系統(tǒng)，面向頭條全公司的所有產品線；

2、建立通用的用戶行為指標體系，探索性發(fā)掘新指標，研究業(yè)界領先的個性化評估方法；

3、從pb級超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設計實驗驗證假設，為策略/產品改進提供支持。

任職要求：

1、熟悉多項大數(shù)據(jù)處理/分析相關的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強悍的編碼能力，生產環(huán)境快速 trouble-shooting能力，對新技術有強烈的學習熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅動業(yè)務、支撐決策上的價值，有web應用開發(fā)能力者優(yōu)先。

第8篇 大數(shù)據(jù)平臺高級開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責大數(shù)據(jù)開源組件的調研

2、負責大數(shù)據(jù)平臺自研平臺系統(tǒng)及功能模塊設計與開發(fā)

3、配合架構師及測試按時完成開發(fā)，保證產品正常發(fā)布與迭代

任職要求：

1、本科以上學歷，計算機相關專業(yè)

2、2年以上大數(shù)據(jù)平臺開發(fā)經驗

3、精通java，熟悉linu_系統(tǒng)，深入理解并使用主流技術框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術棧，具備豐富的分布式系統(tǒng)的研發(fā)經驗

4、熟悉hadoop生態(tài)圈其他系統(tǒng)，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟練掌握各類數(shù)據(jù)結構與算法，具有較強的編碼能力

6、具有良好的團隊合作精神和表達溝通能力

7、有數(shù)據(jù)中臺，數(shù)據(jù)服務平臺開發(fā)經驗，熟悉hadoop生態(tài)圈組件者優(yōu)先