大數(shù)據(jù)平臺崗位職責(zé)15篇

崗位職責(zé)是什么

大數(shù)據(jù)平臺崗位是企業(yè)信息技術(shù)部門的核心角色，負(fù)責(zé)設(shè)計(jì)、構(gòu)建和維護(hù)高效穩(wěn)定的大數(shù)據(jù)處理和分析系統(tǒng)。此崗位專注于利用先進(jìn)的數(shù)據(jù)科學(xué)技術(shù)，挖掘并轉(zhuǎn)化海量數(shù)據(jù)為企業(yè)決策提供有力支持。

崗位職責(zé)要求

1. 深入理解大數(shù)據(jù)技術(shù)棧，包括hadoop、spark、hive、hbase等，并具備實(shí)際項(xiàng)目經(jīng)驗(yàn)。

2. 精通至少一種編程語言，如java、python或scala，用于數(shù)據(jù)處理和開發(fā)大數(shù)據(jù)解決方案。

3. 熟悉數(shù)據(jù)庫管理和sql，能夠優(yōu)化查詢性能，確保數(shù)據(jù)準(zhǔn)確性和一致性。

4. 具備良好的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)基礎(chǔ)，能應(yīng)用到數(shù)據(jù)分析和預(yù)測模型中。

5. 有云平臺（如aws、azure或google cloud）經(jīng)驗(yàn)，了解大數(shù)據(jù)服務(wù)如emr、hdinsight或bigquery。

6. 具備良好的團(tuán)隊(duì)協(xié)作和溝通能力，能與業(yè)務(wù)部門有效對接需求。

崗位職責(zé)描述

大數(shù)據(jù)平臺工程師的角色不僅僅是技術(shù)實(shí)施者，更是數(shù)據(jù)驅(qū)動創(chuàng)新的推動者。他們需要搭建高性能的數(shù)據(jù)處理管道，確保數(shù)據(jù)的實(shí)時(shí)流動和存儲。此外，他們還需要監(jiān)控系統(tǒng)性能，解決可能出現(xiàn)的技術(shù)問題，以保證系統(tǒng)的穩(wěn)定運(yùn)行。更重要的是，他們需要與業(yè)務(wù)團(tuán)隊(duì)緊密合作，理解業(yè)務(wù)需求，通過數(shù)據(jù)洞察為戰(zhàn)略決策提供依據(jù)。

有哪些內(nèi)容

1. 數(shù)據(jù)架構(gòu)設(shè)計(jì)：規(guī)劃和實(shí)施高效的數(shù)據(jù)存儲和處理架構(gòu)，確保數(shù)據(jù)的安全性和可擴(kuò)展性。

2. 平臺優(yōu)化：持續(xù)優(yōu)化大數(shù)據(jù)平臺，提高數(shù)據(jù)處理速度，減少資源消耗。

3. 數(shù)據(jù)集成：整合來自多個(gè)源的異構(gòu)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的一致性和完整性。

4. 分析工具開發(fā)：構(gòu)建自定義分析工具和報(bào)表，支持業(yè)務(wù)部門進(jìn)行數(shù)據(jù)驅(qū)動的決策。

5. 數(shù)據(jù)安全：實(shí)施數(shù)據(jù)加密和訪問控制策略，保護(hù)企業(yè)敏感信息。

6. 項(xiàng)目協(xié)作：與項(xiàng)目經(jīng)理、數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師共同參與項(xiàng)目，確保數(shù)據(jù)解決方案滿足業(yè)務(wù)需求。

7. 技術(shù)培訓(xùn)：分享大數(shù)據(jù)知識和技術(shù)，提升團(tuán)隊(duì)的整體數(shù)據(jù)素養(yǎng)。

大數(shù)據(jù)平臺崗位在企業(yè)數(shù)字化轉(zhuǎn)型中扮演著至關(guān)重要的角色，通過駕馭大數(shù)據(jù)的力量，為企業(yè)創(chuàng)造價(jià)值，驅(qū)動業(yè)務(wù)發(fā)展。

大數(shù)據(jù)平臺崗位職責(zé)范文

第1篇 大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

負(fù)責(zé)spark、hadoop計(jì)算平臺的設(shè)計(jì)和開發(fā)工作，構(gòu)建高效穩(wěn)定的計(jì)算平臺，為業(yè)務(wù)提供大數(shù)據(jù)分析所需的海量計(jì)算服務(wù)；

負(fù)責(zé)數(shù)據(jù)倉庫、以及機(jī)器學(xué)習(xí)平臺的建設(shè)。

任職要求：

計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷，2年以上大數(shù)據(jù)平臺開發(fā)、運(yùn)維經(jīng)驗(yàn)；

對spark、hadoop平臺計(jì)算原理有深刻理解，能夠閱讀spark、hadoop源碼；對社區(qū)有源碼貢獻(xiàn)者優(yōu)先；

熟悉spark流計(jì)算框架或其他開源實(shí)時(shí)計(jì)算框架；

有elasticsearch集群運(yùn)維、開發(fā)經(jīng)驗(yàn)者優(yōu)先；

有數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn)者優(yōu)先；

數(shù)據(jù)大數(shù)據(jù)算法經(jīng)驗(yàn)、機(jī)器學(xué)習(xí)平臺建設(shè)經(jīng)驗(yàn)者優(yōu)先；

精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開發(fā)；

對新技術(shù)充滿熱情，具有良好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作能力和溝通能力；

能承受較大的工作壓力。

第2篇 大數(shù)據(jù)平臺高級開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)大數(shù)據(jù)開源組件的調(diào)研

2、負(fù)責(zé)大數(shù)據(jù)平臺自研平臺系統(tǒng)及功能模塊設(shè)計(jì)與開發(fā)

3、配合架構(gòu)師及測試按時(shí)完成開發(fā)，保證產(chǎn)品正常發(fā)布與迭代

任職要求：

1、本科以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)

2、2年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗(yàn)

3、精通java，熟悉linu_系統(tǒng)，深入理解并使用主流技術(shù)框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧，具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗(yàn)

4、熟悉hadoop生態(tài)圈其他系統(tǒng)，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟練掌握各類數(shù)據(jù)結(jié)構(gòu)與算法，具有較強(qiáng)的編碼能力

6、具有良好的團(tuán)隊(duì)合作精神和表達(dá)溝通能力

7、有數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)平臺開發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)圈組件者優(yōu)先

第3篇 大數(shù)據(jù)平臺(高級)工程師-實(shí)驗(yàn)評估方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；

2、建立通用的用戶行為指標(biāo)體系，探索性發(fā)掘新指標(biāo)，研究業(yè)界領(lǐng)先的個(gè)性化評估方法；

3、從pb級超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè)，為策略/產(chǎn)品改進(jìn)提供支持。

任職要求：

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第4篇 大數(shù)據(jù)平臺架構(gòu)師崗位職責(zé)大數(shù)據(jù)平臺架構(gòu)師職責(zé)任職要求

大數(shù)據(jù)平臺架構(gòu)師崗位職責(zé)

工作職責(zé):

負(fù)責(zé)大數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘、算法平臺的技術(shù)架構(gòu)及建設(shè);

負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)檢索分析平臺的架構(gòu)和建設(shè);

負(fù)責(zé)pcg業(yè)務(wù)算法推薦，實(shí)時(shí)流計(jì)算框架的研發(fā)優(yōu)化;

跟蹤移動互聯(lián)網(wǎng)開源大數(shù)據(jù)框架、新算法框架的技術(shù)選型及平臺化預(yù)研及架構(gòu);

負(fù)責(zé)業(yè)務(wù)挖掘、算法應(yīng)用的平臺支持;

負(fù)責(zé)>;5人的技術(shù)或ft團(tuán)隊(duì)管理。

任職要求:

5年以上系統(tǒng)建設(shè)，設(shè)計(jì)，架構(gòu)經(jīng)驗(yàn);4年以上大數(shù)據(jù)系統(tǒng)開發(fā)，設(shè)計(jì)，架構(gòu)經(jīng)驗(yàn);3年以上軟件工程管理經(jīng)驗(yàn);

熟悉商業(yè)智能系統(tǒng)，熟悉數(shù)據(jù)倉庫，熟悉數(shù)據(jù)集市;

熟悉大數(shù)據(jù)相關(guān)技術(shù):hadoop， hive， hbase， zookeeper， spark， cassandra， mapreduce;并閱讀過相關(guān)源碼;

管理過數(shù)據(jù)量上t級別，節(jié)點(diǎn)數(shù)300以上的大數(shù)據(jù)集群，開發(fā)，優(yōu)化并管理過上t級別的大數(shù)據(jù)作業(yè);

熟悉常用機(jī)器學(xué)習(xí)算法，了解深度學(xué)習(xí)，強(qiáng)化學(xué)習(xí)，遷移學(xué)習(xí)算法，了解相關(guān)原理(ff， bf， sgd等);

熟悉各種抽樣方法(分層，過抽樣等)，特征處理方法(缺失值處理，離散化等);

熟悉機(jī)器學(xué)習(xí)框架或工具(spark mllib，tensorflow， caffe等)，了解源碼并能應(yīng)用項(xiàng)目;

具備大數(shù)據(jù)云平臺、計(jì)算存儲平臺、可視化開發(fā)平臺經(jīng)驗(yàn)，具備中大型成功項(xiàng)目經(jīng)驗(yàn)優(yōu)先;具備大規(guī)模分布式計(jì)算平臺的使用和并行算法的開發(fā)經(jīng)驗(yàn)，對大數(shù)據(jù)處理及應(yīng)用有濃厚興趣;

具備較強(qiáng)的團(tuán)隊(duì)管理能力和溝通能力，思維活躍，前瞻學(xué)習(xí)能力強(qiáng);

了解軟件項(xiàng)目管理、敏捷管理方法論，在中大型項(xiàng)目中有所實(shí)踐。

第5篇 大數(shù)據(jù)平臺技術(shù)經(jīng)理崗位職責(zé)

大數(shù)據(jù)平臺高級技術(shù)經(jīng)理 招銀 招銀金融租賃有限公司,招銀,招銀 職責(zé)描述:

1. 負(fù)責(zé)租賃行業(yè)大數(shù)據(jù)平臺架構(gòu)規(guī)劃、技術(shù)落地、與開發(fā)團(tuán)隊(duì)協(xié)同實(shí)施;

2. 負(fù)責(zé)需求調(diào)研、需求分析,編寫需求分析說明書,負(fù)責(zé)項(xiàng)目全周期管理;

3. 組織uat測試方案制定、測試案例準(zhǔn)備,負(fù)責(zé)測試環(huán)境搭建、以及對項(xiàng)目進(jìn)行驗(yàn)收測試 。

任職要求:

1. 計(jì)算機(jī)軟件或信息系統(tǒng)相關(guān)專業(yè)碩士以上學(xué)歷;

2. 具有三年及以上大數(shù)據(jù)系統(tǒng)架構(gòu)規(guī)劃及系統(tǒng)建設(shè)相關(guān)的工作經(jīng)驗(yàn);

3. 精通大數(shù)據(jù)平臺存儲、計(jì)算及算法相關(guān)技術(shù),精通機(jī)器學(xué)習(xí)相關(guān)模型與算法、或nlp或計(jì)算機(jī)圖像識別等相關(guān)理論及技術(shù),熟悉精益(敏捷)項(xiàng)目管理、瀑布式項(xiàng)目管理流程,有項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

4. 有強(qiáng)烈的技術(shù)思維及自我突破的欲望,性格外向、善于組織溝通、文字表達(dá)能力強(qiáng)。

第6篇 大數(shù)據(jù)平臺高級工程師-平臺產(chǎn)品方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)公司級的統(tǒng)一數(shù)據(jù)平臺和分析型產(chǎn)品的研發(fā)，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；

2、設(shè)計(jì)和實(shí)現(xiàn)web后端和關(guān)鍵數(shù)據(jù)服務(wù)，用數(shù)據(jù)?量產(chǎn)品并驅(qū)動產(chǎn)品演進(jìn)。

任職要求：

1、熟悉互聯(lián)網(wǎng)產(chǎn)品和服務(wù)的開發(fā)過程，熟悉后端技術(shù)架構(gòu)，具備良好的系統(tǒng)設(shè)計(jì)能力；

2、扎實(shí)的計(jì)算機(jī)基礎(chǔ)，對技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)；

3、熟悉python和go語言優(yōu)先；

4、有大數(shù)據(jù)集、分布式計(jì)算工具(hadoop，spark，hive，storm)等應(yīng)用開發(fā)經(jīng)驗(yàn)優(yōu)先；

5、有產(chǎn)品sense，兼具pm技能者優(yōu)先。

第7篇 大數(shù)據(jù)平臺高級工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)公司級的通用數(shù)據(jù)平臺和分析型產(chǎn)品，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；

2、面向pb級超大規(guī)模數(shù)據(jù)問題，每天處理千億增量的用戶行為數(shù)據(jù)；

3、為大數(shù)據(jù)的全生命周期提供服務(wù)，覆蓋數(shù)據(jù)產(chǎn)生，傳輸，建模，統(tǒng)計(jì)分析，實(shí)驗(yàn)評估，可視化的全流程；

4、構(gòu)建設(shè)計(jì)良好的數(shù)據(jù)流、數(shù)據(jù)倉庫、調(diào)度系統(tǒng)、查詢引擎，數(shù)據(jù)服務(wù)、分析系統(tǒng)、流程規(guī)范，數(shù)據(jù)工具/產(chǎn)品，降低數(shù)據(jù)的使用門檻，保證系統(tǒng)穩(wěn)定高效運(yùn)行，以實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值。

任職要求：

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第8篇 微信支付大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

崗位特色：

基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù)，使用業(yè)界開源的主流技術(shù)棧以及我們自研的大數(shù)據(jù)技術(shù)相結(jié)合，構(gòu)建金融級的大數(shù)據(jù)平臺，提供金融級數(shù)據(jù)安全保障和質(zhì)量保障，為數(shù)據(jù)開發(fā)者提供工業(yè)化的數(shù)據(jù)平臺服務(wù)，建立元數(shù)據(jù)管理、血緣關(guān)系、計(jì)算任務(wù)和計(jì)算資源的動態(tài)管控、全方位的數(shù)據(jù)安全風(fēng)險(xiǎn)控制，為數(shù)據(jù)分析、智慧推薦、金融風(fēng)控等業(yè)務(wù)提供數(shù)據(jù)平臺支撐；

工作職責(zé)：

負(fù)責(zé)微信支付大數(shù)據(jù)基礎(chǔ)平臺相關(guān)開發(fā)工作；

負(fù)責(zé)大數(shù)據(jù)采集、計(jì)算、分析處理相關(guān)開發(fā)工作；

負(fù)責(zé)大數(shù)據(jù)治理相關(guān)開發(fā)工作，提供一站式的數(shù)據(jù)平臺及工具支持。

任職要求：

本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3年及以上開發(fā)經(jīng)驗(yàn)；

熟悉java、php、shell、python等至少三種開發(fā)語言；

有分布式系統(tǒng)、大數(shù)據(jù)服務(wù)、數(shù)據(jù)分析方面的開發(fā)經(jīng)驗(yàn)者優(yōu)先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平臺和組件，有相關(guān)項(xiàng)目經(jīng)驗(yàn)優(yōu)先；

良好的溝通表達(dá)能力，執(zhí)行力力強(qiáng)，對待工作認(rèn)真嚴(yán)謹(jǐn)、高度負(fù)責(zé)。

第9篇 大數(shù)據(jù)平臺架構(gòu)師崗位職責(zé)

大數(shù)據(jù)平臺架構(gòu)師 ne_ttao 上海復(fù)兆信息技術(shù)有限公司,ne_ttao,復(fù)兆,復(fù)兆 職責(zé)描述:

1、負(fù)責(zé)大數(shù)據(jù)平臺框架的規(guī)劃設(shè)計(jì)、搭建、優(yōu)化和運(yùn)維;

2、負(fù)責(zé)架構(gòu)持續(xù)優(yōu)化及系統(tǒng)關(guān)鍵模塊的設(shè)計(jì)開發(fā),協(xié)助團(tuán)隊(duì)解決開發(fā)過程中的技術(shù)難題;

3、負(fù)責(zé)大數(shù)據(jù)相關(guān)新技術(shù)的調(diào)研,關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢、研究開源技術(shù)、將新技術(shù)應(yīng)用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展;

4、負(fù)責(zé)數(shù)據(jù)平臺開發(fā)規(guī)范制定,數(shù)據(jù)建模及核心框架開發(fā)。

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)等專業(yè)本科及以上學(xué)歷;

2、具有5年及以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn);

3、具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉庫的理論功底,負(fù)責(zé)過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計(jì);

4、基于hadoop的大數(shù)據(jù)體系有深入認(rèn)識,具備相關(guān)產(chǎn)品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),有hadoop集群搭建和管理經(jīng)驗(yàn);

5、熟悉傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)建模,etl架構(gòu)和開發(fā)流程,使用過kettle、talend、informatic等至少一種工具;

6、自驅(qū)力強(qiáng)、優(yōu)秀的團(tuán)隊(duì)意識和溝通能力,對新技術(shù)有好奇心,學(xué)習(xí)能力和主動性強(qiáng),有鉆研精神,充滿激情,樂于接受挑戰(zhàn);

第10篇 大數(shù)據(jù)平臺架構(gòu)師 - consulting - cloud - [bj/sh/gz/sz/cd/nj}職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1.負(fù)責(zé)大數(shù)據(jù)平臺架構(gòu)的評估、規(guī)劃和設(shè)計(jì) ；負(fù)責(zé)海量數(shù)據(jù)采集、處理及存儲、應(yīng)用方案的技術(shù)選型及架構(gòu)實(shí)現(xiàn)；分布式存儲、流式/實(shí)時(shí)計(jì)算等應(yīng)用層架構(gòu)搭建及核心代碼實(shí)現(xiàn)。

2.開發(fā)大數(shù)據(jù)平臺的核心代碼，負(fù)責(zé)大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實(shí)施，技術(shù)難題的解決，保證大數(shù)據(jù)產(chǎn)品的上線運(yùn)行。

3.根據(jù)業(yè)務(wù)需求持續(xù)優(yōu)化數(shù)據(jù)架構(gòu)，保證產(chǎn)品的可靠性、穩(wěn)定性。

4.指導(dǎo)開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設(shè)，分析模型構(gòu)建及分析呈現(xiàn) ，技術(shù)經(jīng)驗(yàn)。

5.深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品，跟進(jìn)業(yè)界先進(jìn)技術(shù)。

1. responsible for the evaluation， planning and design of big data platform architecture;

2. responsible for technical selection and architecture implementation on solutions for mass data collecting， processing and storage.

3. responsible for implementation for distributed storage and streaming/real-time computing system.

4. responsible for core-code developing of the big data platform.

5. responsible for the system debugging， integration and implementation of the big data platform.

6. solving technical problems， and ensure the launch and operation of big data products.

7. continuously optimize data architecture according to business requirements so as to ensure product reliability and stability.

8. instruct developers to plan， build and present data models; share technical e_perience.

9. study deeply on big data related technologies and products; follow up with advanced technology in the industry.

任職要求：

1.不少于5年的工作經(jīng)驗(yàn)，有3年以上hadoop、spark、hbase平臺性能調(diào)優(yōu)經(jīng)驗(yàn)，具有扎實(shí)的企業(yè)級應(yīng)用系統(tǒng)架構(gòu)（togaf等）理論知識。

2.熟悉hive、hbase、storm、mahout、flume、elasticsearch、spark、kafka等，具備企業(yè)級大型項(xiàng)目設(shè)計(jì)及開發(fā)經(jīng)驗(yàn)。

3.熟悉sparkstreaming等相關(guān)的實(shí)時(shí)計(jì)算技術(shù)。

4.熟悉大規(guī)模數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理、分布式計(jì)算中一項(xiàng)或多項(xiàng)技術(shù)，并具備大型項(xiàng)目實(shí)際工作經(jīng)驗(yàn)。

5.熟悉主流關(guān)系型數(shù)據(jù)庫（oracle、mysql）、nosql數(shù)據(jù)庫，熟悉pl/sql編程。

6.精通linu_操作系統(tǒng)，熟練使用java；熟悉常用框架.如spring、mybatis等。

7.計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè)，本科及以上學(xué)歷。

8.大學(xué)英語四級以上水平。

9.能夠經(jīng)常出差。

1. no less than 5 years of work e_perience， with more than 3 years e_perience on hadoop， spark， hbase platform performance tuning，and with a solid enterprise application system architecture (togaf) theoretical knowledge.

2. proficient inhive， hbase， storm， mahout， flume， elasticsearch， spark， kafka， etc. plenty of designing and development e_perience in large-scale enterprise project.

3. proficient inthe real-time computing technology such as sparkstreaming

4. proficient in one or more technologies in large-scale data mining， machine learning， natural language processing， distributed computing， and have practical e_perience in large-scale projects.

5. proficient in mainstream relational database (oracle， mysql)， nosql database; hands on e_perience with pl/sql programming

6. proficient in linu_ operating system and java; hands on e_perience with common frameworks such as spring， mybatis， etc.

7. bachelor degree or above in mathematics or computer science.

8. cet 4 or above

9. able to travel for long periods of time.

第11篇 30359-大數(shù)據(jù)平臺高級架構(gòu)師（深圳）職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

負(fù)責(zé)統(tǒng)一用戶增長平臺的技術(shù)架構(gòu)及建設(shè)；

包括不僅限于：

負(fù)責(zé)每天萬億級增量流式計(jì)算引擎架構(gòu)；

負(fù)責(zé)存量離線計(jì)算引擎分層設(shè)計(jì)與架構(gòu)；

負(fù)責(zé)實(shí)時(shí)多維計(jì)算、分析的平臺架構(gòu)；

負(fù)責(zé)拖拽交互式可視化引擎的存儲計(jì)算架構(gòu)；

負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)檢索分析平臺的架構(gòu)和建設(shè)；

負(fù)責(zé)技術(shù)團(tuán)隊(duì)的研發(fā)流程優(yōu)化。

跟蹤國際、國內(nèi)商業(yè)及開源數(shù)據(jù)產(chǎn)品的技術(shù)選型及平臺化預(yù)研及架構(gòu)；

負(fù)責(zé)＞5人的技術(shù)或ft團(tuán)隊(duì)管理

任職要求：

5年以上系統(tǒng)建設(shè)，設(shè)計(jì)，架構(gòu)經(jīng)驗(yàn)；4年以上大數(shù)據(jù)系統(tǒng)開發(fā)，設(shè)計(jì)，架構(gòu)經(jīng)驗(yàn)；3年以上軟件工程管理經(jīng)驗(yàn)；

熟悉商業(yè)智能系統(tǒng)，熟悉數(shù)據(jù)倉庫，熟悉數(shù)據(jù)集市；

熟悉大數(shù)據(jù)相關(guān)技術(shù)：flink、kafka、kudu、impala、druid、hive、hbase；并閱讀過相關(guān)源碼；

管理過存儲量上p級，計(jì)算日志量萬億以上分析數(shù)據(jù)平臺；

具備按天萬級任務(wù)量的數(shù)據(jù)系統(tǒng)的研發(fā)經(jīng)歷；

熟悉常用增長黑客實(shí)踐、熟悉各類分析模型與算法；

熟悉各種抽樣方法（分層，過抽樣等），特征處理方法（缺失值處理，離散化等）；

熟悉數(shù)據(jù)產(chǎn)品或工具（tableau，growingio，mi_panel等）；

具備大數(shù)據(jù)平臺、數(shù)據(jù)分析平臺、可視化開發(fā)平臺經(jīng)驗(yàn)，具備中大型成功項(xiàng)目經(jīng)驗(yàn)優(yōu)先；具備大規(guī)模分布式計(jì)算平臺的使用和并行算法的開發(fā)經(jīng)驗(yàn)，對大數(shù)據(jù)處理及應(yīng)用有濃厚興趣；

具備較強(qiáng)的團(tuán)隊(duì)管理能力和溝通能力，思維活躍，前瞻學(xué)習(xí)能力強(qiáng)；

了解軟件項(xiàng)目管理、敏捷管理方法論，在中大型項(xiàng)目中有所實(shí)踐。

第12篇 大數(shù)據(jù)平臺高級/資深工程師/專家（基礎(chǔ)架構(gòu)方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1、參與小鵬汽車技術(shù)中臺的大數(shù)據(jù)云平臺產(chǎn)品建設(shè)，包括：實(shí)時(shí)計(jì)算處理平臺、離線計(jì)算處理平臺、調(diào)用鏈分析監(jiān)控、日志處理平臺；

2、分析系統(tǒng)瓶頸，處理、協(xié)調(diào)和解決基礎(chǔ)框架中出現(xiàn)的技術(shù)問題；

3、大數(shù)據(jù)新技術(shù)研究和應(yīng)用，并推動適合技術(shù)應(yīng)用于生產(chǎn)；

任職要求：

1、計(jì)算機(jī)相關(guān)專業(yè)，本科或以上學(xué)歷，五年以上開發(fā)工作經(jīng)驗(yàn)，有基礎(chǔ)架構(gòu)開發(fā)經(jīng)驗(yàn)優(yōu)先；

2、熟練java、python服務(wù)端編程，有良好的編碼習(xí)慣；

3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，并閱讀部分源碼；

4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然語言處理、信息檢索、機(jī)器學(xué)習(xí)、web挖掘、搜索引擎、推薦引擎等相關(guān)經(jīng)驗(yàn)優(yōu)先；

6、熟悉docker容器及容器化技術(shù)，有kubernetes實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先；

7、對新技術(shù)有執(zhí)著追求，熱愛編程。善于抽象、總結(jié)、思考，能及時(shí)關(guān)注和學(xué)習(xí)業(yè)界最新技術(shù)；

8、有較強(qiáng)的自學(xué)能力和鉆研精神，具有良好的溝通能力和團(tuán)隊(duì)合作能力，綜合能力強(qiáng)。

第13篇 大數(shù)據(jù)平臺研發(fā)職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)：hadoop平臺功能研發(fā)，如性能優(yōu)化、身份認(rèn)證&權(quán)限控制插件等

1. 修改hadoop等分布式平臺源碼，優(yōu)化數(shù)據(jù)處理邏輯；

2. 針對hadoop等分布式平臺，構(gòu)建統(tǒng)一的身份認(rèn)證及權(quán)限控制系統(tǒng)；

3. 動態(tài)脫敏系統(tǒng)及安全控制策略研究及落地；

4. 解析常用的大數(shù)據(jù)平臺通信協(xié)議

要求：

1. 熟練掌握c/c++，java中的至少一種編程語言;

2. 熟練掌握常用大數(shù)據(jù)平臺組件的使用；

3. 深入理解常用大數(shù)據(jù)平臺的架構(gòu)原理，如mr、spark、hive等;

4. 熟悉tcp/ip 協(xié)議棧，對常用應(yīng)用層協(xié)議如http有較深理解；

5. 熟悉thrift、grpc等rpc框架及protobuf等序列化框架;

6. 熟悉常用大數(shù)據(jù)平臺的安全組件和控制策略

職位誘惑：

1.試用期薪資不打折不打折

2.公積金按定薪全額的12%繳納，全額的12%哦

3.入職即享帶薪年假

4.周末雙休

5.彈性工作制

6.大牛導(dǎo)師帶你飛

7.強(qiáng)大平臺！任你表演

8.月度團(tuán)建吃喝玩樂等你來解鎖

第14篇 大數(shù)據(jù)平臺工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè)；2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè)，提供可靠的數(shù)據(jù)存儲和訪問能力；3、負(fù)責(zé)公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲和計(jì)算架構(gòu)的性能；5、負(fù)責(zé)數(shù)據(jù)平臺技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評估，參與開發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

任職要求：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì)； 2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問題的能力；5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識，熟悉常用設(shè)計(jì)模式; 7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂于。8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

第15篇 大數(shù)據(jù)平臺架構(gòu)師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

?負(fù)責(zé)云平臺大數(shù)據(jù)平臺的架構(gòu)設(shè)計(jì)；

?云平臺的數(shù)據(jù)治理、數(shù)據(jù)圖譜、數(shù)據(jù)湖的設(shè)計(jì)與開發(fā)；

?大數(shù)據(jù)計(jì)算任務(wù)的需求分析、設(shè)計(jì)、開發(fā)和調(diào)優(yōu)；

任職要求：

?五年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)；

?精通大數(shù)據(jù)架構(gòu)體系，有兩年以上大數(shù)據(jù)平臺的架構(gòu)經(jīng)驗(yàn)；

?精通java、python、scala編程語言中的一種或多種；

?精通大數(shù)據(jù)實(shí)時(shí)計(jì)算、離線計(jì)算相關(guān)技術(shù)，如mapreduce，storm，spark， flink， elasticsearch等，有項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先；

?精通0zzie，azkaban，airflow等大數(shù)據(jù)計(jì)算調(diào)度框架，有開發(fā)過調(diào)度框架者優(yōu)先；

?精通大數(shù)據(jù)生態(tài)環(huán)境的常用中間件，如fluentd、kafka、logstash等；

?有工作熱情，愛崗敬業(yè)，有良好的抗壓能力和團(tuán)隊(duì)協(xié)作能力。