大數(shù)據(jù)工程師崗位職責(zé)16篇

第1篇 大數(shù)據(jù)運(yùn)維工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 負(fù)責(zé)大數(shù)據(jù)平臺的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃、性能優(yōu)化；

2. 負(fù)責(zé)cloudera manage平臺各大數(shù)據(jù)組件(例例如：hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安裝調(diào)試與支持；

3. 深入研究大數(shù)據(jù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的hadoop運(yùn)維技術(shù)及發(fā)展方向；

4. 負(fù)責(zé)hadoop平臺的用戶管理、權(quán)限分配、資源分配；

崗位要求：

1. 熟悉apache hadoop、spark、kafka、hbase、hive等大數(shù)據(jù)組件的安裝部署、故障處理理、性能調(diào)優(yōu)，具有cdh等組件實際使用經(jīng)驗；

2. 具有cloudera manage平臺搭建維護(hù)經(jīng)驗；

3. 熟悉linu_，有cloudera使用經(jīng)驗優(yōu)先；

4. 有一定的hql/sql性能調(diào)優(yōu)工作；

5. 熟悉azkaban工作流組件優(yōu)先。

第2篇 大數(shù)據(jù)java開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé):

1、根據(jù)業(yè)務(wù)需求與前端組協(xié)作開發(fā)并實現(xiàn)各功能；

2、與架構(gòu)師一起確定后端研發(fā)中涉及到的技術(shù)框架選型及相關(guān)實現(xiàn)；

3、與架構(gòu)師一起確定協(xié)作完成核心接口的定義、使用、測試并保證業(yè)務(wù)代碼的運(yùn)行效率；

4、與測試組及運(yùn)維組協(xié)作實現(xiàn)產(chǎn)品上線，并監(jiān)控產(chǎn)品服務(wù)，及時處理線上異常；

5、能帶領(lǐng)小團(tuán)隊獨(dú)立工作，分解項目需求，完成模塊設(shè)計，組織評審，制訂開發(fā)計劃，保證質(zhì)量；

6、參與code review ，從技術(shù)層面帶領(lǐng)團(tuán)隊整體實力提升。

任職資格:

職位要求

1、計算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷；

2、具有3年或以上java web項目開發(fā)工作經(jīng)驗；

3、java基礎(chǔ)扎實，深入理解成熟java開源框架，如spring， springmvc等；

4、熟練使用和配置一種或一種以上tomcat、jetty、ngin_等主流應(yīng)用服務(wù)器；

5、熟練使用mysql等常用數(shù)據(jù)庫，對redis有深入理解和實際設(shè)計及使用經(jīng)驗；

6、有豐富的高并發(fā)，高吞吐系統(tǒng)開發(fā)經(jīng)驗；

7、有較強(qiáng)的承壓能力以及學(xué)習(xí)能力；

有以下經(jīng)驗者優(yōu)先：

1、深入理解redis

2、了解apache karaf、apache camel，有相關(guān)使用經(jīng)驗

3、熟悉阿里云或中間件相關(guān)技術(shù)

第3篇 大數(shù)據(jù)平臺(高級)工程師-實驗評估方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的灰度實驗/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；

2、建立通用的用戶行為指標(biāo)體系，探索性發(fā)掘新指標(biāo)，研究業(yè)界領(lǐng)先的個性化評估方法；

3、從pb級超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計實驗驗證假設(shè)，為策略/產(chǎn)品改進(jìn)提供支持。

任職要求：

1、熟悉多項大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動業(yè)務(wù)、支撐決策上的價值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第4篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

【崗位職責(zé)】：

1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計，負(fù)責(zé)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè)；

2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè)，提供可靠的數(shù)據(jù)存儲和訪問能力；

3、負(fù)責(zé)公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；

4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲和計算架構(gòu)的性能；

5、負(fù)責(zé)數(shù)據(jù)平臺技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評估，參與開發(fā)流程的討論與優(yōu)化；

6、參與公司數(shù)據(jù)治理策略等的制訂和實施；

7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

【任職資格】：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗，帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊；

2、有大型分布式系統(tǒng)設(shè)計經(jīng)驗，負(fù)責(zé)過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計；

3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù)，并有廣泛的實踐經(jīng)驗，具備維護(hù)和解決生產(chǎn)問題的能力；

5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)（如monogodb、redis等），有實際生產(chǎn)項目應(yīng)用經(jīng)驗；

6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識，熟悉常用設(shè)計模式

7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對其有廣泛的實踐與應(yīng)用經(jīng)驗，樂于。

8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計和從業(yè)經(jīng)驗者優(yōu)先。

第5篇 大數(shù)據(jù)云計算工程師崗位職責(zé)

高級java開發(fā)工程師(云計算大數(shù)據(jù)方向) 中軟國際科技 中軟國際科技服務(wù)有限公司,中軟國際,中軟國際科技,中軟國際科技服務(wù),中軟 職責(zé)描述:

1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺設(shè)計、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);

2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計,完成系統(tǒng)業(yè)務(wù)功能實現(xiàn)、測試及維護(hù)工作;

3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);

4、參與線上系統(tǒng)環(huán)境的升級、運(yùn)維監(jiān)控、性能調(diào)優(yōu);

5、推動跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。

任職要求:

1、3以上java語言開發(fā)經(jīng)驗,基礎(chǔ)扎實, 熟練使用springmvc框架進(jìn)行開發(fā);

2、對多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;

3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;

4、熟練使用sql的crud命令;

5、具有庫表結(jié)構(gòu)設(shè)計能力, 并且有一定的sql開發(fā)及優(yōu)化能力。

第6篇 大數(shù)據(jù)開發(fā)工程師（數(shù)倉方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 理解業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、etl流程的開發(fā)和優(yōu)化工作；

2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報表、數(shù)據(jù)異常相關(guān)的技術(shù)問題；

3. spark/yarn/hdfs 的性能改進(jìn)、功能擴(kuò)展、故障分析；

任職資格：

1. 計算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷；

2. 精通java編程語言，并熟悉scala、python、shell等一門以上腳本語言；

3. 熟悉hadoop大數(shù)據(jù)平臺架構(gòu)，熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù)，具有相關(guān)項目經(jīng)驗

4. 掌握數(shù)據(jù)倉庫(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計理論，熟悉oracle/mysql數(shù)據(jù)庫；

5. 思路清晰，具備良好的溝通能力和理解能力，較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力；

6. 具有高度的責(zé)任感，工作認(rèn)真、踏實。

福利待遇：

1、薪酬：有競爭力的薪酬體系，我們不止跟你談理想，錢也必須談一談~

2、交通：無論天涯，免費(fèi)班車直達(dá)公司，驀然回首，地鐵就在公司不遠(yuǎn)處。。。

3、工作時間：5天7小時工作制，充足的休息讓你一整天元?dú)鉂M滿！

4、各種福利：五險一金小case，節(jié)日禮物福利補(bǔ)貼說不完！

5、團(tuán)建活動：下午茶，團(tuán)隊活動，部門聚餐，經(jīng)費(fèi)充足不差錢，大公司就是這么壕！

6、發(fā)展平臺：想要升職加薪走向人生巔峰？上市公司晉升發(fā)展機(jī)會多多~

第7篇 數(shù)據(jù)平臺-大數(shù)據(jù)開發(fā)套件服務(wù)端高級工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、面向公司的大數(shù)據(jù)開發(fā)套件產(chǎn)品設(shè)計與研發(fā)，包括大數(shù)據(jù)任務(wù)建設(shè)平臺，元數(shù)據(jù)管理系統(tǒng)，數(shù)據(jù)質(zhì)量監(jiān)控平臺，任務(wù)運(yùn)維平臺等

2、參與需求調(diào)研與用戶技術(shù)支持

3、追求極致，構(gòu)建業(yè)內(nèi)領(lǐng)先的數(shù)據(jù)平臺產(chǎn)品

任職要求：

1、精通java/scala語言，包括jvm、類裝載、線程、并發(fā)、io資源管理、網(wǎng)絡(luò)

2、扎實的計算機(jī)基礎(chǔ)，對技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)

3、精通soa架構(gòu)和微服務(wù)架構(gòu)

4、有 ide 開發(fā)經(jīng)驗者優(yōu)先考慮

5、熟悉前端技術(shù)的全棧開發(fā)工程師優(yōu)先

6、熟悉hadoop ecosystem常用開源框架者優(yōu)先，例如hadoop/flink/spark等

第8篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、打造業(yè)界領(lǐng)先的存儲、計算等分布式系統(tǒng)；

2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。

任職要求：

1、掌握分布式系統(tǒng)原理，對存儲、計算、消息隊列、集群管理中的一項或多項有深入的理解和認(rèn)識；

2、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務(wù)場景，從具體問題中抽象出通用的解決方案；

3、存儲方向：對 hdfs， rocksdb， leveldb， memcache， redis， mysql， hbase， kafka 的一項或多項有經(jīng)驗者優(yōu)先；

4、計算方向：對 spark， mapreduce， storm， hive， presto， impala 的一項或多項有經(jīng)驗者優(yōu)先；

5、集群管理方向：對 yarn， mesos 的一項或多項有經(jīng)驗者優(yōu)先；

6、向開源社區(qū)貢獻(xiàn)過 patch 者優(yōu)先，請在簡歷上說明。

第9篇 大數(shù)據(jù)工程師崗位職責(zé)職位要求

職責(zé)描述：

華為企業(yè)bg-大數(shù)據(jù)工程師

1、基于hadoop/spark/mppdb的大數(shù)據(jù)、數(shù)倉平臺架構(gòu)設(shè)計及開發(fā)工作

2、數(shù)據(jù)處理流程設(shè)計及開發(fā)

3、海量數(shù)據(jù)的采集、存儲、管理、分析、建模

4、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉平臺的監(jiān)控及優(yōu)化，針對持續(xù)增長的數(shù)據(jù)提供相應(yīng)的解決方案

5、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉項目的疑難問題解決，性能優(yōu)化

專業(yè)知識要求：

1、有3年以上相關(guān)崗位工作經(jīng)歷，或者非金融業(yè)的數(shù)據(jù)服務(wù)或信息數(shù)據(jù)管理工作經(jīng)驗

2、數(shù)學(xué)、計算機(jī)技術(shù)等相關(guān)專業(yè)

3、精通大數(shù)據(jù)（mppdb、hadoop）等相關(guān)技術(shù)，并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個組件技術(shù)。

4、至少精通主流數(shù)據(jù)庫技術(shù)oracle/postresql/mysql/sql server中的一種，精通數(shù)據(jù)倉庫理論架構(gòu)，包括但不限于數(shù)據(jù)調(diào)度、etl、元數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控；

5、精通1-2門開發(fā)語言（java/python/scala/shell）

6、具有比較突出的組織、策劃、協(xié)調(diào)及溝通能力，有強(qiáng)烈的結(jié)果導(dǎo)向和客戶導(dǎo)向。

崗位要求：

學(xué)歷要求：本科

語言要求：不限

年齡要求：不限

工作年限：3-5年

第10篇 fwz-大數(shù)據(jù)挖掘工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、熟知公司業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)變化，構(gòu)建業(yè)務(wù)數(shù)據(jù)模型；

2、維護(hù)業(yè)務(wù)數(shù)據(jù)模型，驗證數(shù)據(jù)質(zhì)量，保障數(shù)據(jù)完整和可靠；

3、進(jìn)行數(shù)據(jù)研發(fā)和分析，支持業(yè)務(wù)優(yōu)化、監(jiān)控和考核；

4、不斷學(xué)習(xí)數(shù)據(jù)技術(shù)，使用新技術(shù)高效完成任務(wù)。

5、平臺的搭建與數(shù)據(jù)維護(hù)

任職要求：

1、國內(nèi)外高校計算機(jī)、數(shù)學(xué)類相關(guān)專業(yè)，本科以上學(xué)歷；

2、2年以上大規(guī)模數(shù)據(jù)研發(fā)、挖掘、分析相關(guān)工作經(jīng)驗；

3、熟悉mysql、oracle、sqlserver或至少其中之一，熟悉sql語言；

4、具有hadoop、hive、hbase、spark、strom等開源工具的使用經(jīng)驗，并能結(jié)合不同的業(yè)務(wù)場景使用；

5、具有python、shell開發(fā)經(jīng)驗；

6、有物流行業(yè)相關(guān)工作經(jīng)驗者優(yōu)先；

7、了解數(shù)理統(tǒng)計、數(shù)據(jù)分析及挖掘，熟知常用算法，有運(yùn)用機(jī)器學(xué)習(xí)算法建模的理論基礎(chǔ)或?qū)嶋H經(jīng)驗者優(yōu)先；應(yīng)用大數(shù)據(jù)平臺完成項目或任務(wù)。

第11篇 大數(shù)據(jù)工程師崗位工作職責(zé)

簡介:大數(shù)據(jù)(big data),指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)工程師職位描述(模板一)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);

2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;

3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺的搭建、開發(fā)、維護(hù)、優(yōu)化;

4.對業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實現(xiàn)與支持;

5.對公司的“數(shù)據(jù)驅(qū)動運(yùn)營”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實現(xiàn)。

任職要求:

1.計算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗,學(xué)習(xí)能力突出;

2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗,有實際大數(shù)據(jù)項目經(jīng)驗優(yōu)先;

3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫;

4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計,熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗;

5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團(tuán)隊協(xié)作精神,有較強(qiáng)的分析和解決問題的能力。大數(shù)據(jù)工程師職位描述(模板二)

崗位職責(zé):

1.大數(shù)據(jù)平臺功能規(guī)劃、設(shè)計;

2.大數(shù)據(jù)平臺的設(shè)計、研發(fā);

3.大數(shù)據(jù)平臺實施、數(shù)據(jù)接入。

任職要求:

1.統(tǒng)招本科及以上學(xué)歷,計算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計學(xué)相關(guān)專業(yè)畢業(yè);

2.具有扎實的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗;

3.熟悉hadoop平臺架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗;

4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁爬取;

5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識別經(jīng)驗優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、設(shè)計、優(yōu)化和落地;

2.負(fù)責(zé)數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺建設(shè)、設(shè)計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。

任職要求:

1.985院校計算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;

2.有較扎實的數(shù)據(jù)倉庫理論基礎(chǔ),對數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗;

3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)

崗位職責(zé):

1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;

2.結(jié)合業(yè)務(wù)需求設(shè)計數(shù)據(jù)分析場景,并形成后臺實現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營指標(biāo);

3.對產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。

任職要求:

1.計算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗;

2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;

3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;

4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗更佳;

5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團(tuán)隊精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)

崗位職責(zé):

1.負(fù)責(zé)大數(shù)據(jù)處理平臺應(yīng)用的開發(fā)工作;

2.利用hadoop yarn/storm/spark進(jìn)行開發(fā)、存儲、分布式計算應(yīng)用的代碼實現(xiàn);

3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實時大數(shù)據(jù)處理需求;

4.學(xué)習(xí)新技術(shù),提高整個平臺的計算能力和效率;

5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。

任職要求:

1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗,對分布式、并行計算理論有深刻理解;

2.精通java/scala/python任一語言;

3.對hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺開發(fā)工作經(jīng)驗者優(yōu)先;

4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;

5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊合作能力、文檔編寫能力。

第12篇 大數(shù)據(jù)計算引擎高級工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的大數(shù)據(jù)計算引擎，服務(wù)于今日頭條全公司的數(shù)十個用戶產(chǎn)品線；

2、面向超大規(guī)模數(shù)據(jù)問題，每天千億增量的用戶行為數(shù)據(jù)，秒級處理pb級別的數(shù)據(jù)計算；

3、善于理解和抽象業(yè)務(wù)問題，支撐多樣的海量數(shù)據(jù)分析場景。

任職要求：

1、強(qiáng)悍的系統(tǒng)設(shè)計&編碼能力，追求優(yōu)雅的設(shè)計和優(yōu)秀的代碼質(zhì)量，高標(biāo)準(zhǔn)，快速行動；

2、對hive/kylin/presto/spark/tez/impala 的一項或多項有深入研究者優(yōu)先；

3、有pb規(guī)模的數(shù)據(jù)處理經(jīng)驗者優(yōu)先/4、開源項目commiter或貢獻(xiàn)過patch 者優(yōu)先，請在簡歷上說明。

第13篇 sfj-大數(shù)據(jù)挖掘與分析工程師（數(shù)據(jù)分析方向）職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、用系統(tǒng)化的方法分析業(yè)務(wù)變化趨勢，為管理層決策和產(chǎn)品完善提供數(shù)據(jù)支持；

2、運(yùn)用hive/sql做數(shù)據(jù)挖掘分析，用數(shù)據(jù)驅(qū)動產(chǎn)品改進(jìn)、業(yè)務(wù)發(fā)展；

3、指導(dǎo)與支持產(chǎn)品經(jīng)理、業(yè)務(wù)經(jīng)理設(shè)定目標(biāo)，并檢驗是否達(dá)標(biāo)。

任職要求：

1、統(tǒng)計、生物統(tǒng)計、運(yùn)籌、應(yīng)用數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷；

2、三年以上在互聯(lián)網(wǎng)或物聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)分析工作經(jīng)驗；有app數(shù)據(jù)運(yùn)營、物流數(shù)據(jù)分析經(jīng)驗的優(yōu)先；

3、優(yōu)秀的商業(yè)分析能力，有及時發(fā)現(xiàn)和分析其中隱含問題的敏銳性 ，能從復(fù)雜用戶行為數(shù)據(jù)進(jìn)行抽象概括，建立數(shù)學(xué)模型并用ppt等表達(dá)；

4、熟悉sql與hive，掌握統(tǒng)計分析方法；

5、有設(shè)計a/b test的能力，精通各種統(tǒng)計假設(shè)檢驗的方法，如：t-test， chi-square等；

6、具備r或python能力。

第14篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計;

3. 負(fù)責(zé)技術(shù)設(shè)計及技術(shù)實現(xiàn)規(guī)范編制，指導(dǎo)開發(fā)團(tuán)隊進(jìn)行項目設(shè)計、項目實現(xiàn)及技術(shù)匯報;

4. 負(fù)責(zé)項目重難點(diǎn)模塊的功能設(shè)計和難點(diǎn)攻堅;

5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計、開發(fā)、測試及優(yōu)化工作。

任職要求：

1. 計算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷;

2. 有 3 年以上工作經(jīng)驗，其中包括2年以上大數(shù)據(jù)平臺架構(gòu)和系統(tǒng)設(shè)計經(jīng)驗;

3. 精通 hadoop、hive、hbase原理，熟悉大數(shù)據(jù)生態(tài)技術(shù)，如storm、spark、flink、kafka、zookeeper等，有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗，能根據(jù)業(yè)務(wù)場景設(shè)計合適的技術(shù)棧完成業(yè)務(wù)需求

4. 熟練sql 語言，掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫系統(tǒng)的使用，有一定的 sql 性能調(diào)優(yōu)經(jīng)驗;

5. 至少熟悉 java，scala，python，shell等編程語言中的2種;

6. 優(yōu)秀的分析和解決問題的能力，對挑戰(zhàn)性問題充滿激情;

7. 具備良好的團(tuán)隊合作精神，較強(qiáng)的溝通能力，具備良好的技術(shù)領(lǐng)導(dǎo)能力;

8. 有數(shù)據(jù)倉庫背景或者 apache kylin 的開發(fā)經(jīng)驗者優(yōu)先考慮;

第15篇 大數(shù)據(jù)開發(fā)高級工程師-etl方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé):

1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺的項目開發(fā)；

2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉庫模型設(shè)計，熟練使用kettle工具進(jìn)行etl程序的開發(fā)；包括實時數(shù)據(jù)加工，計算，etl，管理， 監(jiān)控等；

3、 負(fù)責(zé)針對源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；

4、 負(fù)責(zé)設(shè)計并優(yōu)化基于hive 的數(shù)據(jù)倉庫的建設(shè)；

5、 制定數(shù)據(jù)庫備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。

任職資格:

1．從事數(shù)據(jù)倉庫領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉庫模型設(shè)計與etl開發(fā)經(jīng)驗 ，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗；

2. 熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；

3．有從事分布式數(shù)據(jù)存儲與計算平臺應(yīng)用開發(fā)經(jīng)驗，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實踐經(jīng)驗著優(yōu)先，重點(diǎn)考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗，尤其快消品行業(yè)和財務(wù)領(lǐng)域數(shù)據(jù)項目經(jīng)驗者優(yōu)先;

6. 熟悉分布式計算presto/imapa優(yōu)先;

7．有實時計算方面的經(jīng)驗的優(yōu)先。

第16篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、負(fù)責(zé)公司內(nèi)部大數(shù)據(jù)平臺的選型與優(yōu)化工作；

2、參與整體系統(tǒng)架構(gòu)的規(guī)劃，維護(hù)公司的大數(shù)據(jù)生產(chǎn)平臺，不斷優(yōu)化系統(tǒng)性能；

3、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)框架，并協(xié)助其他部門開發(fā)與優(yōu)化出高效的并行計算程序；

4、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)存儲平臺，完成pb級別的高性能存儲作業(yè)。

任職要求：

1、985/211院校計算機(jī)相關(guān)專業(yè)畢業(yè)，有良好的計算機(jī)基礎(chǔ)；

2、熟悉java語言，熟練使用idea或eclipse，有第二門語言者優(yōu)先（python，c++）；

3， 熟悉centos、ubuntu、等linu_操作系統(tǒng);

4，兩年以上研發(fā)工作經(jīng)驗，有中層管理經(jīng)驗者優(yōu)先；

5，3年以上使用hadoop/hbase等分布式平臺經(jīng)驗，有過管理pb級別數(shù)據(jù)經(jīng)驗者優(yōu)先；

6，熟悉hadoop/hbase的各類配置與插件開發(fā)，有過源碼修改與插件開發(fā)經(jīng)驗者優(yōu)先；

7，有過大型項目（使用人數(shù)超過100萬，日均pv超過1億）的參與經(jīng)驗優(yōu)先。