大數(shù)據(jù)工程師崗位職責(zé)16篇

第1篇 大數(shù)據(jù)運(yùn)維工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃、性能優(yōu)化；

2. 負(fù)責(zé)cloudera manage平臺(tái)各大數(shù)據(jù)組件(例例如：hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安裝調(diào)試與支持；

3. 深入研究大數(shù)據(jù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的hadoop運(yùn)維技術(shù)及發(fā)展方向；

4. 負(fù)責(zé)hadoop平臺(tái)的用戶管理、權(quán)限分配、資源分配；

崗位要求：

1. 熟悉apache hadoop、spark、kafka、hbase、hive等大數(shù)據(jù)組件的安裝部署、故障處理理、性能調(diào)優(yōu)，具有cdh等組件實(shí)際使用經(jīng)驗(yàn)；

2. 具有cloudera manage平臺(tái)搭建維護(hù)經(jīng)驗(yàn)；

3. 熟悉linu_，有cloudera使用經(jīng)驗(yàn)優(yōu)先；

4. 有一定的hql/sql性能調(diào)優(yōu)工作；

5. 熟悉azkaban工作流組件優(yōu)先。

第2篇 大數(shù)據(jù)java開發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé):

1、根據(jù)業(yè)務(wù)需求與前端組協(xié)作開發(fā)并實(shí)現(xiàn)各功能；

2、與架構(gòu)師一起確定后端研發(fā)中涉及到的技術(shù)框架選型及相關(guān)實(shí)現(xiàn)；

3、與架構(gòu)師一起確定協(xié)作完成核心接口的定義、使用、測(cè)試并保證業(yè)務(wù)代碼的運(yùn)行效率；

4、與測(cè)試組及運(yùn)維組協(xié)作實(shí)現(xiàn)產(chǎn)品上線，并監(jiān)控產(chǎn)品服務(wù)，及時(shí)處理線上異常；

5、能帶領(lǐng)小團(tuán)隊(duì)獨(dú)立工作，分解項(xiàng)目需求，完成模塊設(shè)計(jì)，組織評(píng)審，制訂開發(fā)計(jì)劃，保證質(zhì)量；

6、參與code review ，從技術(shù)層面帶領(lǐng)團(tuán)隊(duì)整體實(shí)力提升。

任職資格:

職位要求

1、計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷；

2、具有3年或以上java web項(xiàng)目開發(fā)工作經(jīng)驗(yàn)；

3、java基礎(chǔ)扎實(shí)，深入理解成熟java開源框架，如spring， springmvc等；

4、熟練使用和配置一種或一種以上tomcat、jetty、ngin_等主流應(yīng)用服務(wù)器；

5、熟練使用mysql等常用數(shù)據(jù)庫，對(duì)redis有深入理解和實(shí)際設(shè)計(jì)及使用經(jīng)驗(yàn)；

6、有豐富的高并發(fā)，高吞吐系統(tǒng)開發(fā)經(jīng)驗(yàn)；

7、有較強(qiáng)的承壓能力以及學(xué)習(xí)能力；

有以下經(jīng)驗(yàn)者優(yōu)先：

1、深入理解redis

2、了解apache karaf、apache camel，有相關(guān)使用經(jīng)驗(yàn)

3、熟悉阿里云或中間件相關(guān)技術(shù)

第3篇 大數(shù)據(jù)平臺(tái)(高級(jí))工程師-實(shí)驗(yàn)評(píng)估方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的灰度實(shí)驗(yàn)/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；

2、建立通用的用戶行為指標(biāo)體系，探索性發(fā)掘新指標(biāo)，研究業(yè)界領(lǐng)先的個(gè)性化評(píng)估方法；

3、從pb級(jí)超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證假設(shè)，為策略/產(chǎn)品改進(jìn)提供支持。

任職要求：

1、熟悉多項(xiàng)大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強(qiáng)悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對(duì)新技術(shù)有強(qiáng)烈的學(xué)習(xí)熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對(duì)數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動(dòng)業(yè)務(wù)、支撐決策上的價(jià)值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第4篇 資深大數(shù)據(jù)工程師職位描述與崗位職責(zé)任職要求

職位描述：

【崗位職責(zé)】：

1、參與公司數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)，負(fù)責(zé)大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫相關(guān)建設(shè)；

2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負(fù)責(zé)基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺(tái)的研發(fā)及數(shù)據(jù)倉庫建設(shè)，提供可靠的數(shù)據(jù)存儲(chǔ)和訪問能力；

3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運(yùn)行；

4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺(tái)系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲(chǔ)和計(jì)算架構(gòu)的性能；

5、負(fù)責(zé)數(shù)據(jù)平臺(tái)技術(shù)難點(diǎn)攻關(guān)、技術(shù)選型評(píng)估，參與開發(fā)流程的討論與優(yōu)化；

6、參與公司數(shù)據(jù)治理策略等的制訂和實(shí)施；

7、負(fù)責(zé)協(xié)助產(chǎn)品經(jīng)理進(jìn)行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計(jì)等工作；

8、負(fù)責(zé)系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導(dǎo)和培訓(xùn)數(shù)據(jù)工程師、不斷進(jìn)行系統(tǒng)優(yōu)化；

【任職資格】：

1、本科以上學(xué)歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗(yàn)，帶領(lǐng)過10人以上的大數(shù)據(jù)團(tuán)隊(duì)；

2、有大型分布式系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，負(fù)責(zé)過海量數(shù)據(jù)平臺(tái)上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計(jì)；

3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺(tái)如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù)，并有廣泛的實(shí)踐經(jīng)驗(yàn)，具備維護(hù)和解決生產(chǎn)問題的能力；

5、熟悉掌握分布式存儲(chǔ)和nosql數(shù)據(jù)庫技術(shù)（如monogodb、redis等），有實(shí)際生產(chǎn)項(xiàng)目應(yīng)用經(jīng)驗(yàn)；

6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識(shí)，熟悉常用設(shè)計(jì)模式

7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對(duì)其有廣泛的實(shí)踐與應(yīng)用經(jīng)驗(yàn)，樂于。

8、有民航、電子商務(wù)、風(fēng)控等大數(shù)據(jù)設(shè)計(jì)和從業(yè)經(jīng)驗(yàn)者優(yōu)先。

第5篇 大數(shù)據(jù)云計(jì)算工程師崗位職責(zé)

高級(jí)java開發(fā)工程師(云計(jì)算大數(shù)據(jù)方向) 中軟國際科技 中軟國際科技服務(wù)有限公司,中軟國際,中軟國際科技,中軟國際科技服務(wù),中軟 職責(zé)描述:

1、負(fù)責(zé)/參與應(yīng)用系統(tǒng)平臺(tái)設(shè)計(jì)、重構(gòu)、優(yōu)化,主導(dǎo)/參與技術(shù)難題攻關(guān);

2、負(fù)責(zé)并參與系統(tǒng)需求分析、功能模塊詳細(xì)設(shè)計(jì),完成系統(tǒng)業(yè)務(wù)功能實(shí)現(xiàn)、測(cè)試及維護(hù)工作;

3、負(fù)責(zé)編寫相應(yīng)的需求、設(shè)計(jì)與技術(shù)文檔,向系統(tǒng)使用者提供技術(shù)支持服務(wù);

4、參與線上系統(tǒng)環(huán)境的升級(jí)、運(yùn)維監(jiān)控、性能調(diào)優(yōu);

5、推動(dòng)跟進(jìn)業(yè)務(wù)線需求,為改善系統(tǒng)的功能積極提出建議。

任職要求:

1、3以上java語言開發(fā)經(jīng)驗(yàn),基礎(chǔ)扎實(shí), 熟練使用springmvc框架進(jìn)行開發(fā);

2、對(duì)多線程編程,線程安全等有較深理解. 能夠熟練使用線程池等常用功能;

3、熟練使用jpa,hibernate,mybatis中的一種或多種持久層框架;

4、熟練使用sql的crud命令;

5、具有庫表結(jié)構(gòu)設(shè)計(jì)能力, 并且有一定的sql開發(fā)及優(yōu)化能力。

第6篇 大數(shù)據(jù)開發(fā)工程師（數(shù)倉方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1. 理解業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、etl流程的開發(fā)和優(yōu)化工作；

2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報(bào)表、數(shù)據(jù)異常相關(guān)的技術(shù)問題；

3. spark/yarn/hdfs 的性能改進(jìn)、功能擴(kuò)展、故障分析；

任職資格：

1. 計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷；

2. 精通java編程語言，并熟悉scala、python、shell等一門以上腳本語言；

3. 熟悉hadoop大數(shù)據(jù)平臺(tái)架構(gòu)，熟悉spark/spark sql/yarn開發(fā)調(diào)優(yōu)技術(shù)，具有相關(guān)項(xiàng)目經(jīng)驗(yàn)

4. 掌握數(shù)據(jù)倉庫(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計(jì)理論，熟悉oracle/mysql數(shù)據(jù)庫；

5. 思路清晰，具備良好的溝通能力和理解能力，較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力；

6. 具有高度的責(zé)任感，工作認(rèn)真、踏實(shí)。

福利待遇：

1、薪酬：有競爭力的薪酬體系，我們不止跟你談理想，錢也必須談一談~

2、交通：無論天涯，免費(fèi)班車直達(dá)公司，驀然回首，地鐵就在公司不遠(yuǎn)處。。。

3、工作時(shí)間：5天7小時(shí)工作制，充足的休息讓你一整天元?dú)鉂M滿！

4、各種福利：五險(xiǎn)一金小case，節(jié)日禮物福利補(bǔ)貼說不完！

5、團(tuán)建活動(dòng)：下午茶，團(tuán)隊(duì)活動(dòng)，部門聚餐，經(jīng)費(fèi)充足不差錢，大公司就是這么壕！

6、發(fā)展平臺(tái)：想要升職加薪走向人生巔峰？上市公司晉升發(fā)展機(jī)會(huì)多多~

第7篇 數(shù)據(jù)平臺(tái)-大數(shù)據(jù)開發(fā)套件服務(wù)端高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、面向公司的大數(shù)據(jù)開發(fā)套件產(chǎn)品設(shè)計(jì)與研發(fā)，包括大數(shù)據(jù)任務(wù)建設(shè)平臺(tái)，元數(shù)據(jù)管理系統(tǒng)，數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)，任務(wù)運(yùn)維平臺(tái)等

2、參與需求調(diào)研與用戶技術(shù)支持

3、追求極致，構(gòu)建業(yè)內(nèi)領(lǐng)先的數(shù)據(jù)平臺(tái)產(chǎn)品

任職要求：

1、精通java/scala語言，包括jvm、類裝載、線程、并發(fā)、io資源管理、網(wǎng)絡(luò)

2、扎實(shí)的計(jì)算機(jī)基礎(chǔ)，對(duì)技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)

3、精通soa架構(gòu)和微服務(wù)架構(gòu)

4、有 ide 開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮

5、熟悉前端技術(shù)的全棧開發(fā)工程師優(yōu)先

6、熟悉hadoop ecosystem常用開源框架者優(yōu)先，例如hadoop/flink/spark等

第8篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、打造業(yè)界領(lǐng)先的存儲(chǔ)、計(jì)算等分布式系統(tǒng)；

2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。

任職要求：

1、掌握分布式系統(tǒng)原理，對(duì)存儲(chǔ)、計(jì)算、消息隊(duì)列、集群管理中的一項(xiàng)或多項(xiàng)有深入的理解和認(rèn)識(shí)；

2、樂于挑戰(zhàn)沒有明顯答案的問題，能快速理解業(yè)務(wù)場景，從具體問題中抽象出通用的解決方案；

3、存儲(chǔ)方向：對(duì) hdfs， rocksdb， leveldb， memcache， redis， mysql， hbase， kafka 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

4、計(jì)算方向：對(duì) spark， mapreduce， storm， hive， presto， impala 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

5、集群管理方向：對(duì) yarn， mesos 的一項(xiàng)或多項(xiàng)有經(jīng)驗(yàn)者優(yōu)先；

6、向開源社區(qū)貢獻(xiàn)過 patch 者優(yōu)先，請(qǐng)?jiān)诤啔v上說明。

第9篇 大數(shù)據(jù)工程師崗位職責(zé)職位要求

職責(zé)描述：

華為企業(yè)bg-大數(shù)據(jù)工程師

1、基于hadoop/spark/mppdb的大數(shù)據(jù)、數(shù)倉平臺(tái)架構(gòu)設(shè)計(jì)及開發(fā)工作

2、數(shù)據(jù)處理流程設(shè)計(jì)及開發(fā)

3、海量數(shù)據(jù)的采集、存儲(chǔ)、管理、分析、建模

4、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉平臺(tái)的監(jiān)控及優(yōu)化，針對(duì)持續(xù)增長的數(shù)據(jù)提供相應(yīng)的解決方案

5、負(fù)責(zé)大數(shù)據(jù)、數(shù)倉項(xiàng)目的疑難問題解決，性能優(yōu)化

專業(yè)知識(shí)要求：

1、有3年以上相關(guān)崗位工作經(jīng)歷，或者非金融業(yè)的數(shù)據(jù)服務(wù)或信息數(shù)據(jù)管理工作經(jīng)驗(yàn)

2、數(shù)學(xué)、計(jì)算機(jī)技術(shù)等相關(guān)專業(yè)

3、精通大數(shù)據(jù)（mppdb、hadoop）等相關(guān)技術(shù)，并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3個(gè)組件技術(shù)。

4、至少精通主流數(shù)據(jù)庫技術(shù)oracle/postresql/mysql/sql server中的一種，精通數(shù)據(jù)倉庫理論架構(gòu)，包括但不限于數(shù)據(jù)調(diào)度、etl、元數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控；

5、精通1-2門開發(fā)語言（java/python/scala/shell）

6、具有比較突出的組織、策劃、協(xié)調(diào)及溝通能力，有強(qiáng)烈的結(jié)果導(dǎo)向和客戶導(dǎo)向。

崗位要求：

學(xué)歷要求：本科

語言要求：不限

年齡要求：不限

工作年限：3-5年

第10篇 fwz-大數(shù)據(jù)挖掘工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、熟知公司業(yè)務(wù)數(shù)據(jù)和業(yè)務(wù)變化，構(gòu)建業(yè)務(wù)數(shù)據(jù)模型；

2、維護(hù)業(yè)務(wù)數(shù)據(jù)模型，驗(yàn)證數(shù)據(jù)質(zhì)量，保障數(shù)據(jù)完整和可靠；

3、進(jìn)行數(shù)據(jù)研發(fā)和分析，支持業(yè)務(wù)優(yōu)化、監(jiān)控和考核；

4、不斷學(xué)習(xí)數(shù)據(jù)技術(shù)，使用新技術(shù)高效完成任務(wù)。

5、平臺(tái)的搭建與數(shù)據(jù)維護(hù)

任職要求：

1、國內(nèi)外高校計(jì)算機(jī)、數(shù)學(xué)類相關(guān)專業(yè)，本科以上學(xué)歷；

2、2年以上大規(guī)模數(shù)據(jù)研發(fā)、挖掘、分析相關(guān)工作經(jīng)驗(yàn)；

3、熟悉mysql、oracle、sqlserver或至少其中之一，熟悉sql語言；

4、具有hadoop、hive、hbase、spark、strom等開源工具的使用經(jīng)驗(yàn)，并能結(jié)合不同的業(yè)務(wù)場景使用；

5、具有python、shell開發(fā)經(jīng)驗(yàn)；

6、有物流行業(yè)相關(guān)工作經(jīng)驗(yàn)者優(yōu)先；

7、了解數(shù)理統(tǒng)計(jì)、數(shù)據(jù)分析及挖掘，熟知常用算法，有運(yùn)用機(jī)器學(xué)習(xí)算法建模的理論基礎(chǔ)或?qū)嶋H經(jīng)驗(yàn)者優(yōu)先；應(yīng)用大數(shù)據(jù)平臺(tái)完成項(xiàng)目或任務(wù)。

第11篇 大數(shù)據(jù)工程師崗位工作職責(zé)

簡介:大數(shù)據(jù)(big data),指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)工程師職位描述(模板一)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);

2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;

3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化;

4.對(duì)業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;

5.對(duì)公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上java開發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;

2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

3.熟練掌握oracle、mysql等主流數(shù)據(jù)庫;

4.精通java,熟悉基于j2ee的web架構(gòu)設(shè)計(jì),熟悉web開發(fā)流程,有豐富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)開發(fā)經(jīng)驗(yàn);

5.熟悉linu_/uni_系統(tǒng)環(huán)境下的操作;熟悉tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問題的能力。大數(shù)據(jù)工程師職位描述(模板二)

崗位職責(zé):

1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);

2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);

3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。

任職要求:

1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)畢業(yè);

2.具有扎實(shí)的java基礎(chǔ),精通sql、mysql以及2年以上軟件開發(fā)經(jīng)驗(yàn);

3.熟悉hadoop平臺(tái)架構(gòu),有hadooop、hbase、hive、spark、kafka使用經(jīng)驗(yàn);

4.熟練python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁爬取;

5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。大數(shù)據(jù)工程師職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、設(shè)計(jì)、優(yōu)化和落地;

2.負(fù)責(zé)數(shù)據(jù)etl開發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā)。

任職要求:

1.985院校計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;

2.有較扎實(shí)的數(shù)據(jù)倉庫理論基礎(chǔ),對(duì)數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);

3.有hadoop、hive、spark、impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。大數(shù)據(jù)工程師職位描述(模板四)

崗位職責(zé):

1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;

2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營指標(biāo);

3.對(duì)產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。

任職要求:

1.計(jì)算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;

3.熟悉linu_服務(wù)器環(huán)境、熟悉shell;

4.熟悉分布式系統(tǒng)、集群管理、soa架構(gòu)等相關(guān)技術(shù),熟悉hadoop on yarn集群部署和工作原理,熟練掌握mr開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗(yàn)更佳;

5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。大數(shù)據(jù)工程師職位描述(模板五)

崗位職責(zé):

1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開發(fā)工作;

2.利用hadoop yarn/storm/spark進(jìn)行開發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);

3.優(yōu)化hadoop yarn/storm/spark 參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;

4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;

5.開發(fā)基于hive、hbase、es等數(shù)據(jù)處理方式的腳本程序。

任職要求:

1.3年以上hadoop/storm/spark開發(fā)經(jīng)驗(yàn),對(duì)分布式、并行計(jì)算理論有深刻理解;

2.精通java/scala/python任一語言;

3.對(duì)hadoop/storm/spark源碼有研究,有大數(shù)據(jù)平臺(tái)開發(fā)工作經(jīng)驗(yàn)者優(yōu)先;

4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;

5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能力。

第12篇 大數(shù)據(jù)計(jì)算引擎高級(jí)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、研發(fā)業(yè)界領(lǐng)先的大數(shù)據(jù)計(jì)算引擎，服務(wù)于今日頭條全公司的數(shù)十個(gè)用戶產(chǎn)品線；

2、面向超大規(guī)模數(shù)據(jù)問題，每天千億增量的用戶行為數(shù)據(jù)，秒級(jí)處理pb級(jí)別的數(shù)據(jù)計(jì)算；

3、善于理解和抽象業(yè)務(wù)問題，支撐多樣的海量數(shù)據(jù)分析場景。

任職要求：

1、強(qiáng)悍的系統(tǒng)設(shè)計(jì)&編碼能力，追求優(yōu)雅的設(shè)計(jì)和優(yōu)秀的代碼質(zhì)量，高標(biāo)準(zhǔn)，快速行動(dòng)；

2、對(duì)hive/kylin/presto/spark/tez/impala 的一項(xiàng)或多項(xiàng)有深入研究者優(yōu)先；

3、有pb規(guī)模的數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先/4、開源項(xiàng)目commiter或貢獻(xiàn)過patch 者優(yōu)先，請(qǐng)?jiān)诤啔v上說明。

第13篇 sfj-大數(shù)據(jù)挖掘與分析工程師（數(shù)據(jù)分析方向）職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、用系統(tǒng)化的方法分析業(yè)務(wù)變化趨勢(shì)，為管理層決策和產(chǎn)品完善提供數(shù)據(jù)支持；

2、運(yùn)用hive/sql做數(shù)據(jù)挖掘分析，用數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品改進(jìn)、業(yè)務(wù)發(fā)展；

3、指導(dǎo)與支持產(chǎn)品經(jīng)理、業(yè)務(wù)經(jīng)理設(shè)定目標(biāo)，并檢驗(yàn)是否達(dá)標(biāo)。

任職要求：

1、統(tǒng)計(jì)、生物統(tǒng)計(jì)、運(yùn)籌、應(yīng)用數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷；

2、三年以上在互聯(lián)網(wǎng)或物聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)分析工作經(jīng)驗(yàn)；有app數(shù)據(jù)運(yùn)營、物流數(shù)據(jù)分析經(jīng)驗(yàn)的優(yōu)先；

3、優(yōu)秀的商業(yè)分析能力，有及時(shí)發(fā)現(xiàn)和分析其中隱含問題的敏銳性 ，能從復(fù)雜用戶行為數(shù)據(jù)進(jìn)行抽象概括，建立數(shù)學(xué)模型并用ppt等表達(dá)；

4、熟悉sql與hive，掌握統(tǒng)計(jì)分析方法；

5、有設(shè)計(jì)a/b test的能力，精通各種統(tǒng)計(jì)假設(shè)檢驗(yàn)的方法，如：t-test， chi-square等；

6、具備r或python能力。

第14篇 大數(shù)據(jù)主任工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1. 負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2. 負(fù)責(zé) kyligence enterprise 大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì);

3. 負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制，指導(dǎo)開發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);

4. 負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);

5. 參與 kyligence enterprise/apache kylin 的應(yīng)用設(shè)計(jì)、開發(fā)、測(cè)試及優(yōu)化工作。

任職要求：

1. 計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷;

2. 有 3 年以上工作經(jīng)驗(yàn)，其中包括2年以上大數(shù)據(jù)平臺(tái)架構(gòu)和系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);

3. 精通 hadoop、hive、hbase原理，熟悉大數(shù)據(jù)生態(tài)技術(shù)，如storm、spark、flink、kafka、zookeeper等，有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn)，能根據(jù)業(yè)務(wù)場景設(shè)計(jì)合適的技術(shù)棧完成業(yè)務(wù)需求

4. 熟練sql 語言，掌握 oracle、db2、mysql 等一種或多種數(shù)據(jù)庫系統(tǒng)的使用，有一定的 sql 性能調(diào)優(yōu)經(jīng)驗(yàn);

5. 至少熟悉 java，scala，python，shell等編程語言中的2種;

6. 優(yōu)秀的分析和解決問題的能力，對(duì)挑戰(zhàn)性問題充滿激情;

7. 具備良好的團(tuán)隊(duì)合作精神，較強(qiáng)的溝通能力，具備良好的技術(shù)領(lǐng)導(dǎo)能力;

8. 有數(shù)據(jù)倉庫背景或者 apache kylin 的開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;

第15篇 大數(shù)據(jù)開發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé):

1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開發(fā)；

2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉庫模型設(shè)計(jì)，熟練使用kettle工具進(jìn)行etl程序的開發(fā)；包括實(shí)時(shí)數(shù)據(jù)加工，計(jì)算，etl，管理， 監(jiān)控等；

3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項(xiàng)目中涉及到的數(shù)據(jù)庫創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；

4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉庫的建設(shè)；

5、 制定數(shù)據(jù)庫備份和恢復(fù)策略及工作流程與規(guī)范。

6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。

任職資格:

1．從事數(shù)據(jù)倉庫領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉庫模型設(shè)計(jì)與etl開發(fā)經(jīng)驗(yàn) ，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)；

2. 熟悉數(shù)據(jù)倉庫領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；

3．有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察hive、hdfs、hbase;

4. 熟練掌握kettlesqoop、data_、airflow等;

5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn)，尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;

7．有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。

第16篇 大數(shù)據(jù)基礎(chǔ)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1、負(fù)責(zé)公司內(nèi)部大數(shù)據(jù)平臺(tái)的選型與優(yōu)化工作；

2、參與整體系統(tǒng)架構(gòu)的規(guī)劃，維護(hù)公司的大數(shù)據(jù)生產(chǎn)平臺(tái)，不斷優(yōu)化系統(tǒng)性能；

3、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)框架，并協(xié)助其他部門開發(fā)與優(yōu)化出高效的并行計(jì)算程序；

4、開發(fā)適合公司業(yè)務(wù)的大數(shù)據(jù)存儲(chǔ)平臺(tái)，完成pb級(jí)別的高性能存儲(chǔ)作業(yè)。

任職要求：

1、985/211院校計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)，有良好的計(jì)算機(jī)基礎(chǔ)；

2、熟悉java語言，熟練使用idea或eclipse，有第二門語言者優(yōu)先（python，c++）；

3， 熟悉centos、ubuntu、等linu_操作系統(tǒng);

4，兩年以上研發(fā)工作經(jīng)驗(yàn)，有中層管理經(jīng)驗(yàn)者優(yōu)先；

5，3年以上使用hadoop/hbase等分布式平臺(tái)經(jīng)驗(yàn)，有過管理pb級(jí)別數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先；

6，熟悉hadoop/hbase的各類配置與插件開發(fā)，有過源碼修改與插件開發(fā)經(jīng)驗(yàn)者優(yōu)先；

7，有過大型項(xiàng)目（使用人數(shù)超過100萬，日均pv超過1億）的參與經(jīng)驗(yàn)優(yōu)先。