- 目錄
-
第1篇 大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、根據業(yè)務需求進行數據模型的調研、設計、開發(fā)及驗證工作,并持續(xù)進行模型的優(yōu)化;
2、負責數據模型架構的構建,建立數據抽取、清洗、校驗等數據加工流程規(guī)范及olap多維數據分析模型;
3、持續(xù)對系統的技術架構進行改進和優(yōu)化,提升海量數據的查詢性能和用戶體驗。
任職資格:
1、統招本科或以上學歷,計算機、數據挖掘等相關專業(yè),工作至少3年以上;
2、熟悉java開發(fā),有腳本語言(shell,python)開發(fā)經驗者優(yōu)先;
3、至少熟悉一種大數據處理技術,如hadoop、spark;
4、掌握hbase、redis、elastic search等開源大數據存儲技術,并能結合不同的業(yè)務場景深入使用;
5、精通sql,精通mysql、oracle、sql server等一種大型數據庫,以及數據庫的維護和優(yōu)化。
6、熟悉常用java web開發(fā)框架,如:spring、mybatis等;
7、熟悉多線程編程,并對java自帶線程池有一定研究;
8、對解決具有挑戰(zhàn)性的問題充滿激情,具有良好的分析問題和解決問題的能力。
第2篇 大數據開發(fā)工程師/架構師職位描述與崗位職責任職要求
職位描述:
1、8年以上后端開發(fā)經驗,有大數據處理經驗;有實時處理工作經歷并有一定解決方案者優(yōu)先;
2、熟悉大數據開源技術,包含(不限于)hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/計算/存儲/檢索等相關技術,并有一定的hadoop生態(tài)系統運維經驗;
3、至少掌握java/scala/python其中一門開發(fā)語言;
4、掌握sql,sparksql進行數據開發(fā);較好的sql性能調優(yōu)經驗;
5、優(yōu)秀的分析、解決問題能力,充分的數據敏感度;有一定的高性能支撐經驗和故障排除能力;
6、具備強烈的工作責任感,喜歡鉆研,態(tài)度樂觀,團隊意識強。
第3篇 數據開發(fā)工程師-olap方向職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責 olap 引擎核心模塊的開發(fā)工作,保障平臺的穩(wěn)定和可靠;
2、負責各開源 olap 引擎的二次開發(fā)、性能調優(yōu)和疑難問題解決。
任職資格:
0、計算機,數學等計算機相關專業(yè),本科及以上;
1、學習能力和編碼能力,對大數據技術有鉆研熱情;
2、熟悉分布式系統,有良好的java基礎;
3、熟悉hadoop生態(tài)圈大數據組件,參與開源社區(qū)者優(yōu)先;
4、有使用 hadoop、hdfs、hbase、allu_io、druid、es、hive、spark、yarn、mapreduce、kafka、flink、presto 等經驗。
第4篇 bi數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責數據bi系統的整體工作,包括對接需求、架構設計、項目研發(fā)、性能調優(yōu)等
2. 負責數據倉庫的日常運維工作,包括環(huán)境維護、采集數據、安全存儲等
任職要求:
1. 計算機相關專業(yè)大專以上學歷,3年以上大數據相關的工作經驗
2. 具備據庫系統的基本理論知識,至少熟悉一種傳統的數據庫產品如mysql等,并熟練使用sql語句
3. 掌握hadoop、hive、mapreduce、spark等大數據相關技術,熟練使用hql了解其原理并可完成調優(yōu)工作
4. 熟悉linu_操作系統,熟練shell編程
5. 至少掌握python、java其中一種
6. 熟悉數據收集工具,如logstash、flume、kafka等
7. 熟悉主流的nosql數據庫系統,如mongodb等
8. 有責任心,能承受一定的工作壓力,有良好的溝通能力和團隊合作能力
9. 工作積極主動,能獨立分析和解決問題
第5篇 高級大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 基于公司大數據產品進行數據開發(fā),包括數據的采集,清洗,預處理,存儲,建模,分析挖掘等
2. 根據業(yè)務用戶需要分析數據,提供數據支持
3. 參與公司大數據產品的運維和監(jiān)控,保障數據質量和服務穩(wěn)定性
任職要求:
1. 具備本科以上學歷, 計算機, 軟件以及相關專業(yè), 5年以上大數據開發(fā)經驗
2. 熟悉數據倉庫維度建模, 并能根據客戶需求進行數據開發(fā), 向模型更新數據
3. 使用過至少一種以上的etl工具
4. 熟練掌握java, 對hadoop相關的技術和組件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解
5. 熟練掌握shell或者python中的一種
6. 具備spark開發(fā)經驗者優(yōu)先
7. 具備實時計算(kafka+storm/spark streaming) 經驗者優(yōu)先
8. 具備數據分析和數據挖掘方面經驗者優(yōu)先
第6篇 大數據開發(fā)工程師(面向2020年畢業(yè)生)職位描述與崗位職責任職要求
職位描述:
此崗位面向2020年畢業(yè)生,坐標深圳南山科技園,實習期薪資為3.5-4.5k;要求在公司全職實習半年以上,實習滿3個月且評審通過后可簽訂三方協議,實習滿6個月且評審通過后簽訂勞動合同,無試用期。
崗位職責:
1、從事大數據分布式存儲/應用服務的設計和開發(fā),挑戰(zhàn)大規(guī)模、高并發(fā)、易運維的分布式系統設計構建;
2、參與負責大數據運營/風控/分析等數據應用產品開發(fā)迭代,包括需求討論需求/系統/算法的討論、設計及實現;
3、定位和解決集群組件如spark、hive、hbase、kafka的性能和高可用問題,協助集群監(jiān)控系統的開發(fā)。
任職要求:
1、2020年統招本科及以上學歷,計科類相關專業(yè);
2、良好的計算機基礎;了解面向對象和設計模式,了解 spring , mybatis 等常用框架,數據庫基礎扎實;
3、對技術有強烈的興趣,喜歡鉆研,具有良好的學習能力、溝通和團隊合作能力。
加分項:
1、熟悉python、ruby等語言;
2、熟練掌握常見linu_ shell命令;
3、喜歡在mac/linu_下進行開發(fā);
4、有代碼潔癖,看到代碼中的壞味道有渾身不自在的感覺;
5、自我驅動、喜歡coding。
第7篇 hive數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
1、大學專科3年以上工作經驗,計算機相關專業(yè);
2、至少2年大數據類項目數據開發(fā)支撐經驗;
3、熟悉hadoop相關技術,深刻理解mr原理和過程;
4、精通hive sql,掌握基本的hql優(yōu)化技能;
5、良好的服務意識和積極的溝通能力;
6、熟悉電信運營商業(yè)務,具備運營商項目駐點支撐經驗優(yōu)先。
第8篇 大數據開發(fā)工程師-spark職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 參與公司大數據產品規(guī)劃,大數據處理分析平臺的設計;
2. 負責數據分析、加工、清理、處理程序的開發(fā);
3. 負責數據相關平臺的搭建、維護和優(yōu)化。
4. 負責基于hadoop/spark/hive/kafka等分布式計算平臺實現離線分析、實時分析的計算框架的開發(fā);
職位要求:
1. 熟悉java和scala語言、熟悉常用設計模式、具有代碼重構意識;
2. 熟練使用hadoop、hbase、kafka、hive、spark、presto,熟悉底層框架和實現原理;
3. 使用spark streaming和spark sql進行數據處理, 并具有spark sql優(yōu)化經驗;
4. 熟悉mysql數據庫性能優(yōu)化方法, 了解常見no-sql數據庫;
5. 有大規(guī)模hbase集群運維經驗或對hbase存儲原理熟悉者優(yōu)先;
6. 有數據挖掘、數據分析、機器學習研發(fā)實踐經驗者優(yōu)先。
有機會接觸千億級海量數據的離線和實時的數據處理,涉及java,spark,hive,spark streaming,hbase,elasticsearch,flink等大數據的前沿技術和多云的統一架構。
第9篇 大數據開發(fā)工程師(數據分析、信息安全、前端開發(fā)、數據對接)職位描述與崗位職責任職要求
職位描述:
數據分析工程師:
崗位職責:
1、負責結構化數據和文本的數據處理、建模、分析等工作,如:數據清洗、中文分詞、情感分析、文本分類等;
2、負責數據需求的收集、整理和分析,配合其他同事完成結構化數據和文本的需求分析;
3、負責分析結果的可視化展現;
4、負責核心算法的設計與優(yōu)化。
任職要求:
1、全日制本科畢業(yè);
2、計算機或數學或軟件類或統計相關專業(yè);
3、熟悉數據挖掘和文本挖掘的理論基礎,掌握統計模型、機器學習相關原理;
4、熟悉r/python/java等編程語言,熟悉常用數據結構和算法,熟悉正則表達式的使用。
web前端開發(fā)工程師:
崗位職責:
1、負責前端框架設計及組件庫開發(fā)、前端開發(fā)工作統籌;
2、與后端工程師緊密配合,高效率、高質量地完成頁面展現研發(fā)工作;
3、負責對產品頁面性能的優(yōu)化和維護;
4、負責數據可視化圖表顯示。
任職要求:
1、本科及以上學歷,專業(yè)不限。3年以上前端開發(fā)經驗;
2、精通html5/css3、_html/_ml,熟悉頁面架構和布局,對表現與數據分離、web語義化等有深刻理解;
3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經驗;
4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack;
5、有echars、highcahrts、d3js等數據可視化框架開發(fā)經驗優(yōu)先。
信息安全架構工程師:
崗位職責:
1、 規(guī)劃車聯網安全架構,不斷完善車聯網產品的安全規(guī)范和要求,跟進、解決存在的安全隱患;
2、 對上線前的軟件或者車上產品進行安全方面驗證及測試;
3、 跟進最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報告和防范措施;
4、 負責行業(yè)/國家車聯網汽車網絡安全部分的技術及標準規(guī)范的研究工作。
任職要求:
1、本科以上學歷,信息安全,計算機,通信等相關專業(yè);
2、 擁有網絡安全專業(yè)技能,熟悉車載網絡架構,模塊及協議;
3、 熟悉常見網絡/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力;
4、 熟悉常見黑客攻擊手法,具備對黑客行為的入侵檢測能力;
5、 精通安全測試框架,理解網絡,應用,數據等不同層面的安全。
數據對接工程師:
崗位職責:
1、負責內部系統的對接工作;
2、第三方平臺的數據對接及程序維護;
3、負責各車型的數據采集要求整理及規(guī)劃;
4、熟悉數據結構和常用算法,有良好的代碼規(guī)范,能對接入數據/系統提出優(yōu)化方案。
任職要求:
1、 本科以上學歷,信息化項目,計算機,無線傳輸等相關專業(yè);
2、擁有信息化相關技能,熟悉系統間的交互對接流程;
3、熟悉數據庫的管理及查詢、同步工作;
4、熟悉信息對接的方式,能用api、視圖等進行對接工作。
第10篇 健康科技中心-高級大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職位描述:
1. 基于hadoop生態(tài)系統進行大數據平臺建設;
2. 負責各業(yè)務條線相關指標數據的數據建模
3. 負責基于sqoop,hive、spark、sparksql、mysql進行大數據開發(fā)
4. 負責離線運算、實時計算平臺項目的設計、開發(fā)及運維
5. 負責對數據平臺進行性能調優(yōu)
任職要求:
1.統招本科或以上學歷,6年以上大數據開發(fā)工作經驗;
2.熟練掌握shell、python開發(fā)語言;
3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相關的調優(yōu)、運維、開發(fā)經驗;
4.熟練掌握mysql數據庫集群;
5. 精通主流etl開發(fā)工具,如:informatica、data services、kettle;精通主流調度工具,如:azkaban, oozie;
6.有數據倉庫、分析系統、用戶畫像等產品開發(fā)經驗者優(yōu)先;
7.有較強的數據和業(yè)務結合能力;
8.有醫(yī)療或者大健康背景優(yōu)先;
9.有較強的獨立、主動的學習能力,良好的溝通表達能力。
第11篇 數據開發(fā)工程師/python/c++(p6-p7)3職位描述與崗位職責任職要求
職位描述:
職責描述:
'負責內部數據分析平臺建設;
開發(fā)數據分析算法,提升計算效率和準確率;
對平臺進行運營,滿足用戶需求。'
任職要求:
'計算機相關專業(yè)本科及以上學歷,3年以上工作經驗;
精通python, c/c++開發(fā),熟悉的常見的設計模式;
精通spark,hadoop,es 等大數據平臺的原理,做過大數據分析平臺項目,對性能調優(yōu)有經驗;
熟悉mysql,postgresql,mogodb,redis等數據管理系統;
擁有良好的發(fā)現、分析與解決問題的能力,責任感強、具有團隊精神與服務意識;
具有良好的學習能力,對互聯網的新技術有很強求知欲望。'
第12篇 后端數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1. 配合產品經理,參與數據平臺發(fā)展各階段產品需求分析和功能設計;
2. 基于確定的產品功能需求,參與平臺后端系統架構設計、接口定義實現及測試、構建部署和運維等各階段工作;
3. 根據產品或技術實現發(fā)展需要,按需進行一些新技術的研究,并評估將其引入現有平臺實現的可行性。
任職要求:
1. 本科及以上學歷,至少3年及以上的實際開發(fā)經驗;
2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設計語言,并且自認為具有良好的編程素養(yǎng);
3. 熟練掌握常用的數據結構及算法;
4. 熟悉linu_系統開發(fā),熟悉網絡編程、文件系統,有分布式系統開發(fā)經驗;
5. 應具有熟練的技術領域相關的英文文獻閱讀能力;
6. 有良好的溝通能力和團隊合作能力,能夠自主驅動,具備良好的問題定位分析能力。
優(yōu)先考慮:
1. 熟悉containerization和virtual machine平臺和相關技術,熟悉docker、kubernetes和kvm等,并具有相關的實際運用經驗;
2. 熟悉當前主流的云計算平臺,如應熟悉aws、azure和阿里云其中至少一種平臺的iaas,并具有相關的項目經驗;
3. 有開源項目實際參與經驗。
第13篇 大數據開發(fā)工程師崗位職責職位要求
職責描述:
崗位職責:
1、運用大數據分析工具和技術解決風險管理業(yè)務中遇到的實際問題與需求,如風險評估、成長評價等,包括對模型進行設計、開發(fā)、驗證、測試、部署及監(jiān)控、優(yōu)化。。
2、基于海量用戶數據和特征,進行數據質量檢查、特征加工、數據清洗等,建立數據挖掘模型。
3、評估數據源的質量和價值,能結合業(yè)務需求和場景,從各種數據維度中挖掘數據價值,并設計不同的模型,應用于不同的業(yè)務場景中。
職位要求:
1. 計算機、統計學相關背景,熟悉常用各類機器學習算法的原理(如邏輯回歸、決策樹、svm、神經網絡、隨機森林、深度學習等);
2.熟練使用sas、r、python等至少一種分析工具;
3.熟悉大數據分析平臺和工具,如hive,hadoop, spark等優(yōu)先;
4.有較強的邏輯思維能力、優(yōu)秀的溝通表達能力及團隊合作能力。
崗位要求:
學歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:5-7年經驗
第14篇 oracle 數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1. 數據倉庫和業(yè)務數據集市建設
2. 業(yè)務模型抽象、數據模型設計開發(fā)
3. 支持業(yè)務的數據需求,跟pm一起完善業(yè)務的數據分析體系和工具
4. etl、數據應用和服務的設計開發(fā)
5. 積累數據生產、分析工具,不斷提高數據生產效率
6. 實時數據倉庫設計、開發(fā)與服務
崗位要求:
1. 快速的業(yè)務學習和理解能力,有良好的自驅能力,對工作充滿熱情
2. 熟悉數據倉庫各類模型建模理論,了解數據倉庫數據分層架構,熟悉多維數據模型設計
3. 具備大型數據倉庫架構設計、模型設計、etl設計的相關經驗
4. 精通oracle數據庫技術,深刻理解數據庫/oracle特性,有過硬的sql能力,能編寫高性能的數據處理程序。
5. 具備hadoop、hive、hbase,spark等大數據技術背景,并具有開發(fā)經驗者優(yōu)先
6. 具備海量數據處理經驗者優(yōu)先
第15篇 大數據開發(fā)工程師 [數倉方向]職位描述與崗位職責任職要求
職位描述:
工作職責:
1、使用etl工具(如sqoop、kettle)進行數據加工、清洗等流程;
2、根據業(yè)務需求,進行數倉日常數據分析、數據報表開發(fā);
3、使用hive進行數據處理,及數據模型構建;
4、具備良好的分析問題和解決問題的能力;
5、具備較強的溝通能力和邏輯表達能力,具備良好的團隊合作精神和主動溝通意識;
任職要求:
1、計算機相關專業(yè)本科及以上學歷;
2、熟練使用sql(mysql / oracle);
3、熟練數據庫/數據倉庫分層設計、寬表設計、星型模型設計等;
4、熟練etl工具、sqoop、kettle、spark等;
5、熟悉hadoop、hive、hdfs等常用大數據組件;
6、有互聯網業(yè)務分布式數據倉庫、cube、大數據數據分析等相關經驗者加分;