- 目錄
崗位職責是什么
數(shù)據(jù)研發(fā)崗位是企業(yè)中至關重要的角色,負責構建、維護和優(yōu)化數(shù)據(jù)處理系統(tǒng),以支持業(yè)務決策、戰(zhàn)略規(guī)劃和運營優(yōu)化。這個職位的核心在于通過數(shù)據(jù)挖掘、分析和建模,將海量的原始數(shù)據(jù)轉化為有價值的洞見,為企業(yè)創(chuàng)造競爭優(yōu)勢。
崗位職責要求
1. 精通至少一種編程語言,如python、r或java,用于數(shù)據(jù)處理和分析。
2. 熟練掌握數(shù)據(jù)庫管理系統(tǒng),如sql,具備大數(shù)據(jù)處理技術,如hadoop或spark。
3. 具備統(tǒng)計學和機器學習基礎,能應用到數(shù)據(jù)建模和預測分析中。
4. 對數(shù)據(jù)結構、算法和計算效率有深刻理解。
5. 良好的問題解決能力,能夠從復雜數(shù)據(jù)中發(fā)現(xiàn)關鍵信息。
6. 能夠與業(yè)務團隊有效溝通,將技術解決方案轉化為業(yè)務價值。
7. 嚴謹?shù)倪壿嬎季S和良好的項目管理能力。
崗位職責描述
數(shù)據(jù)研發(fā)人員日常工作包括但不限于:
1. 設計和實施數(shù)據(jù)采集方案,確保數(shù)據(jù)質(zhì)量和完整性。
2. 構建高效的數(shù)據(jù)處理管道,自動化數(shù)據(jù)提取、轉換和加載(etl)流程。
3. 進行數(shù)據(jù)清洗、整合和預處理,為分析做好準備。
4. 開發(fā)和優(yōu)化數(shù)據(jù)模型,以支持業(yè)務預測和決策支持。
5. 與業(yè)務部門合作,理解需求,開發(fā)定制化的數(shù)據(jù)分析報告和可視化工具。
6. 持續(xù)監(jiān)控和優(yōu)化數(shù)據(jù)系統(tǒng)的性能,確保數(shù)據(jù)安全和合規(guī)性。
7. 參與數(shù)據(jù)治理活動,推動企業(yè)數(shù)據(jù)標準的制定和執(zhí)行。
有哪些內(nèi)容
1. 數(shù)據(jù)架構設計:構建和優(yōu)化數(shù)據(jù)倉庫、數(shù)據(jù)湖或數(shù)據(jù)中臺,確保數(shù)據(jù)的存儲、訪問和共享。
2. 數(shù)據(jù)分析:運用統(tǒng)計方法和機器學習技術,進行深度分析,揭示業(yè)務趨勢和模式。
3. 報告與可視化:創(chuàng)建直觀的儀表板和報告,幫助管理層快速理解和解讀數(shù)據(jù)。
4. 項目協(xié)作:與業(yè)務團隊、產(chǎn)品經(jīng)理、數(shù)據(jù)科學家等跨部門合作,確保數(shù)據(jù)驅(qū)動的項目成功落地。
5. 技術研究:關注最新數(shù)據(jù)技術和工具,評估并引入適合企業(yè)需求的新技術。
6. 數(shù)據(jù)安全:遵守數(shù)據(jù)保護法規(guī),實施數(shù)據(jù)加密、訪問控制等措施,保障數(shù)據(jù)安全。
7. 培訓與指導:為團隊成員提供數(shù)據(jù)相關的培訓,提升整個組織的數(shù)據(jù)素養(yǎng)。
作為數(shù)據(jù)研發(fā)人員,不僅需要扎實的技術功底,還需要具備敏銳的業(yè)務洞察力,通過持續(xù)改進和創(chuàng)新,推動企業(yè)數(shù)據(jù)資產(chǎn)的價值最大化。
數(shù)據(jù)研發(fā)崗位職責范文
第1篇 空間大數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、研究空間大數(shù)據(jù)前沿技術,參與空間大數(shù)據(jù)分析平臺的設計和開發(fā);
2、與算法工程師對接,參與空間大數(shù)據(jù)分析算法的代碼實現(xiàn);
3、其它相關的gis開發(fā)工作;
任職資格:
1、計算機、地理信息等相關專業(yè)背景,本科及以上學歷;
2、對空間數(shù)據(jù)結構有深刻理解,熟悉空間數(shù)據(jù)庫引擎;
3、扎實的編程基礎,能夠熟練運用java/scala語言;
4、熟悉大數(shù)據(jù)管理系統(tǒng)和分布式計算框架,如:hbase、cassandra、mongodb、spark/flink等;
5、熟悉gis領域主流的分布式數(shù)據(jù)存儲方案,有geomesa、geowave、geotrellis、geoserver、geotools、arcgis soe使用經(jīng)驗者優(yōu)先;
6、具備較強的學習創(chuàng)新能力,能夠通過快速學習解決實際問題;
第2篇 大數(shù)據(jù)研發(fā)工程師-廣告系統(tǒng)數(shù)據(jù)平臺職位描述與崗位職責任職要求
職位描述:
工作職責:
1、廣告各類在線業(yè)務的離線數(shù)據(jù)加工與在線數(shù)據(jù)服務開發(fā)與維護;
2、數(shù)據(jù)服務接口及產(chǎn)品需求研發(fā)迭代,代碼review、bug修復及日常服務運維;
3、針對海量數(shù)據(jù)處理和查詢需求,設計適應業(yè)務變化的合理的多維數(shù)據(jù)分析系統(tǒng)架構,滿足多樣性的需求;
4、海量日志清洗加工,并抽象出可以多業(yè)務復用的數(shù)據(jù)模型。
任職要求:
1、計算機相關專業(yè)本科及以上學歷,熟悉hadoop架構和工作原理,精通mapreduce編程;精通hive,有hql優(yōu)化經(jīng)驗;
2、熟悉java,python等多種編程技術,編程能力強,有web服務開發(fā)經(jīng)驗,具備獨立完成模塊開發(fā)能力;
3、理解基本的設計模式,能將業(yè)務需求快速理解成技術需求;
4、熟練使用mysql,熟練使用elasticsearch、druid者優(yōu)先;熟悉其原理者優(yōu)先;
5、善于溝通,工作積極主動,責任心強,具備良好的團隊協(xié)作能力;
6、具備良好的問題分析與解決能力,有較強學習能力和邏輯思維能力。
額外加分項::
github等開源社區(qū)貢獻者;
具備大規(guī)模分布式服務設計能力和經(jīng)驗。
第3篇 資深數(shù)據(jù)研發(fā)工程師-(python/java)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1.參與建設投融資數(shù)據(jù)體系,持續(xù)集成相關工具產(chǎn)品,以及搭建大數(shù)據(jù)業(yè)務統(tǒng)一計算層等相關工作;
2.參與公司數(shù)據(jù)倉庫的架構設計和研發(fā),挖掘數(shù)據(jù)價值, 實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;
3.助力數(shù)據(jù)化運營業(yè)務,構建豐富多樣的bi應用;
4.對數(shù)據(jù)采集、數(shù)據(jù)融合、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應用鏈路有深入理解,并能協(xié)助業(yè)務數(shù)據(jù)集市建設,搭建業(yè)務領域模型。
任職要求:
1.數(shù)學、計算機、統(tǒng)計學等相關專業(yè)本科以上學歷,5年以上相關工作經(jīng)歷;
2.從事數(shù)據(jù)倉庫領域至少5年以上,熟悉數(shù)據(jù)倉庫模型設計與etl開發(fā)經(jīng)驗;
3.有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗,熟悉hadoop生態(tài)相關技術并有相關實踐經(jīng)驗著優(yōu)先,重點考察hdfs、mapreduce、hive、hbase;
4.有實時etl研發(fā)經(jīng)驗,對分布式實時大數(shù)據(jù)處理系統(tǒng)有深入理解,包括但不限于spark streaming、flink、storm...;
5.熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先,對數(shù)據(jù)質(zhì)量管理有獨到的見解;
6.業(yè)務sense,能夠通過梳理設計業(yè)務模型發(fā)現(xiàn)業(yè)務問題,并驅(qū)動業(yè)務目標實現(xiàn);
7.有neo4j,word2vec經(jīng)驗優(yōu)先。
第4篇 高級實時大數(shù)據(jù)研發(fā)工程師/數(shù)據(jù)技術專家職位描述與崗位職責任職要求
職位描述:
職責描述:
基于flink開源大數(shù)據(jù)計算平臺,在集團整體業(yè)務場景下,
1. 研發(fā)實時流計算數(shù)據(jù)研發(fā)平臺,支持包括核心電商、云計算、大文娛、創(chuàng)新業(yè)務在內(nèi)的等各個綜合業(yè)務板塊務;
2. 研發(fā)實時olap(elasticsearch,druid)賦能業(yè)務
3. 研發(fā)實時智能化(算法加工程)賦能業(yè)務
任職要求:
1.具備扎實的計算機理論基礎, 對數(shù)據(jù)結構及算法有較強的功底
2.精通java語言編程,具備優(yōu)秀的系統(tǒng)debug/profiling能力和經(jīng)驗
3. 熟悉常見的面向?qū)ο笤O計模式,具備優(yōu)秀的系統(tǒng)架構設計能力
4.熟悉hadoop/hbase/flink/spark streaming等開源大數(shù)據(jù)技術,在開源社區(qū)活躍者優(yōu)先
5.熟悉elasticsearch/druid 等olap開源技術優(yōu)先
6.具備實際的大數(shù)據(jù)業(yè)務開發(fā)經(jīng)驗以及良好的項目溝通和協(xié)調(diào)能力
7. 具備實時流計算數(shù)據(jù)開發(fā)經(jīng)驗、全棧開發(fā)經(jīng)驗優(yōu)先
第5篇 大數(shù)據(jù)研發(fā)經(jīng)理崗位職責任職要求
大數(shù)據(jù)研發(fā)經(jīng)理崗位職責
大數(shù)據(jù)平臺研發(fā)經(jīng)理 北京構力科技有限公司 北京構力科技有限公司,構力 1. 負責大數(shù)據(jù)平臺核心模塊的概要設計、代碼編寫、調(diào)試驗證
2. 負責大數(shù)據(jù)平臺的重構優(yōu)化,不斷提升產(chǎn)品的穩(wěn)定性和性能
3. 負責大數(shù)據(jù)平臺的關鍵技術的預研、培訓工作
大數(shù)據(jù)研發(fā)經(jīng)理崗位
第6篇 大數(shù)據(jù)研發(fā)工程師-平臺服務方向職位描述與崗位職責任職要求
職位描述:
工作職責:
1、針對字節(jié)跳動全局性數(shù)據(jù)分析要求,打造行業(yè)領先的數(shù)據(jù)平臺,對全球用戶數(shù)據(jù),打造高效穩(wěn)定的batch和rt數(shù)據(jù)流;
2、利用大數(shù)據(jù)工具,打造計算,傳輸,分析,監(jiān)控平臺;滿足字節(jié)跳動全球用戶產(chǎn)品的指標計算,多維分析等需求;
3、構建高效穩(wěn)定的數(shù)據(jù)服務,支撐字節(jié)跳動全球各重要業(yè)務的用戶增長。
任職要求:
1、計算機、數(shù)學相關專業(yè)本科及以上學歷,一年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗,數(shù)據(jù)挖掘和bi分析領域優(yōu)先;
2、熟悉多項大數(shù)據(jù)領域的開源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid等;
3、強悍的編碼和學習能力;善于發(fā)現(xiàn)問題,積極探索原因。
第7篇 ai 數(shù)據(jù)研發(fā)工程師 - 語音 & 對話方向職位描述與崗位職責任職要求
職位描述:
工作職責:
1、設計構建智能語音對話數(shù)據(jù)體系,打造一體化多媒體數(shù)據(jù)存儲、索引、處理能力
2、打造 pb 級數(shù)據(jù)處理引擎,應對日均 tb 級數(shù)據(jù)增長
3、你有機會為字節(jié)跳動全系產(chǎn)品(頭條、抖音、火山、西瓜等)提供 ai 數(shù)據(jù)處理及索引技術,用數(shù)據(jù)技術影響數(shù)億國內(nèi)國際用戶
任職要求:
1、擁有計算機及相關專業(yè)本科以上學歷,兩年以上 c++/java/go/python 項目開發(fā)經(jīng)驗
2、精通數(shù)據(jù)結構和算法設計,熟悉系統(tǒng)性能調(diào)優(yōu)的方式,熟悉 linu_ 開發(fā)環(huán)境
3、玩轉 spark/storm/hive 等大數(shù)據(jù)工具,熟知 mysql/redis/mongodb 等常用數(shù)據(jù)庫,不再滿足于常規(guī)文本處理,渴望挑戰(zhàn)大規(guī)模多媒體數(shù)據(jù)處理任務
4、在 acm/noi/ioi/topcoder 中打遍天下無敵手,在算法領域追求極致,渴望挑戰(zhàn)更深更廣更帶感的技術算法問題
第8篇 數(shù)據(jù)研發(fā)工程師崗位職責
數(shù)據(jù)研發(fā)工程師 投中信息 上海投中信息咨詢股份有限公司,投中信息 職責描述:
1.負責數(shù)據(jù)源調(diào)研、入庫、開發(fā)的全流程工作(數(shù)據(jù)采集、清洗、匯總、集成等),并保證數(shù)據(jù)質(zhì)量;
2.有較強的自學能力,能夠根據(jù)需要學習相關業(yè)務和技術知識,并能靈活運用;
3.負責對公司平臺的數(shù)據(jù)進行整理、挖掘及分析工作;
4.基于公司現(xiàn)有產(chǎn)品,提出可擴展,高性能,高可用性設計方案;
任職要求:
1.熟練掌握java編程語言,熟悉python腳本語言,并靈活運用到實際工作中及解決技術問題;
2.熟悉hadoop+spark大數(shù)據(jù)處理工具和技術,有兩年以上的實際大數(shù)據(jù)處理經(jīng)驗;
3.熟練掌握一至兩種開源etl工具軟件;
4.熟悉常見機器學習算法(如邏輯回歸、svm、神經(jīng)網(wǎng)絡、決策樹、貝葉斯等);
5.對機器學習/深度學習有興趣,并具有一定的理解和研究,熟悉tensorflow、torch等常見框架;有實際項目開發(fā)經(jīng)驗者優(yōu)先;
6.善于分析和解決問題,富有想象力和學習能力,良好的團隊合作精神;
7.責任心強,工作踏實,團隊協(xié)作精神,具備快速解決問題的能力。
第9篇 資深數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
【崗位職責】
1. 負責數(shù)據(jù)工具的的開發(fā),維護,推廣工作;
2. 基于離線/流式計算技術進行數(shù)據(jù)分析的處理。
【任職要求】
1. 計算機相關專業(yè)本科及以上學歷,5年及以上相關工作經(jīng)驗;
2. 掌握java/scala 中至少一種開發(fā)語言, 熟悉spring相關框架;
3. 熟悉mysql. es. hbase 等存儲引擎的使用;
4. 有強烈的技術好奇心與動手能力。
第10篇 實時大數(shù)據(jù)研發(fā)工程師/數(shù)據(jù)技術專家(p6-p8)職位描述與崗位職責任職要求
職位描述:
職責描述:
基于flink開源大數(shù)據(jù)計算平臺,在阿里集團整體業(yè)務場景下,
1. 研發(fā)實時流計算數(shù)據(jù)研發(fā)平臺,支持包括核心電商、云計算、大文娛、創(chuàng)新業(yè)務在內(nèi)的等各個綜合業(yè)務板塊務;
2. 研發(fā)實時olap(elasticsearch,druid)賦能業(yè)務
3. 研發(fā)實時智能化(算法加工程)賦能業(yè)務
任職要求:
1.具備扎實的計算機理論基礎, 對數(shù)據(jù)結構及算法有較強的功底
2.精通java語言編程,具備優(yōu)秀的系統(tǒng)debug/profiling能力和經(jīng)驗
3. 熟悉常見的面向?qū)ο笤O計模式,具備優(yōu)秀的系統(tǒng)架構設計能力
4.熟悉hadoop/hbase/flink/spark streaming等開源大數(shù)據(jù)技術,在開源社區(qū)活躍者優(yōu)先
5.熟悉elasticsearch/druid 等olap開源技術優(yōu)先
6.具備實際的大數(shù)據(jù)業(yè)務開發(fā)經(jīng)驗以及良好的項目溝通和協(xié)調(diào)能力
7. 具備實時流計算數(shù)據(jù)開發(fā)經(jīng)驗、全棧開發(fā)經(jīng)驗優(yōu)先
第11篇 搜索數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責bytedance鏈接理解的研發(fā)工作,用最前沿的機器學習算法,進行全網(wǎng)鏈接分析;
2、負責鏈接規(guī)??刂疲M行有效性和價值度判斷,實現(xiàn)鏈接反垃圾、反作弊等;
3、負責鏈接關系深度挖掘,實現(xiàn)鏈接歸一化、鏡像站、pc移動站等。
任職要求:
1、計算機或相關專業(yè),本科及以上學歷,對數(shù)據(jù)結構和算法設計有較為深刻的理解;
2、精通c/c++或python語言編程,熟悉linu_平臺、shell編程;
3、出色的分析問題,解決問題能力;
4、熟悉搜索相關領域,有機器學習/深度學習經(jīng)驗者優(yōu)先。
第12篇 廣告業(yè)務數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、廣告各類在線業(yè)務的離線數(shù)據(jù)加工與在線數(shù)據(jù)服務開發(fā)與維護
2、數(shù)據(jù)服務接口及產(chǎn)品需求研發(fā)迭代,代碼review、bug修復及日常服務運維
3、針對海量數(shù)據(jù)處理和查詢需求,設計適應業(yè)務變化的合理的多維數(shù)據(jù)分析系統(tǒng)架構,滿足多樣性的需求
4、海量日志清洗加工,并抽象出可以多業(yè)務復用的數(shù)據(jù)模型
任職要求:
1、熟悉hadoop架構和工作原理,精通mapreduce編程;精通hive,有hql優(yōu)化經(jīng)驗
2、有web服務開發(fā)經(jīng)驗,具備獨立完成模塊開發(fā)能力,具備大規(guī)模分布式服務設計能力和經(jīng)驗
3、理解基本的設計模式,能將業(yè)務需求快速理解成技術需求
4、熟練使用mysql,熟練使用elasticsearch、druid者優(yōu)先;熟悉其原理者優(yōu)先
5、善于溝通,工作積極主動,責任心強,具備良好的團隊協(xié)作能力
6、具備良好的問題分析與解決能力,有較強學習能力和邏輯思維能力
第13篇 搜索研發(fā)負責人-數(shù)據(jù)研發(fā)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責bytedance鏈接理解的研發(fā)工作,用最前沿的機器學習算法,進行全網(wǎng)鏈接分析;
2、負責鏈接規(guī)模控制,進行有效性和價值度判斷,實現(xiàn)鏈接反垃圾、反作弊等;
3、負責鏈接關系深度挖掘,實現(xiàn)鏈接歸一化、鏡像站、pc移動站等。
任職要求:
1、計算機或相關專業(yè),本科及以上學歷,對數(shù)據(jù)結構和算法設計有較為深刻的理解;
2、精通c/c++或python語言編程,熟悉linu_平臺、shell編程;
3、出色的分析問題,解決問題能力;
4、熟悉搜索相關領域,有機器學習/深度學習經(jīng)驗者優(yōu)先。
第14篇 數(shù)據(jù)研發(fā)工程師-新業(yè)務職位描述與崗位職責任職要求
職位描述:
工作職責:
1. 負責業(yè)務相關的數(shù)據(jù)平臺建設;
2. 包括數(shù)據(jù)pipeline建設、數(shù)據(jù)倉庫建設、運營系統(tǒng)建設等;
3. 通過海量數(shù)據(jù),分析用戶行為,進行特征挖掘建設。
任職要求:
1. 工作經(jīng)驗1-3年,學歷本科及以上;
2. 有扎實的編程能力,有優(yōu)秀的代碼品位,對解決具有挑戰(zhàn)性問題充滿激情;
3. 編程語言不限,有python經(jīng)驗更佳,熟悉常用算法和數(shù)據(jù)結構;
4. 熟悉常用的開源組件:hadoop/hive/kafka/flink/spark等,并了解其特性和使用場景優(yōu)先;
5. 優(yōu)秀的溝通理解能力,能快速理解業(yè)務,用數(shù)據(jù)解讀業(yè)務。
第15篇 大數(shù)據(jù)研發(fā)總監(jiān)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1. 負責整個公司數(shù)據(jù)系統(tǒng)的整體架構設計
2. 負責數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、報表可視化的搭建及研發(fā);
3. 按時完成各個業(yè)務和產(chǎn)品部門的數(shù)據(jù)服務需求,不斷優(yōu)化現(xiàn)有的平臺架構;
4. 負責數(shù)據(jù)團隊的職位描述與崗位職責任職要求、組織架構設計、梯隊培養(yǎng)和日常管理;
5. 帶領團隊設計、開發(fā)具有創(chuàng)新價值的大數(shù)據(jù)分析平臺;
任職要求:
1. 統(tǒng)招本科以上學歷,計算機、通信、數(shù)學相關專業(yè),具有8年以上研發(fā)工作經(jīng)驗;
2. 有5年以上bi、大數(shù)據(jù)研發(fā)經(jīng)驗,4年以上團隊管理經(jīng)驗,有良好的團隊管理能力;
3. 有較強的溝通和表達的能力,有較強的同理心,能夠合理調(diào)度資源及時滿足和匹配業(yè)務需求;
4. 精通hadoop、spark、hive、hbase等主流的大數(shù)據(jù)技術;
5. 具有高度責任心,較強的抗壓能力,意愿強烈;
6. 有較強的數(shù)據(jù)挖掘、機器學習經(jīng)驗者優(yōu)先;
7. 有一線互聯(lián)網(wǎng)公司或醫(yī)療行業(yè)經(jīng)驗者優(yōu)先。
第16篇 品牌廣告大數(shù)據(jù)研發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責品牌廣告業(yè)務平臺及其相關系統(tǒng)的研發(fā)
2、負責現(xiàn)有系統(tǒng)的問題分析和改進,提高系統(tǒng)性能,保證系統(tǒng)穩(wěn)定性
3、持續(xù)改進系統(tǒng)架構、核心算法或者核心技術等,保證系統(tǒng)高性能、高可用性和高可擴展性
4、新技術預研,完成項目的選型和設計,難點公關
任職要求:
1、本科及以上學歷,一年以上大數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗
2、熟悉python語言, 熟練使用linu_
3、對常用的redis、kafka等工具系統(tǒng)有一定的了解
4、有大數(shù)據(jù)集、分布式計算工具(hadoop,spark,hive,storm, es)等應用開發(fā)經(jīng)驗優(yōu)先
5、有良好的團隊合作精神,較強的溝通能力
6、愿意深入了解業(yè)務知識,并能敏銳的發(fā)現(xiàn)業(yè)務痛點
7、有品牌廣告系統(tǒng)、dmp、輿情、指數(shù)平臺方向開發(fā)經(jīng)驗者優(yōu)先
第17篇 廣告大數(shù)據(jù)研發(fā)工程師/專家(p6-p8)3職位描述與崗位職責任職要求
職位描述:
職責描述:
社交廣告系統(tǒng)數(shù)據(jù)工程平臺研發(fā),偏重系統(tǒng)架構設計與實現(xiàn),參加以下一到多項工作:
1. 搭建數(shù)據(jù)倉庫,存儲并處理海量的實時、批量數(shù)據(jù),滿足廣告業(yè)務的定向、分析和模型特征等業(yè)務需要
2. 建設數(shù)據(jù)發(fā)布系統(tǒng),將數(shù)據(jù)倉庫的數(shù)據(jù)應用到廣告在線業(yè)務
3. 特征工程工程系統(tǒng)建設,為模型方提供特征數(shù)據(jù)流和特征離線調(diào)研、評估平臺,并保證模型訓練和預測階段的特征線上與線下一致性;
4. 用戶標識映射、畫像數(shù)據(jù)在線服務的開發(fā)與維護;
5. 廣告后臺海量日志數(shù)據(jù)和廣告主數(shù)據(jù)處理平臺;
6. 報表和廣告策略的統(tǒng)計數(shù)據(jù)生成和存儲;
7. 多維透視業(yè)務索引和存儲;
任職要求:
重點大學本科以上學歷,計算機相關專業(yè);
具有扎實的數(shù)據(jù)結構和算法功底;
熟練使用 java,scala,c/c++, python;
有海量數(shù)據(jù)處理經(jīng)驗,熟悉 hadoop,spark,hbase,beam等開源框架 ;
有分布式系統(tǒng),tensorflow等機器學習系統(tǒng)等經(jīng)驗優(yōu)先 ;
有較強學習能力和邏輯思維能力,具備良好的問題分析與解決能力;
善于溝通,工作積極主動,責任心強,具備良好的團隊協(xié)作能力
第18篇 大數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、打造業(yè)界領先的通用數(shù)據(jù)平臺,包括實時數(shù)據(jù)流、數(shù)據(jù)倉庫、調(diào)度系統(tǒng)、查詢引擎,用戶行為分析,abtest 實驗系統(tǒng)等,降低數(shù)據(jù)的使用門檻,實現(xiàn)數(shù)據(jù)的最大價值
2、打造業(yè)界領先的存儲、計算等分布式系統(tǒng),為海量數(shù)據(jù)和大規(guī)模業(yè)務系統(tǒng)提供可靠的基礎設施
任職要求:
1、熟悉多項大數(shù)據(jù)領域的開源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid, etc.
2、強悍的編碼和 troubleshooting 能力
3、樂于挑戰(zhàn)沒有明顯答案的問題,對新技術有強烈的學習熱情
第19篇 高級/資深大數(shù)據(jù)研發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責字節(jié)跳動用戶行為的理解和建模,幫助公司各項業(yè)務滿足用戶需求,提升用戶覆蓋;
2、負責在數(shù)據(jù)建設層面,對用戶隱私進行脫敏處理,保證后續(xù)數(shù)據(jù)研發(fā)過程中保護用戶隱私;
3、探索、挖掘公司各項指標、用戶滿意度、用戶增長上的各項規(guī)律,并利用這些規(guī)律幫助產(chǎn)品提升和擴展,增加用戶滿意度,擴展用戶群體。
任職要求:
1、本科及以上學歷,計算機、統(tǒng)計學、數(shù)學等相關專業(yè);
2、強的編程和數(shù)據(jù)工具運用能力,有hadoop,hive,spark,kafka,elasticsearch或者其他的大數(shù)據(jù)工具的使用經(jīng)驗;
3、對數(shù)據(jù)倉庫、數(shù)據(jù)建模有一定認知;有過數(shù)據(jù)使用相關經(jīng)驗。
第20篇 數(shù)據(jù)研發(fā)工程師-廣告數(shù)據(jù)平臺職位描述與崗位職責任職要求
職位描述:
工作職責:
1、廣告各類在線業(yè)務的離線數(shù)據(jù)加工與在線數(shù)據(jù)服務開發(fā)與維護
2、數(shù)據(jù)服務接口及產(chǎn)品需求研發(fā)迭代,代碼review、bug修復及日常服務運維
3、針對海量數(shù)據(jù)處理和查詢需求,設計適應業(yè)務變化的合理的多維數(shù)據(jù)分析系統(tǒng)架構,滿足多樣性的需求
4、海量日志清洗加工,并抽象出可以多業(yè)務復用的數(shù)據(jù)模型
任職要求:
1、計算機相關專業(yè)本科以上學歷,熟悉hadoop架構和工作原理,精通mapreduce編程;精通hive,有hql優(yōu)化經(jīng)驗
2、熟悉java,python等多種編程技術,編程能力強,有web服務開發(fā)經(jīng)驗,具備獨立完成模塊開發(fā)能力
3、理解基本的設計模式,能將業(yè)務需求快速理解成技術需求
4、熟練使用mysql,熟練使用elasticsearch、druid者優(yōu)先;熟悉其原理者優(yōu)先
5、善于溝通,工作積極主動,責任心強,具備良好的團隊協(xié)作能力
6、具備良好的問題分析與解決能力,有較強學習能力和邏輯思維能力
額外加分項::
github等開源社區(qū)貢獻者
具備大規(guī)模分布式服務設計能力和經(jīng)驗