爬蟲工程師崗位職責13篇

第1篇 java高級工程師（爬蟲方向）職位描述與崗位職責任職要求

職位描述：

崗位職責

1.熟悉線程池、并發(fā)機制、鎖機制、線程安全原理；

2.java體系知識：網(wǎng)絡io、設計模式、linu_、jvm、java類加載機制、java內(nèi)存模型；

3.爬蟲經(jīng)驗：webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲、授權爬蟲、輿情、應用市場、反爬；

4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；

5.6年以上軟件開發(fā)經(jīng)驗，至少2年爬蟲開發(fā)經(jīng)驗。

任職要求

1. 采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā)；

2. 較強的邏輯思維和發(fā)散思維；

3. 計算機或相關專業(yè)本科及以上學歷。

第2篇 網(wǎng)絡爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1，負責網(wǎng)絡爬蟲系統(tǒng)的設計與開發(fā)

2，對爬取的網(wǎng)頁信息進行數(shù)據(jù)抽取，清洗和去重等工作

任職要求：

1、2年及以上網(wǎng)絡爬蟲開發(fā)經(jīng)驗，本科及大專學歷，計算機相關專業(yè)，

2、積極、溝通順暢，工作認真負責

3、扎實的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構等基礎知識

4、熟練掌握開發(fā)語言java或c/c++，熟悉腳本語言和正則表達式

第3篇 python爬蟲工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析工作；

2、負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；

3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

4、實時監(jiān)控爬蟲的進度和警報反饋。

任職要求：

1、有扎實的算法和數(shù)據(jù)結(jié)構能力；

2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發(fā)經(jīng)驗者優(yōu)先；

3、掌握http協(xié)議，熟悉html、dom、_path等常見的數(shù)據(jù)抽取技術；

4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗者優(yōu)先。

第4篇 手機應用爬蟲工程師職位描述與崗位職責任職要求

職位描述：

_ 負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)

_ 應用多種技術對各平臺進行數(shù)據(jù)采集

_ 設計數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

_ 與各行業(yè)分析師溝通，分析項目的可行性和討論抓取方案。

_ 兩年以上爬蟲開發(fā)相關經(jīng)驗，本科及以上學歷，計算機相關專業(yè)為佳

_ 熟練掌握c#或java開發(fā)語言為佳

_ 了解tcp/ip，http及相關網(wǎng)絡協(xié)議

_ 熟悉js / html / _path / json / 正則表達式等網(wǎng)頁相關技術

_ 熟悉分布式、多線程、緩存、消息隊列等互聯(lián)網(wǎng)技術

_ 熟悉手機應用的數(shù)據(jù)抓取，手機app開發(fā)經(jīng)驗，加/脫殼經(jīng)驗為佳

_ 良好的溝通技能，注重細節(jié)，抗壓性強

_ 良好的英語溝通技能為佳

第5篇 爬蟲工程師（p6-p8)職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.負責網(wǎng)絡爬蟲的架構設計、開發(fā)與優(yōu)化；

2.負責抓取數(shù)據(jù)的清洗、落地、分析；

3.抓取策略算法的更新維護，以及確保數(shù)據(jù)抽取準確、高效。

任職要求：

1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗；

2.理解 http 協(xié)議，熟悉 html、dom、_path；

3.熟悉 linu_ 開發(fā)環(huán)境，至少熟悉 python/go/java/node.js 中的一種編程語言；

4.有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先；

5.有自然語言處理、機器學習經(jīng)驗優(yōu)先；

6.熟悉瀏覽器內(nèi)核、渲染機制優(yōu)先；

7.工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。

第6篇 資深爬蟲工程師崗位職責及職位要求

資深爬蟲工程師職位要求

1、計算機相關專業(yè)，本科及以上學歷，3年以上爬蟲相關工作經(jīng)驗；

2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；

3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經(jīng)驗；

4、有通用分布式爬蟲系統(tǒng)架構和開發(fā)經(jīng)驗，能快速部署新的爬蟲應用；

5、已有2年以上網(wǎng)絡爬蟲或搜索引擎工作經(jīng)驗，參與過大規(guī)模數(shù)據(jù)爬蟲優(yōu)先考慮；

6、有app安全、逆向等領域的經(jīng)驗；

7、具有良好的溝通、團隊協(xié)作、計劃能力， 有過1-2人的團隊管理經(jīng)驗。

資深爬蟲工程師崗位職責

1、建設完善分布式爬蟲系統(tǒng)；

2、建立通用的爬蟲框架，能夠快速適應新的爬蟲需求；

3、快速完成對目標資源的數(shù)據(jù)抓取、處理。

第7篇 高級爬蟲工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、參與app爬蟲項目的架構設計、研發(fā)工作，改進和提升爬蟲效率；

2、攻破各種反爬策略；

3、解決各類技術疑難問題，包括網(wǎng)絡問題、app分析、反編譯等;

4、與大數(shù)據(jù)工程師對接，完成實時數(shù)據(jù)與離線數(shù)據(jù)的爬取與對接；

任職資格：

1、計算機及相關專業(yè)本科及以上學歷，兩年以上相關工作經(jīng)驗；

2、精通至少一種開發(fā)語言，如python、java；

3、熟練掌握一種開源爬蟲框架，如scrapy、webmagic，有研發(fā)爬蟲框架經(jīng)驗者優(yōu)先；

4、熟悉appium、selenium等技術；

5、善于獨立分析并解決核心問題，如javascript反爬、爬蟲策略、防屏蔽規(guī)則、app爬取、驗證碼識別技術等；

6、熟悉mysql，?mongodb，?redis，?elasticsearch等數(shù)據(jù)庫；

7、對爬蟲有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；

8、有app安全、逆向等領域經(jīng)驗的優(yōu)先；

第8篇 數(shù)據(jù)爬蟲工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1.開發(fā)網(wǎng)頁自動化腳本。

2.負責商品信息結(jié)構化，編寫自動化腳本解析網(wǎng)頁信息。

3.商品索引系統(tǒng)：億級sku的庫存價格實時跟蹤同步，并對商品進行智能分類、本地化、圖片處理和去重。

4.設計、開發(fā)、測試、部署以及維護并改進各子系統(tǒng)；

5.管理項目優(yōu)先級并按時交付。

職位要求：

1.全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開發(fā)工作經(jīng)驗；

2.熟悉至少一門通用靜態(tài)編譯編程語言，c/c++/java/c#/go；

3.熟悉web端基礎標準，包括html、css、javascript、json等；

4.熟悉python或其他腳本語言，有興趣和能力根據(jù)需求學習其他編程語言；

5.熟悉uni_/linu_環(huán)境，memcache/redis/mongodb等存儲系統(tǒng)，能獨立設計開發(fā)包括前后端交互的業(yè)務子系統(tǒng)；

6.熟悉常見的設計模式、單元測試、持續(xù)開發(fā)集成、code review，并能在日常工作踐行；

7.了解搜索引擎、電子商務、社交類應用的系統(tǒng)基本架構，能對已有的子系統(tǒng)進行優(yōu)化調(diào)整的優(yōu)先；

8.活躍的開源項目貢獻者優(yōu)先。

第9篇 高級python工程師／爬蟲／spider職位描述與崗位職責任職要求

職位描述：

工作內(nèi)容：

1、 基礎系統(tǒng)架構、模塊、庫和組件的研發(fā)；

2、 分布式海量數(shù)據(jù)存儲和分析系統(tǒng)的研發(fā)和調(diào)優(yōu)；

3、統(tǒng)計分析、報表、saas業(yè)務等系統(tǒng)研發(fā)；

4、crm、財務結(jié)算、工作流等內(nèi)部管理系統(tǒng)的研發(fā)。

能力要求：

1、至少使用php/java/python等一門以上語言，開發(fā)過不算太小的項目；

2、熟悉數(shù)據(jù)結(jié)構、db、os、web開發(fā)等相關知識，對linu_相關的各類技術情有獨鐘；

3、有大規(guī)模、高性能互聯(lián)網(wǎng)網(wǎng)站系統(tǒng)相關的設計和開發(fā)經(jīng)驗者優(yōu)先；

4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。

第10篇 廣告爬蟲工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責廣告素材線索和垂直類產(chǎn)品爬蟲系統(tǒng)的設計、開發(fā)

2、抓取數(shù)據(jù)的清洗、落地、分析

3、抓取策略算法的更新維護，以及確保數(shù)據(jù)抽取準確、高效

任職要求：

1、具備強悍的編碼能力、扎實的數(shù)據(jù)結(jié)構和算法功底

2、 熟悉tcp，http協(xié)議原理；熟悉aja_工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；

3、有爬蟲、信息抽取、文本分類、大數(shù)據(jù)處理相關經(jīng)驗優(yōu)先

4、有自然語言處理、機器學習經(jīng)驗優(yōu)先

第11篇 資深爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1. 參與爬蟲系統(tǒng)的架構設計與開發(fā)；

2. 負責執(zhí)行和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析；

3. 負責網(wǎng)頁信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺的抓取效率；

4. 參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

5. 實時監(jiān)控爬蟲的進度和警報反饋。

任職要求：

1. 本科以上學歷，3年以上爬蟲開發(fā)相關經(jīng)驗，熟練使用python或java進行開發(fā)；

2. 熟練使用正則表達式、css path、_path等，能夠從結(jié)構化的和非結(jié)構化的數(shù)據(jù)中獲取信息；

3. 熟練使用mysql數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經(jīng)驗；

4. 熟悉各種抓取技術，包括代理、phantomjs/selenium、驗證碼處理；

5. 熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網(wǎng)絡爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗，熟悉反爬蟲技術，有分布式爬蟲架構經(jīng)驗；

6. 具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機器學習背景者優(yōu)先；

7. 快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力；

8. 需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關經(jīng)驗的勿擾。

第12篇 爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職位誘惑：

全球項目、高薪資、高福利、國際團隊

職位描述：

if (your_passions.includes('coding')) {

switch(your_stacks) {

case 'node.js':

case 'python':

case 'kubernetes':

case 'serverless':

console.log('join aftership');

break;

}

}

崗位職責

1、負責與不同物流公司的系統(tǒng)對接，使用各種 api 及爬蟲技巧，抓取、分析、調(diào)度、存儲數(shù)據(jù)，為公司業(yè)務提供正確穩(wěn)定的數(shù)據(jù)；

2、負責系統(tǒng)的 sla 代碼維護、秩代更新，保證任務質(zhì)量和交付及時性；

3、負責編寫相關的技術文檔、單元測試，對產(chǎn)品質(zhì)量負責。

崗位要求

1、統(tǒng)招本科及以上學歷，具備英語讀寫能力；

2、熟悉 git/github，通信協(xié)議 tcp/http 及 restful 標準；

3、一年及以上 python 爬蟲開發(fā)工作經(jīng)驗， javascript 基礎扎實，有 scrapy 等使用經(jīng)驗；

4、有 mysql，redis 或 mongodb 等相關數(shù)據(jù)庫使用經(jīng)驗。

加分項

1、有 ci/cd 自動化測試經(jīng)驗；

2、有使用 docker、kubernetes、aws 或 gcp 云計算經(jīng)驗；

3、有寫 blog 的習慣，活躍技術社區(qū)，參與開源項目等；

4、有代碼潔癖，對代碼精益求精，對技術有極客熱情；

5、有軟件著作權申請，有專利發(fā)明申請。

為什么加入我們

1、極客氛圍: 擁抱開源技術，實踐敏捷開發(fā)；

2、最新技術: kubernetes， serverless， tensorflow， microservice；

3、特色福利: 每天下午茶，學習成長基金， 提供 macbook pro；

4、多元文化: 團隊來自全球十幾個國家；

5、龍頭企業(yè): 海外知名企業(yè)；

6、朝陽行業(yè): b2b 企業(yè)級系統(tǒng)， 國際性 saas 平臺。

第13篇 爬蟲工程師崗位職責

高級爬蟲開發(fā)工程師 職責描述:

1、負責公司產(chǎn)品的爬蟲架構設計與開發(fā),以及爬蟲策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負責對網(wǎng)頁等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲等設計開發(fā)工作;

任職要求:

1、計算機、數(shù)學或統(tǒng)計等相關專業(yè)本科及以上學歷,1年以上爬蟲相關工作經(jīng)驗;

2、熟悉linu_平臺,熟練掌握python或java爬蟲開發(fā)工作;

3、熟悉靜態(tài)、動態(tài)網(wǎng)頁等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲等技術;

4、有反爬相關問題處理經(jīng)驗,精通常用的爬蟲技術及架構設計,并能快速開發(fā)實現(xiàn);

5、具備良好的編程習慣和算法基礎;

6、善于學習,熱愛技術開發(fā),善于團隊協(xié)作,能積極主動地參與公司產(chǎn)品研發(fā)等相關工作。 職責描述:

1、負責公司產(chǎn)品的爬蟲架構設計與開發(fā),以及爬蟲策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負責對網(wǎng)頁等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲等設計開發(fā)工作;

任職要求:

1、計算機、數(shù)學或統(tǒng)計等相關專業(yè)本科及以上學歷,1年以上爬蟲相關工作經(jīng)驗;

2、熟悉linu_平臺,熟練掌握python或java爬蟲開發(fā)工作;

3、熟悉靜態(tài)、動態(tài)網(wǎng)頁等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲等技術;

4、有反爬相關問題處理經(jīng)驗,精通常用的爬蟲技術及架構設計,并能快速開發(fā)實現(xiàn);

5、具備良好的編程習慣和算法基礎;

6、善于學習,熱愛技術開發(fā),善于團隊協(xié)作,能積極主動地參與公司產(chǎn)品研發(fā)等相關工作。