八爪魚(yú)采集器是一款業(yè)界領(lǐng)先的新一代、智能、通用網(wǎng)頁(yè)數(shù)據(jù)采集器，全可視化操作，無(wú)需編寫(xiě)代碼，內(nèi)置海量模板，支持任意網(wǎng)絡(luò)數(shù)據(jù)抓取，無(wú)需專業(yè)知識(shí)，會(huì)上網(wǎng)就能輕松掌握，新聞、論壇、電話郵箱、競(jìng)爭(zhēng)對(duì)手、客戶資料、汽車(chē)房產(chǎn)、電子商務(wù)等任何網(wǎng)站均可采集，并且可以將采集到的數(shù)據(jù)導(dǎo)出為多種格式，讓用戶在網(wǎng)上抓取資料編的更加簡(jiǎn)單和容易！

八爪魚(yú)采集器特色

1、任何人都可以使用

還在研究網(wǎng)頁(yè)源代碼和抓包工具嗎？現(xiàn)在不用了，會(huì)上網(wǎng)就能使用八爪魚(yú)采集器采集，所見(jiàn)即所得的界面，可視化流程，無(wú)需懂技術(shù)，點(diǎn)點(diǎn)鼠標(biāo)，2分鐘即可快速入門(mén)。

2、任何網(wǎng)站都可以采集

八爪魚(yú)采集器不僅使用簡(jiǎn)單，而且功能強(qiáng)大：點(diǎn)擊，登陸，翻頁(yè)，甚至識(shí)別驗(yàn)證碼，當(dāng)網(wǎng)頁(yè)出錯(cuò)誤，或者多套模版完全不一樣的時(shí)候，還可以根據(jù)不同情況做不同的處理。

3、云采集，關(guān)機(jī)也可以

配置好采集任務(wù)，就可以關(guān)機(jī)了，任務(wù)可以在云端執(zhí)行，數(shù)量龐大的企業(yè)云，24*7不間斷運(yùn)行，再也不用擔(dān)心IP被封，網(wǎng)絡(luò)中斷了，還能瞬間采集大量數(shù)據(jù)。

八爪魚(yú)采集器功能

1、簡(jiǎn)易采集

簡(jiǎn)易采集模式內(nèi)置上百種主流網(wǎng)站數(shù)據(jù)源，如京東、天貓、大眾點(diǎn)評(píng)等熱門(mén)采集網(wǎng)站，只需參照模板簡(jiǎn)單設(shè)置參數(shù)，就可以快速獲取網(wǎng)站公開(kāi)數(shù)據(jù)。

2、智能采集

八爪魚(yú)采集可根據(jù)不同網(wǎng)站，提供多種網(wǎng)頁(yè)采集策略與配套資源，可自定義配置，組合運(yùn)用，自動(dòng)化處理。從而幫助整個(gè)采集過(guò)程實(shí)現(xiàn)數(shù)據(jù)的完整性與穩(wěn)定性。

3、云采集

由5000多臺(tái)云服務(wù)器支撐的云采集，7*24小時(shí)不間斷運(yùn)行，可實(shí)現(xiàn)定時(shí)采集，無(wú)需人員值守，靈活契合業(yè)務(wù)場(chǎng)景，幫你提升采集效率，保障數(shù)據(jù)時(shí)效性。

4、API接口

通過(guò)八爪魚(yú)API，可以輕松獲取八爪魚(yú)任務(wù)信息和采集到的數(shù)據(jù)，靈活調(diào)度任務(wù)，比如遠(yuǎn)程控制任務(wù)啟動(dòng)與停止，高效實(shí)現(xiàn)數(shù)據(jù)采集與歸檔?；趶?qiáng)大的API體系，還可以無(wú)縫對(duì)接公司內(nèi)部各類管理平臺(tái)，實(shí)現(xiàn)各類業(yè)務(wù)自動(dòng)化。

5、自定義采集

針對(duì)不同用戶的采集需求，八爪魚(yú)可提供自動(dòng)生成爬蟲(chóng)的自定義模式，可準(zhǔn)確批量識(shí)別各種網(wǎng)頁(yè)元素，還有翻頁(yè)、下拉、ajax、頁(yè)面滾動(dòng)、條件判斷等多種功能，支持不同網(wǎng)頁(yè)結(jié)構(gòu)的復(fù)雜網(wǎng)站采集，滿足多種采集應(yīng)用場(chǎng)景。

6、便捷定時(shí)功能

簡(jiǎn)單幾步點(diǎn)擊設(shè)置，即可實(shí)現(xiàn)采集任務(wù)的定時(shí)控制，不論是單次采集的定時(shí)設(shè)置，還是預(yù)設(shè)某一天或是每周每月的定時(shí)采集，都可以同時(shí)對(duì)多個(gè)任務(wù)自由進(jìn)行設(shè)置，根據(jù)需要對(duì)選擇時(shí)間進(jìn)行多重組合，靈活調(diào)配自己的采集任務(wù)。

7、全自動(dòng)數(shù)據(jù)格式化

八爪魚(yú)內(nèi)置了強(qiáng)大的數(shù)據(jù)格式化引擎，支持字符串替換、正則表達(dá)式替換或匹配、去除空格、添加前綴或后綴、日期時(shí)間格式化、HTML轉(zhuǎn)碼等多項(xiàng)功能，采集過(guò)程中全自動(dòng)處理，無(wú)需人工干預(yù)，即可得到所需格式數(shù)據(jù)。

8、多層級(jí)采集

很多主流新聞、電商類的網(wǎng)站，里面包含一級(jí)商品列表頁(yè)，也包含二級(jí)商品詳情頁(yè)，還有三級(jí)評(píng)論詳情頁(yè)面;不論網(wǎng)站有多少層級(jí)，八爪魚(yú)都可以不限制層級(jí)的采集數(shù)據(jù)，滿足各類業(yè)務(wù)采集需求。

9、支持網(wǎng)站登錄后采集

八爪魚(yú)內(nèi)置了采集登錄模塊，只需配置目標(biāo)網(wǎng)站的賬號(hào)密碼，即可用該模塊采集到登錄后的數(shù)據(jù);同時(shí)八爪魚(yú)還具備采集Cookie自定義功能，首次登錄以后，可以自動(dòng)記住cookie，免去多次輸入密碼的繁瑣，支持更多網(wǎng)站的采集。

使用教程

先我們新建一個(gè)任務(wù)-->進(jìn)入流程設(shè)計(jì)頁(yè)面-->添加一個(gè)循環(huán)步驟到流程中-->選中循環(huán)步驟-->勾選上軟件右方的URL 列表勾選框-->打開(kāi)URL列表文本框-->將準(zhǔn)備好的URL列表填寫(xiě)到文本框中

接下來(lái)往循環(huán)中拖入一個(gè)打開(kāi)網(wǎng)頁(yè)的步驟-->選中打開(kāi)網(wǎng)頁(yè)步驟-->勾選上使用當(dāng)前循環(huán)里的URL作為導(dǎo)航地址-->點(diǎn)擊保存。系統(tǒng)會(huì)在界面下方的瀏覽器中打開(kāi)循環(huán)中選中的URL對(duì)應(yīng)的網(wǎng)頁(yè)

到這里，循環(huán)打開(kāi)網(wǎng)頁(yè)的流程就配置完成了，運(yùn)行流程的時(shí)候，系統(tǒng)會(huì)逐個(gè)的打開(kāi)循環(huán)中設(shè)置的URL。最后我們不需要配置一個(gè)采集數(shù)據(jù)的步驟，這里就不在多講，大家可以參考從入門(mén)到精通系列1：采集單個(gè)網(wǎng)頁(yè) 這篇文章。下圖就是最終和流程

下面是流程最終的運(yùn)行結(jié)果 

更新日志　

1、新增邊采集邊下載文件（暫支持本地采集）
操作提示系統(tǒng)新增文件URL識(shí)別和下載提取設(shè)置
數(shù)據(jù)預(yù)覽的字段選項(xiàng)新增“下載文件”選項(xiàng)，自動(dòng)生成下載文件“保存位置”字段
任務(wù)設(shè)置面板新增文件下載路徑、啟動(dòng)項(xiàng)設(shè)置
本地采集面板新增下載信息模塊
2、新增賬戶中心系統(tǒng)
新增個(gè)人頭像
新增微信、手機(jī)、郵箱信息綁定修改
新增余額系統(tǒng)，支持模板、驗(yàn)證碼、IP代理直接用余額扣費(fèi)
新增自助在線上傳支付憑證（線下支付方式）
3、新增版本套餐頁(yè)面
支持客戶端內(nèi)升級(jí)或購(gòu)買(mǎi)賬號(hào)版本套餐
4、本地采集日志系統(tǒng)
新增錯(cuò)誤日志上下文信息
5、優(yōu)化修復(fù)已知的性能bug問(wèn)題