爬蟲如何爬取滾動(dòng)條滾動(dòng)后出現(xiàn)的數(shù)據(jù)（瀑布流）
爬蟲如何爬取滾動(dòng)條滾動(dòng)后出現(xiàn)的數(shù)據(jù)（瀑布流）
我給樓主說一下思路吧如果是瀑布流加載，首先要全局監(jiān)聽scroll事件，當(dāng)頁面滾動(dòng)的時(shí)候，獲取頁面的scrollTop值，當(dāng)scrollTop的值達(dá)到某個(gè)定值的時(shí)候時(shí)候異步去請求后端，請求到的數(shù)據(jù)在append的頁面里就可以了。
有什么辦法可以將圖片的URL地址采集下來？
直接用八爪魚采集器就可以了。
隨著瀑布流網(wǎng)站、AJAX網(wǎng)頁等技術(shù)和網(wǎng)站表現(xiàn)形式大行其道，技術(shù)架構(gòu)和網(wǎng)頁結(jié)構(gòu)都與以往傳統(tǒng)的網(wǎng)站有所區(qū)別，圖片展現(xiàn)形式表現(xiàn)的更加的靈活，有些企業(yè)或個(gè)人出于營銷研究或者收藏的需求，需要對這類型網(wǎng)站進(jìn)行網(wǎng)頁數(shù)據(jù)采集，下面，八妹子就來介紹下，遇到這類型網(wǎng)站時(shí)我們要如何使用八爪魚采集器來快速收集數(shù)據(jù)。
我們以“韓國東大門”這個(gè)網(wǎng)站為例，來說明下圖片采集要如何實(shí)現(xiàn)。
先來看下這個(gè)網(wǎng)站的特殊之處，首先，頁面上的圖片不是一次加載完成，而需要滾動(dòng)多次才會(huì)滾動(dòng)到底部，這類型的網(wǎng)站像新浪微博也是類似情況，當(dāng)然也有的瀑布流網(wǎng)站是一直加載無法見底的，這種情況八妹子會(huì)在別的文章來單獨(dú)介紹，在此不贅述。其次，產(chǎn)品詳情頁不能通過點(diǎn)擊標(biāo)題進(jìn)入，而需要點(diǎn)擊圖片才能進(jìn)入。
針對以上兩點(diǎn)問題，在使用八爪魚采集器采集圖片等信息的時(shí)候，在設(shè)置規(guī)則的時(shí)候需要注意以下幾點(diǎn)：
1、?打開網(wǎng)頁的時(shí)候，需要設(shè)置AJAX網(wǎng)頁加載，以便確保數(shù)據(jù)采集的時(shí)候不會(huì)遺漏，像東大門這個(gè)示范站，我們實(shí)際滾動(dòng)大約需要4次，所以我們在AJAX加載到底部，滾動(dòng)次數(shù)可以設(shè)置為4次或5次均可，次數(shù)可以適當(dāng)?shù)谋葘?shí)際的滾動(dòng)次數(shù)稍微多一兩次！
2、?由于我們采集時(shí)需要點(diǎn)擊圖片才能進(jìn)入到產(chǎn)品詳情頁，在建立元素循環(huán)列表的時(shí)候，需要將圖片鏈接設(shè)置為列表項(xiàng)，如下圖所示，我們需要點(diǎn)擊A標(biāo)簽取到圖片的鏈接地址，并以此鏈接為循環(huán)列表，添加元素到列表的時(shí)候，每次都需要點(diǎn)擊A標(biāo)簽，2-3次添加之后系統(tǒng)會(huì)將所有選中的圖片鏈接自動(dòng)讀取出來。
3、?采集圖片的URL，按第二步的操作進(jìn)入到詳情頁后，就是提取數(shù)據(jù)了，對于產(chǎn)品名稱和價(jià)格，都是文本形式，提取非常簡單，而對于圖片，會(huì)需要先采集到圖片本身的URL，再進(jìn)行轉(zhuǎn)換，采集辦法如下圖所示，選中圖片后，在彈出的對話框中可選中IMG標(biāo)簽，選擇圖片的超鏈接進(jìn)行采集。
4、?設(shè)置完成后，保存，來看下采集的戰(zhàn)果！URL、產(chǎn)品名稱、價(jià)格均已采集下來，我們導(dǎo)出為EXCEL格式的文件。
5、?將圖片的URL轉(zhuǎn)換為圖片批量下載下來，相關(guān)的工具再八爪魚數(shù)據(jù)采集器論壇可以免費(fèi)下載。將URL地址導(dǎo)入工具即可將圖片轉(zhuǎn)換下來！
經(jīng)過以上簡單的5步，AJAX網(wǎng)頁上的瀑布流圖片就輕松采集下來了，當(dāng)然，如果你要進(jìn)行多頁采集，只需要再第2步的設(shè)置一次翻頁循環(huán)即可，翻頁循環(huán)的相關(guān)視頻教程可直接點(diǎn)擊查看。
怎樣在網(wǎng)頁中做出瀑布流效果？
在網(wǎng)頁中實(shí)現(xiàn)瀑布流效果方法：
1.傳統(tǒng)多列浮動(dòng)
各列固定寬度，并且左浮動(dòng);
一列中的數(shù)據(jù)塊為一組，列中的每個(gè)數(shù)據(jù)塊依次排列即可;
更多數(shù)據(jù)加載時(shí)，需要分別插入到不同的列上。
2. CSS3 定義
由 chrome/ff 瀏覽器直接渲染出來，可以指定容器的列個(gè)數(shù)，列間距，列中間邊框，列寬度來實(shí)現(xiàn);
#container {
-webkit-column-count: 5;
/*-webkit-column-gap: 10px;
-webkit-column-rule: 5px solid #333;
-webkit-column-width: 210px;*/
-moz-column-count: 5;
/*-moz-column-gap: 20px;
-moz-column-rule: 5px solid #333;
-moz-column-width: 210px;*/
column-count: 5;
/*column-gap: 10px;
column-rule: 5px solid #333;
column-width: 210px;*/
}
column-count 為列數(shù); column-gap 為每列間隔距離; column-rule 為間隔邊線大小; column-width 為每列寬度; 當(dāng)只設(shè)置 column-width 時(shí)，瀏覽器窗口小于一列寬度時(shí)，列中內(nèi)容自動(dòng)隱藏; 當(dāng)只設(shè)置 column-count 時(shí)，平均計(jì)算每列寬度，列內(nèi)內(nèi)容超出則隱藏; 都設(shè)了 column-count 和column-width，瀏覽器會(huì)根據(jù) count 計(jì)算寬度和 width 比較，取大的那個(gè)值作為每列寬度，然后當(dāng)窗口縮小時(shí)，width 的值為每列最小寬度。
3.**定位
可謂是**的一種方案，方便添加數(shù)據(jù)內(nèi)容，窗口變化，列數(shù)/數(shù)據(jù)塊都會(huì)自動(dòng)調(diào)整。
java如何實(shí)現(xiàn)瀑布流
瀑布流可以自己編寫，javascript加其它動(dòng)態(tài)語言(php asp jsp等等)，結(jié)合ajax實(shí)現(xiàn)的，自己寫稍顯復(fù)雜**，如果你會(huì)php或者java，可以找現(xiàn)成的js庫中的類似效果，如jquery就有這個(gè)插件，套上就行了，具體插件和使用方法自己google吧！希望可以幫到您，謝謝！
使用RecyclerView實(shí)現(xiàn)瀑布流
問題：單獨(dú)使用RecyclerView實(shí)現(xiàn)瀑布流會(huì)出現(xiàn)各種問題，如上拉到最頂部出現(xiàn)留白，或者錯(cuò)亂等問題。 解決方案：使用NestedScrollView去嵌套RecyclerView，禁用RecyclerView的滑動(dòng)，并使用**artRefresh來控制上拉加載和下拉刷新。
步驟: 1、布局 最外層**artRefresh，然后scrollView，**RecyclerView。
記住RecyclerView外層套一層RelativeLayout否則會(huì)出現(xiàn)顯示不全的情況。
集搜客爬取數(shù)據(jù)方法
1.安裝集搜客軟件 2.確定目標(biāo)網(wǎng)頁地址，確定爬取內(nèi)容類型：只涉及本網(wǎng)頁內(nèi)容列表還是需要層級爬??？層級爬取就是需要通過本頁找到一個(gè)新的網(wǎng)址爬取新頁面的內(nèi)容。 3.工具的基本思路：同一個(gè)主題有多個(gè)規(guī)則，同一個(gè)規(guī)則可有多個(gè)整理箱，同一個(gè)整理箱里面有多個(gè)屬性值（多列） 步驟：1.輸入目標(biāo)地址2.定義主題不重復(fù)和規(guī)則名3.制定改規(guī)則下的整理箱，將整理箱中的屬性值和網(wǎng)頁中的內(nèi)容一一對應(yīng)。
4.定義規(guī)則里面的線索或者動(dòng)作5.保存規(guī)則6打開打數(shù)臺，輸入想打的數(shù)據(jù)條數(shù) 問題1：怎么把相同的結(jié)構(gòu)全部爬取下來，比如100條評論？ 樣例**和定位映射 只能選擇一種。
原理不同：樣例**是選擇 兄弟節(jié)點(diǎn)（一定是兄弟節(jié)點(diǎn)，在文本語言中緊挨著的，層級結(jié)構(gòu)在同一層次上） ，告訴集搜客，都在什么跳到下一個(gè)采集同樣的內(nèi)容。定位映射是通過HTMl的class或者樣式id等標(biāo)記，將內(nèi)容和樣式標(biāo)記對應(yīng)起來。告訴集搜客遇到得很么標(biāo)記的時(shí)候，采集的內(nèi)容對應(yīng)什么表橋。問題2：怎么設(shè)置層級爬取？ **層級中找到@href標(biāo)記為線索映射，在爬蟲路徑中寫下 第二級的主題名 。
保存**級主題之后，然后建立第二級主題的具體規(guī)則。 問題4：怎么翻頁？有翻頁標(biāo)記或者無翻頁標(biāo)記。翻頁更多問題：http://www.gooseeker.com/doc/thread-698-1-1.html 翻頁分為?1：通過文字下一頁或者數(shù)字，點(diǎn)擊下一頁爬取相同的內(nèi)容，比如下一頁的商品列表。
重點(diǎn)為：創(chuàng)建記號線索，將記號線索與相應(yīng)內(nèi)容對應(yīng)（此部分內(nèi)容本次沒有實(shí)驗(yàn)，后期用的時(shí)候再改） 線索映射和線索區(qū)塊的定位映射 2.通過文字或者標(biāo)記點(diǎn)擊下一頁，爬取另一種網(wǎng)頁結(jié)構(gòu)：類似于層級爬取但是下一級的地址需要通過頁面標(biāo)記來找到。3.通過鼠標(biāo)滑動(dòng)選擇連續(xù)動(dòng)作也稱滾屏或者瀑布流： 3.1在連續(xù)動(dòng)作工作臺新建一個(gè)滾屏動(dòng)作，因?yàn)闈L屏后的網(wǎng)頁結(jié)構(gòu)沒有變化，仍然可以用當(dāng)前規(guī)則采集，所以這里的目標(biāo)主題名就填寫當(dāng)前規(guī)則本身的主題名。3.2滾屏動(dòng)作的參數(shù)可以根據(jù)自己的需要調(diào)試。
滾屏動(dòng)作的高級設(shè)置一般保持默認(rèn)就行,滾屏參數(shù)說明：每次滾屏次數(shù):每次執(zhí)行滾屏動(dòng)作，瀏覽器往下翻多少屏;總共滾屏數(shù):執(zhí)行滾屏操作的次數(shù)，達(dá)到總共滾屏數(shù)就會(huì)停止?jié)L屏，-1表示無限制;如果總共滾屏數(shù)設(shè)置成-1，就會(huì)一直滾屏停不下來，這時(shí)就必須在DS打數(shù)機(jī)上打開重復(fù)內(nèi)容，這樣當(dāng)爬蟲發(fā)現(xiàn)抓到的都是重復(fù)內(nèi)容，就會(huì)停止?jié)L屏動(dòng)作百科。設(shè)置方法：點(diǎn)擊DS打數(shù)機(jī)的高級菜單->終點(diǎn)標(biāo)志->勾上重復(fù)內(nèi)容。
