前言:這篇文章是Dedecms采集功能使用方法的第二篇,主要目的是采集含有分頁(yè)的普通文章,并使用簡(jiǎn)單的過濾規(guī)則。這次選取的目標(biāo)站點(diǎn)是中國(guó)網(wǎng)管聯(lián)盟網(wǎng)絡(luò)技術(shù)頻道的網(wǎng)絡(luò)協(xié)議欄目,網(wǎng)址是“http://www.bitscn.com/network/protocol/”。本文共分為三節(jié),第一節(jié),主要是介紹新增采集節(jié)點(diǎn)中的第一步:設(shè)置基本信息及網(wǎng)址索引頁(yè)規(guī)則;第二節(jié),主要是介紹新增采集節(jié)點(diǎn)中的第二步:設(shè)置字段獲取規(guī)則;第三節(jié),主要是介紹如何采集指定節(jié)點(diǎn)和如何導(dǎo)出采集內(nèi)容。對(duì)于編寫采集規(guī)則中一些基本的操作,本文將一帶而過或不再涉及,如有疑問可參見文章“Dedecms采集功能的使用方法 --- 不含分頁(yè)的普通文章的采集”。
下面進(jìn)入第一節(jié)。
1.1 設(shè)置基本信息及網(wǎng)址索引頁(yè)規(guī)則
建立一個(gè)新的普通文章型節(jié)點(diǎn),并進(jìn)入“新增采集節(jié)點(diǎn):第一步設(shè)置基本信息及網(wǎng)址索引頁(yè)規(guī)則”如(圖1)所示,
圖1-新增采集節(jié)點(diǎn):第一步設(shè)置基本信息及網(wǎng)址索引頁(yè)規(guī)則
圖2-節(jié)點(diǎn)基本信息
首先,定義節(jié)點(diǎn)名稱為“采集測(cè)試(二)”。其次,查找目標(biāo)頁(yè)面編碼。其操作步驟為:
(a)打開被采集的目標(biāo)頁(yè):http://www.bitscn.com/network/protocol/;
(b)單擊右鍵后選擇“查看源文件”,找到“charset”, 如(圖3)所示,
圖3-查看源文件
其等號(hào)后面的代碼就是所需的“編碼格式”,這里是“gb2312”。對(duì)于“區(qū)域匹配模式”、“內(nèi)容導(dǎo)入順序”和“防盜鏈模式”,均使用默認(rèn)值。
引用網(wǎng)址:可以選取在文章列表里出現(xiàn)的任意一個(gè)文章頁(yè)的網(wǎng)址。方便起見,一般是填入文章列表中第一篇文章的網(wǎng)址,但是由于第一篇文章沒有涉及到分頁(yè)內(nèi)容,為了展示如何采集分頁(yè)文章,這里使用第二篇文章作為引用網(wǎng)址。其網(wǎng)址為:“http://www.bitscn.com/network/protocol/201105/193110.html”。設(shè)置后的節(jié)點(diǎn)基本信息,如(圖4)所示,
圖4-設(shè)置后的節(jié)點(diǎn)基本信息
檢查無誤后,進(jìn)入下一步設(shè)置。
如(圖5)所示,
圖5-列表網(wǎng)址獲取規(guī)則
這里是設(shè)置被采集的文章列表頁(yè)的匹配規(guī)則的,也是本節(jié)的重點(diǎn)和難點(diǎn)。
具體操作步驟:
(a)首先,回到已打開的文章列表頁(yè),這時(shí)瀏覽器的URL地址欄中顯示的網(wǎng)址,如(圖6)所示,
圖6-列表首頁(yè)的網(wǎng)址
(b)找到文章列表頁(yè)的換頁(yè)部分,把鼠標(biāo)放在各個(gè)頁(yè)碼上面,同時(shí)觀察其URL的變化規(guī)律??梢缘贸?,網(wǎng)址的匹配規(guī)律為:“http://www.bitscn.com/network/protocol/list_(*).html“。因此,在“匹配網(wǎng)址”中,應(yīng)填入“http://www.bitscn.com/network/protocol/list_(*).html”,為了能夠快速演示采集過程,這里設(shè)定頁(yè)面是從1開始到1結(jié)束,也就是說只采集第一頁(yè)。
設(shè)置后的 “列表網(wǎng)址獲取規(guī)則”,如(圖7)所示,
圖7-設(shè)置后的列表網(wǎng)址獲取規(guī)則
檢查無誤后,進(jìn)入下一步設(shè)置。
如(圖8)所示,
圖8-文章網(wǎng)址匹配規(guī)則
這里是設(shè)置被采集文章列表頁(yè)的匹配規(guī)則。
具體操作步驟:
(a)對(duì)于“區(qū)域開始的HTML”,可通過在打開的文章列表首頁(yè)上,單擊右鍵后選擇“查看源文件”。在源文件中,找到第一篇文章的標(biāo)題“OpenFlow網(wǎng)絡(luò)是空談嗎?”,如(圖9)所示,
圖9-查看源文件中,第一篇文章的標(biāo)題
通過觀察源文件,不難看出“<div class="list-cc">”為整個(gè)文章列表的開始部分。因此,在“區(qū)域開始的HTML”中,填入“<div class="list-cc">”。
(b)在源文件中,找到最后一篇文章標(biāo)題“認(rèn)識(shí)多重PPP鏈接協(xié)議”,如(圖10)所示,
圖10-查看源文件中,最后一篇文章的標(biāo)題
結(jié)合文章列表的開始部分并通過觀察可知,“</div>”為整個(gè)文章列表的結(jié)束部分。因此,在“區(qū)域結(jié)束的HTML”中,應(yīng)填入”</div>”。
設(shè)置結(jié)束后的“文章網(wǎng)址匹配規(guī)則“, 如(圖11)所示,
圖11-設(shè)置后的文章網(wǎng)址匹配規(guī)則
通過1.1.1小節(jié)、1.1.2小節(jié)和1.1.3小節(jié),新增采集節(jié)點(diǎn)的第一步就已經(jīng)設(shè)置完成了。設(shè)置后的結(jié)果,如(圖12)所示,
圖12-設(shè)置后的新增采集節(jié)點(diǎn):第一步設(shè)置基本信息及網(wǎng)址索引頁(yè)規(guī)則
全部完成并檢查無誤后,單擊“保存信息并進(jìn)入下一步設(shè)置“。如果之前設(shè)置正確,單擊后,將會(huì)進(jìn)入“新增采集節(jié)點(diǎn):測(cè)試基本信息及網(wǎng)址索引頁(yè)規(guī)則設(shè)置的網(wǎng)址獲取規(guī)則測(cè)試”頁(yè)面并看到相應(yīng)的文章列表地址。如(圖13)所示,
圖13-網(wǎng)址獲取規(guī)則測(cè)試
確定正確無誤后,單擊“保存信息并進(jìn)入下一步設(shè)置”。否則,請(qǐng)單擊“返回上一步進(jìn)行修改“。
到這里,第一節(jié)就結(jié)束了。下面進(jìn)入第二節(jié)。。。
版權(quán)聲明: 本站資源均來自互聯(lián)網(wǎng)或會(huì)員發(fā)布,如果侵犯了您的權(quán)益請(qǐng)與我們聯(lián)系,我們將在24小時(shí)內(nèi)刪除!謝謝!
轉(zhuǎn)載請(qǐng)注明: Dedecms織夢(mèng)采集功能的使用教程-含有分頁(yè)的普通文章(一)