前言:本文是“含有分頁的普通文章的采集方法“的第二節(jié),在前一節(jié)的基礎(chǔ)上,這一節(jié)會對新增采集節(jié)點中的第二步:“設(shè)置字段獲取規(guī)則”做詳細的介紹。為了與前文保持一致,本文將延續(xù)使用前文的章節(jié)標記。
上接第一節(jié)。
2.1新增采集節(jié)點:第二步設(shè)置內(nèi)容字段獲取規(guī)則
單擊“保存信息并進入下一步設(shè)置”后,便可進入“新增采集節(jié)點:第二步設(shè)置內(nèi)容字段獲取規(guī)則”頁面,如(圖14)所示,
圖14-設(shè)置內(nèi)容字段獲取規(guī)則
系統(tǒng)將會自動指定一個“預(yù)覽網(wǎng)址”,一般是文章列表頁的第一篇文章的網(wǎng)址。但是,由于第一篇文章中沒有涉及到分頁的部分,所以在這里手動更改為,第二篇文章的網(wǎng)址:“http://www.bitscn.com/network/protocol/201105/193110.html”,更改后,如(圖15)所示,
圖15-更改后的預(yù)覽地址
下面來設(shè)定分頁部分的匹配規(guī)則。其具體操作步驟為:
打開文章內(nèi)容頁面,在網(wǎng)頁上單擊右鍵,在彈出的對話框中單擊“查看源文件“。在源代碼中,找到分頁代碼的開始部分和結(jié)束部分,如(圖16)所示,
圖16-分頁代碼
經(jīng)過觀察可知,分頁代碼位于“<div class=”page next-page”>“和”</div>”之間。因此,在”內(nèi)容分頁導(dǎo)航所在的區(qū)域匹配規(guī)則“中,應(yīng)填寫”<div class=”page next-page”>[內(nèi)容]</div> “。對于分頁代碼的樣式,一共有三種可供選擇,這里應(yīng)選擇第一種” 全部列出的分頁列表”。填寫后,如(圖17)所示,
圖17-設(shè)置后的網(wǎng)頁內(nèi)容獲取規(guī)則
對于“固定采集項目”中的“內(nèi)容摘要、關(guān)鍵字和縮略圖“三個部分,系統(tǒng)會用正則進行自動匹配,這里僅需配置過濾內(nèi)容即可。下面主要介紹如何獲取“文章標題、文章作者、文章來源、發(fā)布時間和文章內(nèi)容”的采集規(guī)則,過濾規(guī)則僅簡單涉及。
首先,打開“預(yù)覽網(wǎng)址“的頁面并單擊右鍵,選擇”查看源代碼“,找到文章標題” OpenFlow網(wǎng)絡(luò)是空談嗎?“,如(圖18)所示,
圖18-在源代碼中的文章標題
這里的文章標題處在”<h1 class=“title”></h1>”之間,因此這里應(yīng)該填寫”<h1 class=“title”>[內(nèi)容]</h1>”作為文章標題的匹配規(guī)則。如果在文章標題中含有相關(guān)鏈接等,可使用過濾規(guī)則加以處理,這里無需設(shè)置。填寫后,如(圖19)所示,
圖19-文章標題的采集規(guī)則
經(jīng)過查找源代碼和對比原文的標題部分,可發(fā)現(xiàn)本文沒有涉及到文章作者,所以這里不用填寫,空著即可。
在上圖19中,可發(fā)現(xiàn)來源的內(nèi)容介于“<span>來源:“和“</span>”之間,因此這里應(yīng)填寫“<span>來源:[內(nèi)容]</span>”作為文章來源的采集規(guī)則。同樣,這里也不需要使用過濾規(guī)則。填寫后,如圖20所示,
圖20-文章來源的采集規(guī)則
再次回到圖17,可找到“時間:2011-05-13 11:47”,因此這里應(yīng)把“時間:[內(nèi)容]<span>”作為發(fā)布時間的采集規(guī)則。同樣,這里也不需要使用過濾規(guī)則。填寫后,如圖21所示,
圖21-文章發(fā)布時間的采集規(guī)則
這個部分是編寫采集規(guī)則的重點,也是難點。需要特別注意。
具體操作步驟:
(a)在在打開的文章內(nèi)容頁面的源代碼中,找到文章內(nèi)容的開始部分“計算機網(wǎng)絡(luò)知識的學習”,如圖22所示,
圖22-文章內(nèi)容的開始部分
這里應(yīng)把”<!—文章塊開始—>”作為匹配規(guī)則的開始部分,注意到這段代碼中包含一段廣告代碼,需要采用過濾規(guī)則把其去除。經(jīng)觀察發(fā)現(xiàn),這段JS廣告代碼是位于“<div class=”contentgg”>”和“</div>”之間的。因此,應(yīng)在“過濾規(guī)則”中填寫:“{dede:trim replace=’’}<div class=”contentgg”>(.*)</div>”{/dede:trim}。填寫后,如(圖23)所示,
圖23-開始部分的匹配規(guī)則及其過濾規(guī)則
(b)找到文章內(nèi)容的結(jié)束部分,因為涉及到分頁部分,所以應(yīng)該選取分頁結(jié)束的位置,如圖24所示,
圖24-文章內(nèi)容的結(jié)束部分
這里應(yīng)選取“<!—文章內(nèi)分頁結(jié)束-->”作為文章內(nèi)容的結(jié)束部分,由于在選取的內(nèi)容中又包含了一段JS代碼,因此應(yīng)再次使用過濾規(guī)則,把其去除。同時,考慮到本頁沒有涉及到分頁,所以在分頁代碼中的<ul></ul>之間是空的。但是,如果頁面包含分頁的話,也是應(yīng)該使用過濾規(guī)則去除的。此外,如果所設(shè)定的文章內(nèi)容中,含有圖片、鏈接等不希望被采集到的內(nèi)容,也應(yīng)該使用過濾規(guī)則一并去除掉。填寫完成后,如(圖25)所示,
圖25-文章內(nèi)容的匹配規(guī)則
到這里,“新增采集節(jié)點:第二步設(shè)置內(nèi)容字段獲取規(guī)則”,就設(shè)置完成了。來看一下整個配置頁面,如(圖26)所示,
圖26-設(shè)置后的新增采集節(jié)點:第二步設(shè)置內(nèi)容字段獲取規(guī)則
檢查無誤后,單擊“保存配置并預(yù)覽”。如果之前設(shè)置正確,單擊后,將會進入“新增采集節(jié)點:測試內(nèi)容字段設(shè)置”頁面并看到相應(yīng)的文章內(nèi)容。如(圖27)和(圖28)所示,
圖27-新增采集節(jié)點:測試內(nèi)容字段設(shè)置
圖28-新增采集節(jié)點:測試內(nèi)容字段設(shè)置
其中,圖中畫圈的地方代表的是分頁符號。
確定正確無誤后,如果單擊“僅保存”,系統(tǒng)將會提示“成功保存配置“并返回”采集節(jié)點管理“界面;如果單擊“保存并開始采集“,將會進入”采集指定節(jié)點“界面。否則,請單擊“返回上一步進行修改”。
關(guān)于第二節(jié)的介紹就到這里。下面進入第三節(jié)。。。
版權(quán)聲明: 本站資源均來自互聯(lián)網(wǎng)或會員發(fā)布,如果侵犯了您的權(quán)益請與我們聯(lián)系,我們將在24小時內(nèi)刪除!謝謝!
轉(zhuǎn)載請注明: Dedecms織夢采集功能的使用教程-含有分頁的普通文章的采集(二)