前言:本文是“含有分頁的普通文章的采集方法“的第三節(jié),在前兩節(jié)的基礎(chǔ)上,將會對“如何采集指定節(jié)點”和“如何導(dǎo)出采集內(nèi)容”做詳細的介紹。為了與前文保持一致,本文將延續(xù)使用前文的章節(jié)標記。
上接第二節(jié)。
單擊“保存并開始采集“后,將會進入”采集指定節(jié)點“界面,如(圖29)所示,
圖29-采集指定節(jié)點
每頁采集:這是設(shè)置每頁所需采集的條數(shù),并可根據(jù)網(wǎng)站是否有防刷新功能,設(shè)置采集間隔時間。
特殊選項:設(shè)置是否檢測重復(fù)圖片,默認為“檢測”。
附加選項:此選項一共有3種采集模式可供選擇:第一種為“監(jiān)控采集模式(檢測當前或所有節(jié)點是否有新內(nèi)容)”,選取后,系統(tǒng)只會采集指定節(jié)點中更新的內(nèi)容;第二種為“重新下載全部內(nèi)容”,選取后,系統(tǒng)會采集指定節(jié)點中的全部內(nèi)容;第三種為“下載種子網(wǎng)站的未下載內(nèi)容”,選取后,系統(tǒng)只會采集指定節(jié)點中未下載過的內(nèi)容,包括以前沒下載的和更新的內(nèi)容。
設(shè)置完成并確定無誤后,可單擊“開始采集網(wǎng)頁”或者“查看種子網(wǎng)址”。此時,如果單擊“查看種子網(wǎng)址”會看到列表是空的,這是因為新建立的采集節(jié)點從未采集過,如(圖30)所示,
圖30-查看節(jié)點的種子網(wǎng)址
單擊“開始采集網(wǎng)頁”后,系統(tǒng)便會開始采集節(jié)點中設(shè)置的網(wǎng)址,并出現(xiàn)相關(guān)提示,如(圖31)所示,
圖31-采集進程中提示信息
采集結(jié)束后,再次單擊“查看種子網(wǎng)址”或者單擊頁面右上角的“查看已下載”,便可看到已采集到的網(wǎng)址信息,如(圖32)所示,
圖32-查看節(jié)點的種子網(wǎng)址
成功采集以后,可以根據(jù)實際需要選擇頁面右上角的單擊“采集節(jié)點管理”或者“導(dǎo)出數(shù)據(jù)”。單擊“導(dǎo)出數(shù)據(jù)“后,便可進入” 采集管理> 采集內(nèi)容導(dǎo)出“界面,如(圖33)所示,
圖33-采集內(nèi)容導(dǎo)出
“默認導(dǎo)出欄目“:設(shè)置要把采集到的內(nèi)容導(dǎo)入到的欄目
“批量采集選項”:如果在采集規(guī)則中已指定欄目ID,則可使用此功能,若指定的欄目ID為0,系統(tǒng)會把采集內(nèi)容導(dǎo)入到“默認導(dǎo)出欄目”所選擇的欄目中。
“發(fā)布選項“:有發(fā)布成“普通文檔”和“保存為草稿”可供選擇。
“每批導(dǎo)入“:設(shè)置每批導(dǎo)入的條數(shù),此數(shù)不宜過大。
“附帶選項“:此處為多選。如果不希望采集到重復(fù)的文章標題,可選中“排除重復(fù)標題”;如果希望被采集到的內(nèi)容直接生成HTML的話,可選中“完成后自動生成導(dǎo)入內(nèi)容HTML”;如果希望系統(tǒng)在采集列表頁時自動識別標題名,可選中“使用列表索引的標題”,一般不建議勾選。
“隨機推薦”:填入一個數(shù)字,代表文檔篇數(shù)。在所填入的文檔篇數(shù)內(nèi)隨機出現(xiàn)一篇推薦文檔,若填入“0”,則表示為不推薦。
設(shè)置完成后,可單擊“確定”,就可以把下載的導(dǎo)入到所選的欄目中了,如(圖34)所示,
圖34-設(shè)置完成后的采集內(nèi)容導(dǎo)出頁面
同時,系統(tǒng)將會有導(dǎo)出進程提示,如(圖35)所示,
圖35-采集內(nèi)容導(dǎo)出中的提示信息
導(dǎo)出采集內(nèi)容提示“完成所有欄目列表更新”后,單擊“瀏覽欄目”,便可進入網(wǎng)站的相關(guān)頁面查看到采集到的文章列表及其具體內(nèi)容。也可在后臺管理界面的主菜單中單擊“核心”,然后單擊“普通文章”,進入“文檔列表”頁面,查看所采集到的文章列表,如(圖36)所示,
圖36-文檔列表
在文檔列表中,單擊“用最簡單網(wǎng)絡(luò) 學(xué)習IP和ARP協(xié)議”的預(yù)覽按鈕,可打開文章內(nèi)容頁面,找到頁面的換頁部分,如(圖37)所示,
圖37-分頁
由此可知,含有分頁文章內(nèi)容已經(jīng)被成功采集到了。
總結(jié),本文詳細地敘述了如何采集一個含有分頁的普通文章類型的頁面,并簡單地涉及到了過濾規(guī)則。對于采集更為復(fù)雜的普通文章類型的頁面和使用過濾規(guī)則,將會在今后文章中介紹。
本文的采集規(guī)則:
{dede:listconfig}
{dede:noteinfo notename="采集測試(二)" channelid="1" macthtype="string"
refurl="http://www.bitscn.com/network/protocol/201105/193110.html" sourcelang="gb2312" cosort="asc"
isref="no" exptime="10" usemore="0" /}
{dede:listrule sourcetype="batch" rssurl="http://" regxurl="http://www.bitscn.com/network/protocol/list_(*).html"
startid="1" endid="1" addv="1" urlrule="area" musthas=""
nothas="" listpic="1" usemore="0"}
{dede:addurls}{/dede:addurls}
{dede:batchrule}{/dede:batchrule}
{dede:regxrule}{/dede:regxrule}
{dede:areastart}<div class="list-cc">{/dede:areastart}
{dede:areaend}</div>{/dede:areaend}
{/dede:listrule}
{/dede:listconfig}
{dede:itemconfig}
{dede:sppage sptype='full' srul='1' erul='5'}<div class="page next-page">[內(nèi)容]</div>{/dede:sppage}
{dede:previewurl}http://www.bitscn.com/network/protocol/201105/193110.html{/dede:previewurl}
{dede:keywordtrim}{/dede:keywordtrim}
{dede:descriptiontrim}{/dede:descriptiontrim}
{dede:item field='title' value='' isunit='' isdown=''}
{dede:match}<h1 class="title">[內(nèi)容]</h1>{/dede:match}
{dede:function}{/dede:function}
{/dede:item}{dede:item field='writer' value='' isunit='' isdown=''}
{dede:match}{/dede:match}
{dede:function}{/dede:function}
{/dede:item}{dede:item field='source' value='' isunit='' isdown=''}
{dede:match}<span>來源:[內(nèi)容]</span>{/dede:match}
{dede:function}{/dede:function}
{/dede:item}{dede:item field='pubdate' value='' isunit='' isdown=''}
{dede:match}時間:[內(nèi)容] <span>{/dede:match}
{dede:function}{/dede:function}
{/dede:item}{dede:item field='body' value='' isunit='1' isdown='1'}
{dede:match}<!--文章塊開始-->[內(nèi)容]<!--文章內(nèi)分頁結(jié)束-->{/dede:match}
{dede:trim replace=""}<div class="contentgg">(.*)</div>{/dede:trim}
{dede:trim replace=""}<div align="center" style="padding-top:20px;">(.*)</div>{/dede:trim}
{dede:trim replace=""}<div class="page next-page">(.*)</div>{/dede:trim}
{dede:function}{/dede:function}
{/dede:item}
{/dede:itemconfig}
版權(quán)聲明: 本站資源均來自互聯(lián)網(wǎng)或會員發(fā)布,如果侵犯了您的權(quán)益請與我們聯(lián)系,我們將在24小時內(nèi)刪除!謝謝!
轉(zhuǎn)載請注明: Dedecms采集功能的使用方法 --- 含有分頁的普通文章的采集(三)