花魁直播高品质美女在线视频互动社区 - 花魁直播官方版

 歡迎來到素材無憂網(wǎng),按 + 收藏我們
登錄 注冊 退出 找回密碼

DedeCMS V5.7全文檢索使用說明

時間： 2018-12-07 08:36 閱讀： 次 作者：素材無憂網(wǎng)

首先了解一下sphinx全文索引的相關(guān)知識,考慮到Sphinx全文索引使用的實際需要，主要介紹Sphinx全文索引中文方面的支持。這里需要感謝李沫南同學(xué)對Sphinx全文索引中文支持的貢獻(xiàn)！

官方網(wǎng)站：
官方文檔：
中文支持：
中文使用手冊下載：
中文在線手冊:

1.Windows下安裝Sphinx
1.1.開始前的準(zhǔn)備工作
先從下載Coreseek 3.2.13,這里我們就以Windows環(huán)境為例:
下載后直接解壓coreseek-3.2.13-win32.zip,我們這里假設(shè)解壓到:D:\coreseek-3.2.13-win32.這里我們需要簡單了解幾個目錄:

[D:\coreseek-3.2.13-win32\api]API接口目錄,其中包括了php,python,ruby等操作實例,其中test_coreseek.php是一個不錯的中文檢索的例子.

[D:\****\bin]應(yīng)用程序目錄,其中包含以下幾個文件
    * indexer: 用于創(chuàng)建全文索引;
    * search: 一個簡單的命令行(CLI) 的測試程序，用于測試全文索引;
    * searchd: 一個守護(hù)進(jìn)程，其他軟件可以通過這個守護(hù)進(jìn)程進(jìn)行全文檢索;
    * sphinxapi: 一系列searchd 的客戶端API 庫，用于流行的Web腳本開發(fā)語言(PHP, Python, Perl, Ruby, Java).
    * spelldump: 一個簡單的命令行工具，用于從 ispell 或 MySpell (OpenOffice內(nèi)置綁定) 格式的字典中提取詞條。當(dāng)使用 wordforms 時可用這些詞條對索引進(jìn)行定制.
    * indextool: 工具程序，用來轉(zhuǎn)儲關(guān)于索引的多項調(diào)試信息。 此工具是從版本Coreseek 3.1(Sphinx 0.9.9-rc2)開始加入的。
    * mmseg: 工具程序和庫，Coreseek用于提供中文分詞和詞典處理。

[D:\****\etc]sphinx配置目錄
[D:\****\var]sphinx變量&索引&日志存放目錄

1.2.創(chuàng)建配置文件
由于dedecms使用的是mysql,所以我們需要來配置一個mysql的sphinx模板配置,可以復(fù)制csft_mysql.conf改名為:csft_dedecmsv57.conf,例如我們這里僅做文章的全文檢索,我們需要做如下配置:
先在DedeCMS中創(chuàng)建一個統(tǒng)計表,方法可以在DedeCMS后臺[系統(tǒng)]->[SQL命令行工具]中執(zhí)行下列代碼:
CREATE TABLE `dede_sphinx` ( 
    `countid` int(11) unsigned NOT NULL, 
    `maxaid` int(11) unsigned NOT NULL, 
    PRIMARY KEY (`countid`) 
) ENGINE=MyISAM DEFAULT CHARSET=gbk
這是一個sphinx內(nèi)容統(tǒng)計表,為了適合數(shù)據(jù)量較大的情況下分批生成索引而使用的.
創(chuàng)建完數(shù)據(jù)表后,我們對sphinx的配置文件,即csft_dedecmsv57.conf修改,內(nèi)容如下,其中包含注釋:
--------------------------------------------------------------------------------------------

#源定義
source mysql
{
    type                    = mysql

    # 數(shù)據(jù)庫服務(wù)器基本配置信息
    sql_host                = 192.168.0.103
    sql_user                = dedev57
    sql_pass                = dedecms
    sql_db                  = dedecmsv57gbk
    sql_port                = 3306
    
    # 設(shè)定編碼,這里我們是gbk編碼,如果是utf-8,可以設(shè)置:
    # sql_query_pre            = SET NAMES utf8
    sql_query_pre            = SET NAMES gbk
    
    # 數(shù)據(jù)檢索增量
    sql_range_step = 1000
    
    #當(dāng)前最新文檔id數(shù)
    sql_query_pre = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives
    
    #檢索條件
    sql_query               = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id>=$start AND ARC.id<=$end #sql_query第一列id需為整數(shù)
    #title、body作為字符串/文本字段，被全文索引
    
    # 獲取當(dāng)前最大檢索id
    sql_query_range  = SELECT 1,maxaid FROM dede_sphinx WHERE countid=1

                                            
    sql_attr_uint             = typeid            #從SQL讀取到的值必須為整數(shù)
    sql_attr_uint            = typeid2
    sql_attr_uint            = channel
    sql_attr_uint            = click
    sql_attr_uint            = badpost
    sql_attr_uint            = goodpost
    sql_attr_uint            = scores
    sql_attr_uint            = mid
    sql_attr_timestamp  = pubdate    #從SQL讀取到的值必須為整數(shù)，作為時間屬性
    sql_attr_timestamp  = senddate
    sql_attr_timestamp  = lastpost 

    #命令行查詢時，從數(shù)據(jù)庫讀取原始數(shù)據(jù)信息
    sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  
}

source delta
{
    type                    = mysql

    # 數(shù)據(jù)庫服務(wù)器基本配置信息
    sql_host                = 192.168.0.103
    sql_user                = dedev57
    sql_pass                = dedecms
    sql_db                  = dedecmsv57gbk
    sql_port                = 3306
    sql_query_pre            = SET NAMES gbk

    # 增量索引,從最大id開始
    sql_query = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id > ( SELECT maxaid FROM dede_sphinx WHERE countid=1 )
    #從SQL讀取到的值必須為整數(shù)
    
    sql_query_post = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives
    
    sql_attr_uint             = typeid            
    sql_attr_uint            = typeid2
    sql_attr_uint            = channel
    sql_attr_uint            = click
    sql_attr_uint            = badpost
    sql_attr_uint            = goodpost
    sql_attr_uint            = scores
    sql_attr_uint            = mid
    sql_attr_timestamp  = pubdate    #從SQL讀取到的值必須為整數(shù)，作為時間屬性
    sql_attr_timestamp  = senddate
    sql_attr_timestamp  = lastpost 

    #命令行查詢時，從數(shù)據(jù)庫讀取原始數(shù)據(jù)信息
    sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  
}


#index定義
index mysql
{
    source            = mysql             #對應(yīng)的source名稱
    path            = D:/coreseek-3.2.13-win32/var/data/mysql
    docinfo            = extern
    mlock            = 0
    morphology        = none
    min_word_len        = 1
    html_strip                = 0
    #charset_dictpath = /usr/local/mmseg3/etc/    #BSD、Linux環(huán)境下設(shè)置，/符號結(jié)尾
    charset_dictpath = D:/coreseek-3.2.13-win32/etc/                        #Windows環(huán)境下設(shè)置，/符號結(jié)尾
    charset_type        = zh_cn.gbk
}

index delta : mysql
{
    min_word_len        = 1
    source = delta
    path            = D:/coreseek-3.2.13-win32/var/data/delta.new
}


#全局index定義
indexer
{
    mem_limit            = 128M
}

#searchd服務(wù)定義
searchd
{
    listen                  =   9312
    read_timeout        = 5
    max_children        = 30
    max_matches            = 1000
    seamless_rotate        = 0
    preopen_indexes        = 0
    unlink_old            = 1
    pid_file = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.pid
    log = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.log
    query_log = D:/coreseek-3.2.13-win32/var/log/query_mysql.log
}


-------------------------------------------------------------------------------------------------------

1.3.建立索引
配置完成后,我們要先建立索引,在開始菜單中打開[運行],輸入"cmd",確認(rèn)后打開命令行.輸入下列代碼:

d:&cd D:\coreseek-3.2.13-win32\bin

先切換到sphinx的bin目錄,然后再執(zhí)行:

indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf mysql --rotate

這個時候sphinx開始構(gòu)建索引,如果數(shù)據(jù)量比較大,這個時間可能比較長,需要耐心等待(如圖1).

DedeCMS V5.7全文檢索使用說明(圖1) 

然后再創(chuàng)建下增量索引,使用下列命令:
indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf delta --rotate


1.4.測試檢索是否正常
建立完索引之后我們來檢測下是否能夠正常搜索到匹配內(nèi)容,可以繼續(xù)在cmd中輸入下列命令:

search.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf dedecms

如果能夠正常返回數(shù)據(jù)(如圖2),則說明已經(jīng)成功建立索引.

DedeCMS V5.7全文檢索使用說明(圖2) 

2.結(jié)合DedeCMS程序使用sphinx
2.1.開啟sphinx服務(wù)
在上面的步驟中我們已經(jīng)成功生成了索引,接下來為了能夠使用客戶端調(diào)用則需要開啟sphinx服務(wù).
可以直接在cmd中執(zhí)行:
searchd.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf
這樣我們就開啟了sphinx服務(wù)(如圖3),我們可以寫一個簡單的例子進(jìn)行測試:

DedeCMS V5.7全文檢索使用說明(圖3) 

sphinx_test.php
--------------------------------------------------------------------------------------------------------
<?php
set_time_limit(0);
require_once (dirname(__FILE__) . "/include/common.inc.php");
$sphinx = new SphinxClient;

$mode = SPH_MATCH_ANY;            //匹配模式
$host = "localhost";            //服務(wù)ip
$port = 9312;    //服務(wù)端口
        
$sphinx->SetServer($host, $port);
$sphinx->SetArrayResult(true);
$sphinx->SetMatchMode($mode);

$res = $sphinx->Query('織夢內(nèi)容管理系統(tǒng)');

//var_dump($sphinx);
//var_dump($res);
$total = count($res['matches']);
for($i=0; $i < $total; $i++)
{
    var_dump($res['matches'][$i]);
}

-----------------------------------------------------------------------------------------------------
執(zhí)行sphinx_test.php,可以看到已經(jīng)能夠正常通信,并且返回了內(nèi)容.

DedeCMS V5.7全文檢索使用說明(圖4) 

2.2.創(chuàng)建一個DedeSphinx服務(wù)
上面我們通過searchd.exe開啟了服務(wù),但不好的是,我們關(guān)閉了cmd窗口就不能繼續(xù)訪問了,解決辦法如下:
同樣切換到bin目錄下,執(zhí)行:

searchd.exe --install -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf --servicename DedeSphinx
這樣就在系統(tǒng)中成功創(chuàng)建了一個DedeSphinx服務(wù),無需再打開窗口(如圖5).

DedeCMS V5.7全文檢索使用說明(圖5) 

3.更新與維護(hù)
對于全文檢索的索引,我們是需要不定期生成的,如果是數(shù)據(jù)量比較小,直接使用上述生成索引的命令重建就可以,如果數(shù)據(jù)量比較大,我們則需要定義的更新全文索引.

如果內(nèi)容更新比較頻繁,下列的命令需要每分鐘被執(zhí)行一次(可以創(chuàng)建一個腳本,使用windows計劃任務(wù)定期執(zhí)行)

生成增量索引:

indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf delta --rotate

當(dāng)然每一天都需要將增量索引合并到主索引mysql中去,需要執(zhí)行:

indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf --merge mysql delta --rotate

版權(quán)聲明： 本站資源均來自互聯(lián)網(wǎng)或會員發(fā)布，如果侵犯了您的權(quán)益請與我們聯(lián)系，我們將在24小時內(nèi)刪除！謝謝！

轉(zhuǎn)載請注明： DedeCMS V5.7全文檢索使用說明

標(biāo)簽：  
相關(guān)文章
模板推薦