我们已经知道mysql中带有"%keyword%"条件的sql是不走索引的,而不走索引的sql在大数据量+大并发量的时候,不仅效率极慢还很有可能让数据库崩溃.那我们如何通过某些关键字来搜索我们想要的文章呢? 虽然mysql的MYISAM提供全文索引,但是只支持中文,并且性能却不敢让人恭维,因此采用Sphinx来做mysql的全文索引工具是一个很好的选择.
简介
Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据.
- 高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒);
- 高性能的搜索(在2 – 4GB 的文本数据上，平均每次检索响应时间小于0.1秒);
- 可处理海量数据(目前已知可以处理超过100 GB的文本数据, 在单一CPU的系统上可 处理100 M 文档);
- 提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;
- 支持分布式搜索;
- 支持短语搜索
- 提供文档摘要生成
- 可作为MySQL的存储引擎提供搜索服务;
- 支持布尔、短语、词语相似度等多种检索模式;
- 文档支持多个全文检索字段(最大不超过32个);
- 文档支持多个额外的属性信息(例如：分组信息，时间戳等);
- 支持断词;
sphinx的安装与使用
安装
wget http://sphinxsearch.com/files/sphinx-2.2.9-release.tar.gz
tar zxvf sphinx-2.2.9-release.tar.gz
cd sphinx-2.2.9-release
./configure --prefix=/usr/local/sphinx/ --with-mysql=/usr/bin/mysql/
make && make install--prefix：指定 sphinx 的安装路径
--with-mysql：指定 mysql 安装路径,注意这里的安装路径一般是指通过编译安装的mysql路径,如果你是通过yum来安装的mysql的话,此项可以不用加
make的时候,有可能会报错,不要管,继续等待.如果最终失败的话,再make clean之后,删除目录,重新configure.
注意,此时的sphinx还不能支持中文
安装成功后,按道理应该有三个工具
ls /usr/local/sphinx/bin
indexer 创建索引命令
searchd 启动进程命令
search 命令行搜索命令其中search命令已经在新版本的sphinx取消了,可以用api文件来进行测试;
配置与使用
cd /usr/local/sphinx/etc
ls
example.sql # 示例sql
sphinx.conf.dist # 完整版配置项
sphinx-min.conf.dist # 精简版配置项cp sphinx.conf.dist sphinx.conf
vim sphinx.conf # 配置数据库连接信息,打开utf8字符集注释(sql_query_pre = SET NAMES utf8),然后可以把以上的示例sql导入数据库里面做测试;cd /usr/local/sphinx/bin./indexer --all # 创建索引,如果后面又新增加了数据,还要重新或增量建立sql;./search this #搜索test库中有this的;注意,在新版本的sphinx里面该命令已经被取消了,但可以通过api文件来测试$ cd sphinx/api
$ php test.php test如果执行indexer命令报错
ERROR: index 'test1stemmed': sql_connect: Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'则可能是因为mysql.sock的位置问题，在本机中，该位置是/tmp/mysql.sock（与安装mysql时设置有关），在sphinx.conf中取消这一行的注释即可（去掉前面的#号）：
#sql_sock = /tmp/mysql.sock然而以上的所有步骤都没有什么卵用,因为sphinx是不支持中文的,所以我们可以选择使用基于sphinx的coreseek,也可以选择其他更方便的扩展,本文就先结束coreseek
coreseek
安装
安装mmseg
wget http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-beta.tar.gz
tar zxvf coreseek-4.1-beta.tar.gz
cd coreseek-4.1-beta
ls
csft-4.1 #sphinx中文扩展
mmseg-3.2.14 #中文词库
testpack #先安装mmseg中文分词系统
cd mmseg-3.2.14/
./configure --prefix=/usr/local/mmseg 如果报错 annot find input file: src/Makefile.in
就依次执行:
aclocal #是一个perl 脚本程序，它的定义是：“aclocal - create aclocal.m4 by scanning configure.ac” ,如果执行此句还是错误的话就 yum -y install libtool
libtoolize --force
automake --add-missing
autoconf
autoheader
make clean#然后再从新编译一下
./configure --prefix=/usr/local/mmseg
make && make intall测试
$ /usr/local/mmseg/bin/mmseg -d /usr/local/mmseg/etc /usr/src/coreseek-4.1-beta/mmseg-3.2.14/src/t1.txt
中文/x 分/x 词/x 测试/x
中国人/x 上海市/x$ ./mmseg -d ../etc test.txt
小/x 白兔/x 白/x 又/x 白/x 两/x 只/x 耳朵/x 竖/x 起来/x
爱/x 吃/x 萝卜/x 爱/x 吃/x 菜/x安装csft-4.1
cd /usr/src/coreseek-4.1-beta/csft-4.1
sh buildconf.sh # 如果不报错就代表没问题,如果输出的warning信息可以忽略，如果出现error则需要解决 ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg/lib/ --with-mysql
make && make install配置
配置文件
- 名为main的主数据源:source main{}
- 继承名为main的增量数据源:source delta:main{}
- 名为main的主索引:index main{}
- 继承名为main的增量索引:index delta:main{}
- 分布式索引:index dist1{}
- 索引器:indexer{}
- 服务进程:searchd{}
增量配置肯定是要做的,所以先准备一个计数器
-- 只记录一行数据
CREATE TABLE sph_counter
(
counter_id INTEGER PRIMARY KEY NOT NULL,
max_doc_id INTEGER NOT NULL
); #MySQL数据源配置，详情请查看：http://www.coreseek.cn/products-install/mysql/cd /etc
cp sphinx.conf.dist csft.conf #复制为csft名后就可以自动读取#主数据源
source main
{type = mysqlsql_host = localhostsql_user = rootsql_pass = 123456sql_db = testsql_port = 3306sql_query_pre = SET NAMES utf8 sql_query_pre = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;#通过replace into语句记录每次建立数据源最后一条数据id;sql_query = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) sql_attr_uint = id #从SQL读取到的值必须为整数 sql_attr_uint = from_id #从SQL读取到的值必须为整数，不支持全文检索 sql_attr_uint = link_id #从SQL读取到的值必须为整数，不支持全文检索 sql_attr_uint = add_time #从SQL读取到的值必须为整数，不支持全文检索 sql_field_string = link_url #字符串字段(可全文搜索，可返回原始文本信息) sql_field_string = company_name #字符串字段(可全文搜索，可返回原始文本信息) sql_field_string = type_name #字符串字段(可全文搜索，可返回原始文本信息) sql_field_string = trade_name #字符串字段(可全文搜索，可返回原始文本信息) sql_field_string = email #字符串字段(可全文搜索，可返回原始文本信息) sql_field_string = description #字符串字段(可全文搜索，可返回原始文本信息) sql_attr_timestamp = date_added #从SQL读取到的值必须为时间戳，作为时间属性sql_query_info_pre = SET NAMES utf8 #命令行查询时，设置正确的字符集sql_query_info = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time FROM hr_spider_company WHERE id=$id #用于PHP-CLI命令行查询时，从数据库读取原始数据信息 #区段查询 每次查询一段数据来建立索引#sql_query_range = SELECT MIN(id),MAX(id) FROM documents#sql_range_step = 1000#sql_query = SELECT * FROM documents WHERE id>=$start AND id<=$end
}#主数据索引
index main
{source = main #对应的source名称path = /usr/local/coreseek/var/data/main #主数据索引存储路径及其名称docinfo = externcharset_type = zh_cn.utf-8min_word_len = 1 #索引词最小长度 min_prefix_len = 0 #最小索引前缀长度 min_infix_len = 1 #最小索引中缀长度ngram_len = 1 #对于非字母型数据的长度切割(for CJK indexing) charset_dictpath = /usr/local/mmseg/etc/ #分词的词典路径,BSD、Linux环境下设置，/符号结尾html_strip = 0 #是否去除用户输入查询内容的html标签
}#增量数据源
source delta : main
{ sql_query_pre = SET NAMES utf8 sql_query = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )sql_query_post_index = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company
} #增量数据索引
index delta : main
{ source = delta path = /usr/local/coreseek/var/data/delta
}source src1throttled : src1
{sql_ranged_throttle = 100
}#全局index定义
indexer
{mem_limit = 128M #内存大小限制 默认是 32M, 最大 2047M, 推荐为 256M 到 1024M之间
}#searchd服务定义
searchd
{# 监测端口及形式,一下几种均可,默认为本机9312端口 # listen = 127.0.0.1 # listen = 192.168.0.1:9312 # listen = 9312 # listen = /var/run/searchd.socklisten = 9312 read_timeout = 5 # 读取超时时间 max_children = 30 # searche进程的最大运行数 max_matches = 1000 # 最大的查询结果返回数 seamless_rotate = 1 # 是否支持无缝切换(做增量索引时需要) preopen_indexes = 0 # 在启动运行时是否提前加载所有索引文件 unlink_old = 1 # 是否释放旧的索引文件pid_file = /usr/local/coreseek/var/log/searchd.pid log = /usr/local/coreseek/var/log/searchd.log # search进程的日志路径 query_log = /usr/local/coreseek/var/log/query.log # 查询日志地址 binlog_path = #关闭binlog日志
}测试
cd /usr/local/coreseek/bin
./search 淘宝使用 sphinx 需要做以下几件事
1.有数据；
2.建立 sphinx 配置文件；
3.生成索引；
4.启动 searchd 服务进程，默认是9312
5.用 PHP 去连接 sphinx 服务
#启动服务,监听9312端口
cd /usr/local/coreseek/bin/
./searchd
#./searchd -c /usr/local/coreseek/etc/csft_mysql.conf #如果配置文件不是默认的csft.conf的话# 执行索引（查询、测试前必须执行一次）
./indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate # 执行增量索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate # 合并索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0 #为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0# 后台服务测试
/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf aaa #关闭后台服务
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop searchd 命令参数介绍：
- -c 指定配置文件
- --stop 停止服务
- --pidfile 用来显式指定一个 PID 文件
- -p 指定端口
自动化建立索引
# 每分钟进行一次增量索引
*/1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate # 每五分钟合并一次索引
*/5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0 # 每天晚上的一点三十分建一次完整的索引
30 1 * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate 参考
Sphinx中文指南
sphinx全文检索之PHP使用教程
coreseek-4.1 参考手册
coreseek-4.1的一些配置说明(左侧边栏)
Sphinx PHP扩展(类)使用说明
sphinx中文版Coreseek中文检索引擎安装和使用方法(Linux)
