Solr+zookeeper集群
- 软件需求:
apache-tomcat-8.0.8.tar.gz
jdk-8u5-linux-x64.tar.gz
mmseg4j-1.9.1.zip
solr-4.3.1.zip
zookeeper-3.4.6.tar.gz
所有软件已上传至百度云:
链接:http://pan.baidu.com/s/1mg2uzo8 密码:ef3d
- jdk环境部署:
解压jkd软件包
tar zxvf jdk-8u5-linux-x64.tar.gz
设置环境变量
vim /etc/profile
最后几行添加:
JAVA_HOME=/home/soft/jdk1.8.0_05
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
设置最大打开文件数:
vim /etc/profile
最后添加
ulimit -n 102400
使配置生效
source /etc/profile
- zookeeper环境配置:
解压软件包:
tar zxvf zookeeper-3.4.6.tar.gz
分别创建zookeeper数据文件目录和日志目录
cd zookeeper-3.4.6/
mkdir data
mkdir log
修改配置文件
cd zookeeper-3.4.6/conf
mv zoo_sample.cfg zoo.cfg
cat zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
#指定数据文件的路径
dataDir=/home/soft/zookeeper-3.4.6/data
#指定日志文件的路径
dataLogDir=/home/soft/zookeeper-3.4.6/logs
# the port at which the clients will connect
#zookeeper运行端口
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
#zookeeper集群host
server.1=172.18.83.204:2888:3888
server.2=172.18.83.175:2888:3888
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
配置文件详细解释说明:
tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是5*2000=10秒。
syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒
dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
dataLogDir: Zookeeper的日志文件位置。
server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。
clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
配置完成后把配置发送到其他两台机子
分别在每台机器的/home/soft/zookeeper-3.4.6/data下创建myid文件存储该机器的标识码 比如server.1 的标识码就是 “1” myid文件的内容就一行: 1
分别在solr1和solr2启动zookeeper
[[email protected] bin]# pwd
/home/soft/zookeeper-3.4.6/bin
[[email protected] bin]# sh zkServer.sh start
JMX enabled by default
Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] bin]# sh zkServer.sh start
JMX enabled by default
Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
分别查看solr1和solr上面的zookeeper状态
[[email protected] bin]# pwd
/home/soft/zookeeper-3.4.6/bin
[[email protected] bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[[email protected] bin]# ./zkServer.sh status
JMX enabled by default
Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
- solr环境配置
创建solr家目录
[[email protected] solr]# cd /home/soft/apache-tomcat-8.0.8/
[[email protected] apache-tomcat-8.0.8]# mkdir solr
[[email protected] solr]# pwd
/home/soft/apache-tomcat-8.0.8/solr
把solr源文件中的数据拷贝到solr家目录下面
cp solr-4.3.1/example/solr/* apache-tomcat-8.0.8/solr/
修改配置文件
cd apache-tomcat-8.0.8/solr/collection1/conf
替换schema.xml
[[email protected] solr]# pwd
/home/soft/apache-tomcat-8.0.8/solr
[[email protected] solr]# ls
bin collection1 README.txt solr.xml zoo.cfg
[[email protected] solr]# vim solr.xml
<cores adminPath="/admin/cores" defaultCoreName="collection1" host="${host:172.18.83.204}" hostPort="${jetty.port:8080}" hostContext="${hostContext:solr}" zkClientTimeout="${zkClientTimeout:15000}">
本机的ip和tomcat的端口号
复制solr.war包到apache-tomcat-8.0.8/webapps/下面
[[email protected] soft]# cp solr-4.3.1/example/webapps/solr.war apache-tomcat-8.0.8/webapps/
然后启动tomcat,启动完毕后会在apache-tomcat-8.0.8/webapps/目录下面生成solr文件夹,停止tomcat删除solr.war
复制solr-4.3.1/example/lib/ext/*.jar下的所有jar和
solr-4.3.1/example/resources/下的log4j.properties 日志文件导入apache-tomcat-8.0.8/lib/下面
[[email protected] soft]# cp solr-4.3.1/example/lib/ext/*.jar apache-tomcat-8.0.8 /lib/
[[email protected] soft]# cp solr-4.3.1/example/resources/log4j.properties apache-tomcat-8.0.8/lib/
解压分词器mmseg4j-1.9.1
将mmseg4j-1.9.1\dist下的三个jar包导入到apache-tomcat-6.0.37/webapps/solr/WEB-INF/lib#目录下
Solr2也按照这样修改。
- 添加启动参数到tomcat
Solr1配置:
[[email protected] soft]# cd apache-tomcat-8.0.8/bin
[[email protected] bin]# cat catalina.sh
JAVA_OPTS="-Xms512m -Xmx2048m"
CATALINA_OPTS="-Dbootstrap_confdir=/home/soft/apache-tomcat-8.0.8/solr/collection1/conf -Dcollection.configName=myconf -DzkHost=172.18.83.204:2181,172.18.83.175:2181 -DnumShards=2"
Solr2配置:
[[email protected] bin]# pwd
/home/soft/apache-tomcat-8.0.8/bin
[[email protected] bin]# cat catalina.sh
JAVA_OPTS="-Xms512m -Xmx2048m"
CATALINA_OPTS="-Djetty.port=8080 -DzkHost=172.18.83.204:2181,172.18.83.175:2181"
分别启动两个tomcat,先启动solr1,再启动solr2
启动后登陆http://172.18.83.204:8080/solr/#/~cloud