solrcloud+zookeeper集群

Solr+zookeeper集群

软件需求：

apache-tomcat-8.0.8.tar.gz

jdk-8u5-linux-x64.tar.gz

mmseg4j-1.9.1.zip

solr-4.3.1.zip

zookeeper-3.4.6.tar.gz

所有软件已上传至百度云：

链接：http://pan.baidu.com/s/1mg2uzo8 密码：ef3d

jdk环境部署：

解压jkd软件包

tar zxvf jdk-8u5-linux-x64.tar.gz

设置环境变量

vim /etc/profile

最后几行添加：

JAVA_HOME=/home/soft/jdk1.8.0_05

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

设置最大打开文件数：

vim /etc/profile

最后添加

ulimit -n 102400

使配置生效

source /etc/profile

zookeeper环境配置：

解压软件包：

tar zxvf zookeeper-3.4.6.tar.gz

分别创建zookeeper数据文件目录和日志目录

cd zookeeper-3.4.6/

mkdir data

mkdir log

修改配置文件

cd zookeeper-3.4.6/conf

mv zoo_sample.cfg zoo.cfg

cat zoo.cfg

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

#指定数据文件的路径

dataDir=/home/soft/zookeeper-3.4.6/data

#指定日志文件的路径

dataLogDir=/home/soft/zookeeper-3.4.6/logs

# the port at which the clients will connect

#zookeeper运行端口

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#zookeeper集群host

server.1=172.18.83.204:2888:3888

server.2=172.18.83.175:2888:3888

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

配置文件详细解释说明：

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。

initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10秒。

syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒

dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。

dataLogDir： Zookeeper的日志文件位置。

server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

配置完成后把配置发送到其他两台机子

分别在每台机器的/home/soft/zookeeper-3.4.6/data下创建myid文件存储该机器的标识码比如server.1 的标识码就是 “1” myid文件的内容就一行： 1

分别在solr1和solr2启动zookeeper

[[email protected] bin]# pwd

/home/soft/zookeeper-3.4.6/bin

[[email protected] bin]# sh zkServer.sh start

JMX enabled by default

Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[[email protected] bin]# sh zkServer.sh start

JMX enabled by default

Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

分别查看solr1和solr上面的zookeeper状态

[[email protected] bin]# pwd

/home/soft/zookeeper-3.4.6/bin

[[email protected] bin]# ./zkServer.sh status

JMX enabled by default

Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

Mode: follower

[[email protected] bin]# ./zkServer.sh status

JMX enabled by default

Using config: /home/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

Mode: leader

solr环境配置

创建solr家目录

[[email protected] solr]# cd /home/soft/apache-tomcat-8.0.8/

[[email protected] apache-tomcat-8.0.8]# mkdir solr

[[email protected] solr]# pwd

/home/soft/apache-tomcat-8.0.8/solr

把solr源文件中的数据拷贝到solr家目录下面

cp solr-4.3.1/example/solr/* apache-tomcat-8.0.8/solr/

修改配置文件

cd apache-tomcat-8.0.8/solr/collection1/conf

替换schema.xml

[[email protected] solr]# pwd

/home/soft/apache-tomcat-8.0.8/solr

[[email protected] solr]# ls

bin collection1 README.txt solr.xml zoo.cfg

[[email protected] solr]# vim solr.xml

本机的ip和tomcat的端口号

复制solr.war包到apache-tomcat-8.0.8/webapps/下面

[[email protected] soft]# cp solr-4.3.1/example/webapps/solr.war apache-tomcat-8.0.8/webapps/

然后启动tomcat，启动完毕后会在apache-tomcat-8.0.8/webapps/目录下面生成solr文件夹，停止tomcat删除solr.war

复制solr-4.3.1/example/lib/ext/*.jar下的所有jar和

solr-4.3.1/example/resources/下的log4j.properties 日志文件导入apache-tomcat-8.0.8/lib/下面

[[email protected] soft]# cp solr-4.3.1/example/lib/ext/*.jar apache-tomcat-8.0.8 /lib/

[[email protected] soft]# cp solr-4.3.1/example/resources/log4j.properties apache-tomcat-8.0.8/lib/

解压分词器mmseg4j-1.9.1

将mmseg4j-1.9.1\dist下的三个jar包导入到apache-tomcat-6.0.37/webapps/solr/WEB-INF/lib#目录下

Solr2也按照这样修改。

添加启动参数到tomcat

Solr1配置：

[[email protected] soft]# cd apache-tomcat-8.0.8/bin

[[email protected] bin]# cat catalina.sh

JAVA_OPTS="-Xms512m -Xmx2048m"

CATALINA_OPTS="-Dbootstrap_confdir=/home/soft/apache-tomcat-8.0.8/solr/collection1/conf -Dcollection.configName=myconf -DzkHost=172.18.83.204:2181,172.18.83.175:2181 -DnumShards=2"

Solr2配置：

[[email protected] bin]# pwd

/home/soft/apache-tomcat-8.0.8/bin

[[email protected] bin]# cat catalina.sh

JAVA_OPTS="-Xms512m -Xmx2048m"

CATALINA_OPTS="-Djetty.port=8080 -DzkHost=172.18.83.204:2181,172.18.83.175:2181"

分别启动两个tomcat，先启动solr1，再启动solr2

启动后登陆http://172.18.83.204:8080/solr/#/~cloud