elasticsearch集群的搭建以及常用插件（分词器、web页面）的安装

2020-12-19 09:17:01 编辑 2 阅读量:2635

# 一、单个节点
## 安装步骤
### 1. 确认JAVA
java版本要大于1.7， `$ java -version`
### 2. 下载安装elasticsearch
- [官网地址](https://www.elastic.co/downloads/elasticsearch)
- 下载
`$ curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.tar.gz`
- 新建`es`用户：因为elasticsearch使用root运行会有很大风险，所以推荐新增用户运行
    - `$ sudo useradd es`
    - `$ sudo passwd es`
- 解压es到相应目录：这里解压到`/opt`，便于集群管理
```
$ cp elasticsearch-5.5.0.tar.gz /opt
$ tar -xvfz elasticsearch-5.5.0.tar.gz
$ mv elasticsearch-5.5.0 elasticsearch
$ sudo chown -R es:es elasticsearch
```
- 运行es
```
$ su es
$ cd /opt/elasticsearch
$ ./bin/elasticsearch
```

### 3. 添加分词器
- 添加ik分词器
~~- 下载[elasticsearch-analysis-ik](https://github.com/medcl/elasticsearch-analysis-ik/releases)~~
~~- copy and unzip `elasticsearch-analysis-ik-{version}.zip` to `your-es-root/plugins/ik`~~
~~- 测试是否生效--[参考](https://github.com/medcl/elasticsearch-analysis-ik)~~
不建议使用ik分词器，因为效果会比较差，比如分词`'劳动者和合同有什么关系'`,会被分成`劳动者, 和合, 同有, 什么关系`

- 添加Jcseg分词器
    -  Jcseg是基于mmseg算法的一个轻量级开源中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能
    - 添加的办法很简单，
        - 把附件中的4个东东放在`your-es-root/plugins/jcseg`中(每个节点都需要做）
        - 然后修改一下` plugin-descriptor.properties`
```
name=jcseg
description=Jcseg - A wildly used chinese tokenizer
version=2.1.0                                                                                                                                                                                                    
jvm=true
site=false
classname=org.lionsoul.jcseg.elasticsearch.plugin.AnalysisJcsegPlugin
elasticsearch.version=5.4.3
java.version=1.8
```
        - 再设置`jcseg-core-2.1.0.jar`中的`jcseg.properties`停用词`jcseg.clearstopword = 1
`(用vim即可修改)
        - 再重启集群就可以
    - 4个东东分别是：`jcseg-analyzer-2.1.0.jar`  `jcseg-core-2.1.0.jar`  `jcseg-elasticsearch-2.1.0.jar`  `plugin-descriptor.properties`
    - 以上办法适用于5.0以上版本,参考：[elasticsearch-jcseg](http://git.oschina.net/lionsoul/elasticsearch-jcseg), [jcseg-github](https://github.com/lionsoul2014/jcseg)

- 添加pinyin分词器
拼音分词在在某些场合有特定的作用，比如用拼音或者拼音首字搜索或者补全关键词等。安装有两种：
  - 源码安装
    - 下载[源码](https://github.com/medcl/elasticsearch-analysis-pinyin)
	- 修改源码的pom.xml文件`<elasticsearch.version>5.4.3</elasticsearch.version>`  修改es版本为您需要的版本号，
	- 编译maven工程，我这里使用IntelliJ IDEA编译，成功后在`elasticsearch-analysis-pinyin-master\target\releases`内会生成一个zip压缩文件(附件有)
	- 停止Elasticsearch集群，将zip文件解压缩，得到3个文件，复制到elasticsearch的plugins目录的pinyin（自己新建目录）
	- 启动集群即可。测试：
```
GET _analyze 
{
  "text": "低调诺",
  "analyzer": "pinyin"
}
```
  - 使用已编译好的zip文件
  同源码安装的步骤，只是可以不用自己编译maven工程，附件有`elasticsearch-analysis-pinyin-5.4.3.zip`

### 4. 安装x-pack
有两种安装方法
- 方法1：在线安装
在elasticsearch目录执行：
`./bin/elasticsearch-plugin install x-pack`
安装完后，使用elasticsearch需要用户名和密码（默认用户名"elastic", 密码"changeme"）
- 方法2：离线安装
下载与Elasticsearch版本相同的x-pack包(附件中也有)
`wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.4.3.zip`
在Elasticsearch目录执行：
`./bin/elasticsearch-plugin install file://the/path/to/x-pack # 填上x-pack所在的路径，比如file:///home/es/x-pack-5.4.3.zip`

### 5. 添加elasticsearch-head（可以在部署集群的时候在任选的一个机器上安装即可）
elasticsearch-head is a web front end for an elastic search cluster

```
$ cd /opt/elasticsearch/plugins   # 放在plugins中，便于管理
$ git clone git://github.com/mobz/elasticsearch-head.git
$ cd elasticsearch-head
$ npm install   # 需要安装nodejs和npm
$ vim _site/app.js  
this.base_uri = this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";# 修改  localhost:9200  为  对应的ip:9200,把es的地址改为正确的地址。
$ vim Gruntfile.js
connect: {
    server: {
        options: {
           port: 9100,
           hostname:'*',  # 增加hostname:'*',
           base: '.',
           keepalive: true
        }
    }
}
$ cd ..  # 进入Elasticsearch目录
$ vim config/elasticsearch.yarm
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: "Authorization"
$ #npm run start
# 访问head时，需要加上用户名和密码， 比如：
http://192.168.100.29:9100/?auth_user=elastic&auth_password=changeme
```
官方推荐使用kibana+x-pack插件，功能更丰富齐全，而且不需要npm。
**以上4步每台机器均需要执行，所以要集群部署时，可以先配好一台，然后复制到其他机器上**

### 6. 安装kibana（可以在部署集群的时候在任选的一个机器上安装即可）
- 在官网下载和Elasticsearch版本完全一致的[kibana](https://www.elastic.co/downloads/past-releases/kibana-5-4-3)
- 解压到/opt目录，放在与Elasticsearch同一级（个人习惯）
- 进入kibana目录，安装x-pack插件
`./bin/kibana-plugin install x-pack`
- 修改./config/kibana.yml配置，必填的配置有：
    - server.host: '0.0.0.0'  # 默认为'localhost'
    - elasticsearch.url: 'http://192.168.10.219:9200' # 修改为对应的ip和端口
- 以root权限运行kibana
`# ./bin/kibana     # 会log出监听的端口，默认为5601`
- 注意事项：进入kibana时，因为有x-pack，所以也要和Elasticsearch一样输用户名、密码;如果有问题，可以考虑修改`elasticsearch.username`等参数

# 二、集群部署

### 1. 删除/opt/elasticsearch/data/目录下所有数据

### 2. 将/opt/elasticsearch/拷贝到要部署的集群中的所有机器中

### 3. 修改配置
- 修改elasticsearch配置
配置在./config/elasticsearch.yml
```
luster.name: hy_es   //集群名称，所有节点必须一致
node.name: es_node_102  //节点名称，节点名称不能一样
node.attr.rack: in cdh-slave2  // 节点的描述，内容可以随便写
path.data: /data/es/data  //ES存放数据的目录， 不设置就默认在elasticsearch/data中
path.logs: /data/es/logs  //ES存放日志的目录， 不设置就默认在elasticsearch/log中
network.host: 192.168.10.22   //这个需要配置为节点对应的ip，如果不配置会导致只允许本机访问，集群无法启动
network.publish_host: 192.168.10.22  //这个可以不配置，默认为0.0.0.0
bootstrap.memory_lock: true  //设置不运行内存交换，避免性能突降，要结合系统配置（后面内容有写）
gateway.recover_after_nodes: 2  //设置集群中N个节点启动时进行数据恢复
transport.tcp.port: 8289
discovery.zen.ping.unicast.hosts: ["192.168.10.22:8289", "192.168.10.23:8289"] //集群中可以作为master节点的初始列表，通过这些节点来自动发现新加入集群的节点,最好设置成非常用端口
discovery.zen.minimum_master_nodes: 1 //配置当前集群中最少的主节点数,对于多于两个节点的集群环境,建议配置大于1
http.cors.enabled: true   // 这两项对于后面elasticsearch-head有用，解决它无法连接集群的问题
http.cors.allow-origin: "*"
# -----------------线程池设定----------------
thread_pool.index.size: 8                #              添加索引线程池大小(<= cpu核心数)
thread_pool.index.queue_size: 1000       #              队列大小
thread_pool.search.size: 16              #              搜索线程池大小（建议2~3倍cpu数）
thread_pool.search.queue_size: 1000      #              队列大小
thread_pool.get.size: 8                  #              取数据线程池大小(<= cpu核心数)
thread_pool.get.queue_size: 1000         #              队列大小
```
节点间配置不同主要在`node.name`, `network.host`, `network.publish_host`
- 修改jvm配置
配置在`./config/jvm.options`中
```
-Xms2g    # 可以改大一些，比如-Xms5g
-Xmx2g    # 务必和-Xms大小保持一致
```
- 修改系统配置
```
$ sudo sysctl -w vm.max_map_count=262144
$ sudo vim /etc/security/limits.conf
es             -       nofile          65536
es soft memlock unlimited   # 和elasticsearch.yml 的bootstrap.memory_lock配置相关
es hard memlock unlimited
```

###4. 在各个节点运行elasticsearch
```
$ cd /opt/elasticsearch
$ ./bin/elasticsearch

# 查看相应的log可以看到是否成功, 如果成功运行，可以以daemon形式运行
$ bin/elasticsearch -d -p es.pid  # 以daemon形式启动, 进程pid写入es.pid, 可以用于重启等
```

### 附录
#### 1. 一直报错failed to send join request to master

```
[2017-07-07T16:40:17,878][INFO ][o.e.d.z.ZenDiscovery     ] [hhly-node-2] failed to send join request to master [{hhly-node-3}{8ct7Qg3LSHy9NIcw1I3hbg}{KJkpSn8iSbqR8trgFo0LLg}{192.168.10.219}{192.168.10.219:9300}{rack=in cdh-slave3}], reason [RemoteTransportException[[hhly-node-3][192.168.10.219:9300][internal:discovery/zen/join]]; nested: NotMasterException[Node [{hhly-node-3}{8ct7Qg3LSHy9NIcw1I3hbg}{KJkpSn8iSbqR8trgFo0LLg}{192.168.10.219}{192.168.10.219:9300}{rack=in cdh-slave3}] not master for join request]; ], tried [3] times

[2017-07-07T16:40:27,367][INFO ][o.e.d.z.ZenDiscovery     ] [hhly-node-3] failed to send join request to master [{hhly-node-2}{8ct7Qg3LSHy9NIcw1I3hbg}{BM5hy_KFQFiqMvKoRcCs8w}{192.168.10.24}{192.168.10.24:9300}{rack=in cdh-slave2}], reason [RemoteTransportException[[hhly-node-2][192.168.10.24:9300][internal:discovery/zen/join]]; nested: NotMasterException[Node [{hhly-node-2}{8ct7Qg3LSHy9NIcw1I3hbg}{BM5hy_KFQFiqMvKoRcCs8w}{192.168.10.24}{192.168.10.24:9300}{rack=in cdh-slave2}] not master for join request]; ], tried [3] times
```

原因很可能是在部署集群之前，data中有数据了，导致id之类的数据冲突(这里可以看到`{hhly-node-2}{8ct7Qg3LSHy9NIcw1I3hbg}`与`[{hhly-node-3}{8ct7Qg3LSHy9NIcw1I3hbg}`的id相同)，删掉elasticsearch目录下data目录内容，然后重启即可。

#### 2. 分片
主分片的数量在创建索引时已经确定（es默认5个主分片，这个可以手动设置）。实际上，这个数量定义了能存储到索引里数据的最大数量（实际的数量取决于你的数据、硬件和应用场景）。然而，主分片或者复制分片都可以处理读请求——搜索或文档检索，所以数据的冗余越多，我们能处理的搜索吞吐量就越大。
复制分片的数量可以在运行中的集群中动态地变更，这允许我们可以根据需求扩大或者缩小规模。

#### 3. 登入认证
在添加x-pack插件后，使用Elasticsearch需要用户名密码，
- 在python客户端使用方式如下：
```
es = Elasticsearch(['http://yourusername:yourpassword@192.168.10.219', 'http://yourusername:yourpassword@192.168.10.24', 'http://yourusername:yourpassword@192.168.10.23'])
```
- 在curl中使用：
`curl –user yourusername:yourpassword -XPUT ‘localhost:9200/idx’`

#### 4. 免费license
x-pack并不是免费的控件，要使用全部的功能，需要购买license，否则只有一个月的体验期。当天，elastic还提供了一个免费的license，但是没有用户控制，权限管理等功能。申请方式如下：
https://www.elastic.co/guide/en/x-pack/current/installing-license.html
有两个步骤，
- 注册
- 在本机Elasticsearch提交license：
    - 第一遍提交
    - 第二遍确认

使用免费授权的后遗症就是基本的安全性没有了，可以用 Nginx 代理做一个 HTTP Basic 认证来弥补：
```
upstream kibana {
    server <IP>:5601;
}

server {
    listen 80;
    server_name <DOMAIN>;

location / {
        auth_basic "kibana";
        auth_basic_user_file /path/to/password/file;
        proxy_pass http://kibana;
    }
}
```
说明：用 `htpasswd -c <FILE> <USER>` 命令生成密码文件，它隶属于 httpd-tools。

在使用ELK系统时，如果是按日期索引的日志，那么最好定期清除旧索引：

$ curl -XDELETE -u <USER>:<PASSWORD>
       http://<HOST>:9200/logstash-$(date -d '-10days' +'%Y.%m.%d')

#### 5. modules和plugins
modules和plugins都在Elasticsearch的主目录中，如果不小心删了modules中的文件，那么Elasticsearch也不会报错，只是加载不了module（log提示：`elasticsearch no modules loaded`），因为groovy和painless默认都在modules中的，所以painless也会无法使用，报错`elasticsearch script_lang not supported [painless]`。所以要注意复制节点的时候，不要把modules遗漏了。
插件默认放在plugins中，其实只要放在plugins中都会被Elasticsearch扫描到

#### 6. 慢查询、慢索引log
Elasticsearch从5.*开始，通过每个的index配置是否记录慢查询，比如
```
PUT your_index1,your_index2/_settings
{
"index.search.slowlog.threshold.query.warn": "10s",
"index.search.slowlog.threshold.query.info": "5s",
"index.search.slowlog.threshold.query.debug": "2s",
"index.search.slowlog.threshold.query.trace": "1s",
"index.search.slowlog.threshold.fetch.warn": "1s",
"index.search.slowlog.threshold.fetch.info": "800ms",
"index.search.slowlog.threshold.fetch.debug": "500ms",
"index.search.slowlog.threshold.fetch.trace": "500ms"
}
```
全部的配置说明如下：
```
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug: 500ms
index.search.slowlog.threshold.fetch.trace: 200ms

index.indexing.slowlog.threshold.index.warn: 10s
index.indexing.slowlog.threshold.index.info: 5s
index.indexing.slowlog.threshold.index.debug: 2s
index.indexing.slowlog.threshold.index.trace: 500ms
index.indexing.slowlog.level: info
index.indexing.slowlog.source: 1000
```

#### 7. 获取cpu的核心数：
```
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l
```

#### 8. 在jcseg中实时加载自定义词
- 将`jcseg-core-2.1.0.jar`中的`jcseg.properties, lexicon/`放到当前目录
- 设置`jcseg.properties`加载词库（如果不需要实时加载词库，这一步就够了，要添加词语的话，可以在原有的`lexicon/`文件按格式添加自定义词，然后重启es集群即可）

```
#@since 1.9.9 Jcseg default to load the lexicons in the classpath
lexicon.path = /opt/elasticsearch/plugins/jcseg/lexicon  # 用绝对路径更保险

#Wether to load the modified lexicon file auto.
lexicon.autoload = 1

#Poll time for auto load. (seconds)
lexicon.polltime = 360
```

这里先说明一下jcseg实时加载自定义词的流程：
```
`lexicon/lex-autoload.todo`中可以自己写需要加载的**词库文件名**（不是具体的词库）
jcseg检测`lex-autoload.todo`修改时间是否有变化，如果有变化，就去lex-autoload.todo中的词库文件中加载词库
加载词库成功后，清空`lex-autoload.todo`的内容，如果下载再要添加词库，就修改lex-autoload.todo
所以这里涉及到java io的权限问题
```
- 设置jcseg的io权限：
    - 在`plugins/jcseg/`中新建`security.policy`,内容如下:
	
```
//@Note added at 2017/01/03 by lionsoul
grant {
  permission java.io.FilePermission "/opt/elasticsearch/plugins/jcseg/lexicon/-", "read";
  permission java.io.FilePermission "/opt/elasticsearch/plugins/jcseg/lexicon/lex-autoload.todo", "write";  //这里写绝对路径更保险一些,要有写的权限，因为jcseg加载完自定义词库后，会清空todo文件
};
```
- 把`security.policy`加载到es中：修改es的`config/jvm.options`
```
-Djava.security.policy=/opt/elasticsearch/plugins/jcseg/security.policy
```
- 使用
    - 在`lexicon/`新建一个词库文件(第一行不能少)，比如：`$ vim lex-test.lex`
	```
	CJK_WORD
冷色懒懒/nt/leng se lan lan/null
冷色暖暖/nt/leng se lan lan/null
冷色稳稳/nt/leng se lan lan/null
	```
	- 在`lexicon/lex-autoload.todo`中加入`lex-test.lex`这一行
	- 成功添加的话，`lexicon/lex-autoload.todo`这个文件内容会被清空，表示词库加载成功
	- 测试: `$ curl 'http://192.168.32.78:9200/_analyze?analyzer=jcseg_detect&text=冷色稳稳'`

#### 9. 一个机器多个实例
如果要在一个机器上布置多个实例，可以加上以下参数：
- `cluster.routing.allocation.same_shard.host: true`： 表示允许检查防止同一主机多个实例分配同一分片。这个检测是基于主机名和主机地址的。
- `node.max_local_storage_nodes: 2`： 运行多少单个机器运行多少个实例。如果没有此参数，多个节点共用一个目录时会报错（es的文件锁）

---
参考
- [1][ES启用外部IP访问的启动异常](http://kael-aiur.com/elk/ES%E9%85%8D%E7%BD%AE%E7%BB%99%E5%A4%96%E9%83%A8%E6%9C%BA%E5%99%A8%E9%80%9A%E8%BF%87ip%E8%AE%BF%E9%97%AE.html)
- [2][Elasticsearch学习随笔（一）--原理理解与5.0核心插件部署过程](http://www.cnblogs.com/Hyber/p/7132513.html)
- [3][ELASTICSEARCH集群部署文档](http://www.wklken.me/posts/2016/06/29/deploy-es.html)
- [4][ElasticSearch集群安装配置](http://lxw1234.com/archives/2015/12/582.htm)
- [5][Elasticsearch 5.1.1 master nodes can’t discover each other in AWS](https://discuss.elastic.co/t/elasticsearch-5-1-1-master-nodes-cant-discover-each-other-in-aws/72211)
- [6][elasticsearch-analysis-ik--github](https://github.com/medcl/elasticsearch-analysis-ik)
- [7][elasticsearch-head--github](https://github.com/mobz/elasticsearch-head)
- [8][Elasticsearch配置详解、文档元数据](http://www.cnblogs.com/hanyinglong/p/5474939.html)
- [9][Elasticsearch 5.2.x 使用 Head 插件连接不上集群](http://www.cnblogs.com/zklidd/p/6433123.html)
- [10][如何开发自己的搜索帝国之ES图形化Kibana安装与使用](http://www.cnblogs.com/zhangs1986/p/7325504.html)
- [11][Elasticsearch安装后x-pack插件后使用CRUL](http://blog.csdn.net/u012332735/article/details/56475522)
- [12][ Elasticsearch-ES 5.x (Head,Kibana,X-Pack) 集群的部署、配置、测试](http://blog.csdn.net/zhe1110/article/details/68921985)
- [13][Elasticsearch插件head的安装(有坑)](http://blog.csdn.net/u012332735/article/details/56283932)
- [14][常用的开源分词器](http://www.scholat.com/vpost.html?pid=22647)
- [15][实战ElasticStack](https://huoding.com/2016/12/11/566)
- [16][ElasticSearch安装拼音插件 elasticsearch-analysis-pinyin](http://blog.csdn.net/yyhjifeng/article/details/73189188?utm_source=itdadao&utm_medium=referral)
- [17][如何部署带分词搜索功能的Elasticsearch集群环境](http://xialingsc.github.io/home//others/How-to-install-ElasticSearch-Cluster-With-Jcseg/)

附件:

elasticsearch-analysis-pinyin-5.4.3.zip
x-pack-5.4.3.zip
jcseg.tar
elasticsearch-5.4.3.tar.gz
kibana-5.4.3-linux-x86_64.tar.gz
plugin-descriptor.properties
jcseg-elasticsearch-2.1.0.jar
jcseg-core-2.1.0.jar
jcseg-analyzer-2.1.0.jar