MongoDB分片（sharding）、分区（replica ）集群搭建

2020-12-14 02:40:16 编辑 0 阅读量:424

上一篇文档([MongoDB的数据库高可用和分区解决方案](https://cblog.xyz/article/338))已经介绍了mongodb副本和分片的相关概念，这里介绍一下怎么搭建mongodb分片、副本集群。

# 一、 副本集群的搭建
副本的主要作用是实现数据的冗余备份，也可以用作类似于MySQL的主从读写分离。
mongodb的复制至少需要两个节点。其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。
mongodb各个节点常见的搭配方式为：一主一从、一主多从。
主节点记录在其上的所有操作oplog，从节点定期轮询主节点获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致。
MongoDB复制结构图如下所示：
![](https://cblog.xyz/media/2018/05/replication.png)
以上结构图中，客户端从主节点读取数据，在客户端写入数据到主节点时， 主节点与从节点进行数据交互保障数据的一致性。

副本集特征：
- N 个节点的集群
- 任何节点可作为主节点
- 所有写入操作都在主节点上
- 自动故障转移
- 自动恢复

这里部署3个节点，配置成功后应该是1主2从

### 1.1 安装mongodb
采用`yum`或者源码安装都可以

### 1.2 节点配置
新建3个目录，存放每个节点的配置和数据文件，目录结构如下：
```
/data
  ---db1
	  --- conf
	  --- db
	  --- log
  ---db2
	  --- conf
	  --- db
	  --- log
  ---db3
	  --- conf
	  --- db
	  --- log
```
分别新建如下配置：
```
$ vim /data/db1/conf/mongo.conf
shardsvr=true
replSet=shard1
dbpath=/data/db1/db
logpath=/data/db1/logs/mongodb.log
port=30001  # 另两个为40001, 50001
fork=true
```
3个节点的`dbpath`, `logpah`, `port`不同，其他相同。同一个`replSet`表面他们是同一个副本集。

### 1.3 启动并配置节点
#### 1.3.1 启动节点
```
$ /opt/mongo/bin/mongod -f /data/db1/conf/mongo.conf    # /opt/mongo为这里的安装目录
$ /opt/mongo/bin/mongod -f /data/db2/conf/mongo.conf    # /opt/mongo为这里的安装目录
$ /opt/mongo/bin/mongod -f /data/db3/conf/mongo.conf    # /opt/mongo为这里的安装目录
```
#### 1.3.2 配置集群
```
$ /opt/mongo/bin/mongo --port 30001   # 连接任意一个节点即可
shard1:PRIMARY> config = {
	"_id" : "shard1",
	"members" : [
		{
			"_id" : 0,
			"host" : "localhost:30001"
		},
		{
			"_id" : 1,
			"host" : "localhost:40001"
		},
		{
			"_id" : 2,
			"host" : "localhost:50001"
		}
	]
}
shard1:PRIMARY> rs.initiate(config)   # 到此集群就配置好了
shard1:PRIMARY> rs.status()  # 查看集群状态
# 如果后期要给集群添加节点，配置好replSet，然后用rs.add添加就可以
shard1:PRIMARY> rs.add(hostportstr)            # add a new member to the set with default attributes (disconnects)
```
默认情况下从节点不可以读，只作为备份，要开启读写功能，还请看配置。

# 二、分片集群搭建
当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。这个就类似于MySQL的水平分割。

下图展示了在MongoDB中使用分片集群结构分布：
![](https://cblog.xyz/media/2018/05/sharding.png)
上图中主要有如下所述三个主要组件：
- Shard:用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
- Config Server: mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息，生产环境中，config要配置成集群，因为如果config故障，整个集群就无法使用。
- Query Routers: mongos实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

### 2.1 节点配置
新建3个目录，存放每个节点的配置和数据文件，目录结构如下：
```
/data
  ---db1
	  --- conf
	  --- db
	  --- log
  ---db2
	  --- conf
	  --- db
	  --- log
  ---db3
	  --- conf
	  --- db
	  --- log
  ---config
	  --- conf
	  --- db
	  --- log
  ---mongos    # mongos不需要数据文件，配置信息是存在config中的
	  --- conf
	  --- log
```
- db1, db2, db3分别新建如下配置：
```
$ vim /data/db1/conf/mongo.conf
shardsvr=true  # 表明是作为分片存在
replSet=shard1  # 另两个为shard2，shard3
dbpath=/data/db1/db
logpath=/data/db1/logs/mongodb.log
port=30001  # 另两个为30002, 30003
fork=true
```
3个节点的`dbpath`, `logpah`, `port`，`replSet`均不同。
- mongo config的配置如下：
```
configsvr=true  # 表明是作为config服务器
replSet=mongoconfig  # config副本集的名字，和shardsvr不同即可
dbpath=/data/config/db
logpath=/data/config/logs/mongodb.log
port=30004
fork=true
```
- mongos的配置如下：
```
configdb = mongoconfig/127.0.0.1:30004  # mongo config的端口
logpath=/data/mongos/logs/mongodb.log
port=30000
fork=true
```

### 2.2 启动并配置节点
#### 2.2.1 启动并配置config节点
先启动config节点
```
$ /opt/mongo/bin/mongod -f /data/config/conf/mongo.conf    # /opt/mongo为这里的安装目录
```
配置好config
```
$ /opt/mongo/bin/mongo --port 30004
rs.initiate()   # 因为config副本集只有一个节点，用默认配置初始化即可
```
#### 2.2.2 启动并配置shardsvr节点
```
$ /opt/mongo/bin/mongod -f /data/db1/conf/mongo.conf    # /opt/mongo为这里的安装目录
$ /opt/mongo/bin/mongod -f /data/db2/conf/mongo.conf    # /opt/mongo为这里的安装目录
$ /opt/mongo/bin/mongod -f /data/db3/conf/mongo.conf    # /opt/mongo为这里的安装目录
$ /opt/mongo/bin/mongo --port 30001   # 每个节点都要执行一遍
rs.initiate()
```
#### 2.2.3 启动mongos并配置集群
```
$ /opt/mongodb/bin/mongos -f mongos/conf/mongo.conf  # 是mongos不是mongo
$ /opt/mongo/bin/mongo --port 30000  # 是mongo，对于客户端来说，mongos节点就是一个很大的mongodb服务器
> use admin
> db.runCommand({ addshard: 'shard1/localhost:300001'})
> db.runCommand({ addshard: 'shard2/localhost:300002'})
> db.runCommand({ addshard: 'shard3/localhost:300003'})
> sh.status()   # 查看集群状况
```

## 2.3 使用
```
$ /opt/mongo/bin/mongo --port 30000  
> use admin
> sh.status()   # 查看集群状况
> db.runCommand({ enablesharding: 'test'})  # 设置数据库启动分片
> db.runCommand({ shardcollection: 'test.user', key: {name: hashed}})  # 指定collection user的片键为name，也可以为key: {name: 1}。两者有点区别，一个是按hash结果映射，一个是按照范围映射
> use test
> for(i=1;i<=100000;i++){db.user.insert({"id":i,"name":i})};
> db.stats()  # 查看数据库状态
> db.user.stats()  # 查看collection状态
> sh.status()  # 查看集群状态，包括片键映射状态
```

另外，要增加mongos是很简单事情，只要指定好mongodb config服务器的地址就可以，比如：
```
$ mongos --port 40000 --configdb conf/localhost:30004 --fork
$ /opt/mongo/bin/mongo --port 40000   # 连上40000会发现和连上30000的集群一样
```

# 三、副本和分片集群搭建
主要流程就是，先把shardsvr和config集群分别搭建、初始化好，然后用mongos配置好分片集群即可。

# 四、其他

- 创建索引
```
db.table1.createIndex({"name":1})
db.table1.getIndexes()
```
- 启动
mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos.
```
mongod -f /usr/local/mongodb/conf/config.conf
mongod -f /usr/local/mongodb/conf/shard1.conf
mongod -f /usr/local/mongodb/conf/shard2.conf
mongod -f /usr/local/mongodb/conf/shard3.conf
mongod -f /usr/local/mongodb/conf/mongos.conf
```
- 启动报错
```
about to fork child process, waiting until server is ready for connections.
forked process: 1303
child process started successfully, parent exiting
[root@node1 ~]# mongod -f /usr/local/mongodb/conf/shard1.conf
about to fork child process, waiting until server is ready for connections.
forked process: 1384
```
删除 mongod.lock

- 关闭
用`kill`命令即可，但不要用`kill -9`，免得造成数据丢失

- 不要直接用ip
不要用ip（127.0.0.1之类的）直接指定mongodb服务器的地址，用域名(比如：localhost)，不然addShard时可能会报错

---
参考：
- [1][搭建 MongoDB分片（sharding） / 分区 / 集群环境](https://cloud.tencent.com/developer/article/1034843)
- [2][手把手教你 MongoDB 的安装与详细使用(一)](http://www.ymq.io/2018/01/26/MongoDB-1/)
- [3][手把手教你 MongoDB 的安装与详细使用（二）](http://www.ymq.io/2018/01/29/MongoDB-2/)
- [4][MongoDB 官方英文文档](https://docs.mongodb.com/manual)
- [5][MongoDB 分片](http://www.runoob.com/mongodb/mongodb-sharding.html)  
- [6][关于Mongodb的全面总结](https://blog.csdn.net/hzrandd/article/details/49003387)
- [7][Mongodb 笔记07 分片、配置分片、选择片键、分片管理](https://www.cnblogs.com/Jtianlin/p/5128977.html)
- [8][数据库高可用和分区解决方案 - MongoDB 篇](https://juejin.im/entry/58fc1d891b69e6005895eec6)
- [9][搭建高可用mongodb集群（二）—— 副本集](http://www.lanceyan.com/tech/mongodb/mongodb_repset1.html)
- [10][MongoDB 分片管理（不定时更新）](https://www.cnblogs.com/zhoujinyi/p/4668218.html)
- [11][MongoDB自动分片介绍](https://www.jianshu.com/p/82e5df5ec88f)
- [12][mongodb笔记(十) 分片](http://howiefh.github.io/2014/06/06/mongodb-note-10-sharding/)
- [13][mongodb中文文档](http://www.mongoing.com/docs/crud.html#mongodb-crud-operations)

MongoDB分片（sharding）、分区（replica ）集群搭建

附件: