MongoDB 的Sharding机制解决了海量存储和动态扩容的问题,但离生产环境的高可靠,高可用还有距离,Sharding在单点出现故障时就无能为力了。但是 MongoDB的副本集却可以很轻松的处理单点故障,所以就有了Replica Sets + Sharding的高可用,高安全的架构。Mongodb支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个sharding节点上。
架构如下:
1,shard服务器:使用Replica Sets确保每个数据节点都具有备份、自动容错转移、自动恢复的能力。
2,配置服务器:使用使用3个配置服务器确保元数据完整性
3,路由进程:使用3个路由进程实现平衡,提高客户端接入性能,架构如下
3个分片进程:shard11,shard12,shard13组成一个副本集,提供Sharding中shard1的功能。
3个分片进程:shard21,shard22,shard23组成一个副本集,提供Sharding中shard2的功能。
3个配置服务器进程和3个路由器进程
--------------------------------------------------------------------------------------------
现在我们开始搭建整个架构(因为没那么多机器,我还是用本地的目录来模拟机器)
主机 | ip | 服务及端口 |
ServerA mongodb1 mongodb2 mongodb3 mongodb4 |
127.0.0.1 |
mongod shard11:10000 mongod shard21:20000 mongod config 1:30000 mongos :40000 |
ServerB mongodb5 mongodb6 mongodb7 mongodb4 |
127.0.0.1 |
mongod shard12:10001 mongod shard22:20001 mongod config 2:30001 mongos :40000 |
ServerC mongodb9 mongodb8 mongodb11 mongodb4 |
127.0.0.1 |
mongod shard13:10002 mongod shard23:20002 mongod config 3:30002 mongos :40000 |
1,启动Shard1进程并配置Replica Sets
启动mongod shard11进程,副本集名称:shard1
启动mongod shard12进程,并设置副本集:shard1
启动mongod shard13进程,并设置副本集:shard1
把这三个进程配置成副本集,新开一个cmd,用来执行各种非启动命令,连接到上面三个进程中的任何一个,把他们配置成副本集,操作如下
这里启动只多了一个命令:shardsvr,用这个命令就表示这个进程是Shard进程。
2,启动Shard2进程并配置Replica Sets
启动mongod shard21进程,副本集名称:shard2
启动mongod shard22进程,并设置副本集:shard2
启动mongod shard23进程,并设置副本集:shard2
把这三个进程配置成副本集,操作如下
到此两个副本集够成的分片已经配置完成,下面配置Config server和Route process
3,配置3个Config Server
4配置Route Process
chunk大小为1M,方便我们测试效果。
5配置分片的表和片键
我用的还是Friends库中的FriendUser表来做分片,片键是_id,因为cmd宽度太小了添加分片的命令显示不完全,我手动把他们列出来
添加分片
db.runCommand({addshard:"shard1/127.0.0.1:10000,127.0.0.1:10001,127.0.0.1:10002"})
db.runCommand({addshard:"shard2/127.0.0.1:20000,127.0.0.1:20001,127.0.0.1:20002"})
到此整个构架已经配置完成了,我们来验证下配置的情况,我通过客户端添加10000条数据到数据库中
可以看到分片已经执行。
------------------------------------------------------------------------------------------------
现在做下容灾的测试,我停掉shard11,看看结果会如何。
打开shard11的 cmd窗口,Ctrl+C停止进程
查看下状态
状态完好,我在插入20000条数据,看看效果
可以看到依然可以运行。
这里会出现这种情况:当有三台机器做副本集的时候,只能是一太服务器当掉,当有两台当掉的时候,第三台不能由从库变为主库。
这里应该注意副本集的选举规则: 当主库当掉时,次节点将触发选举。 收到副本集大多数成员投票的第一个节点将成为主节点。副本集选举最重要的功能是副本集的大多数原始成员节点必须参与选举才能成功。如果您的副本集包含三个 成员,有两个或三个节点可以相互连接时该副本集可选出一个主节点。如果该副本集中有两个节点脱机,则剩余的一个节点仍将作为次节点。
相关推荐
MongoDB分片介绍
MongoDB分片副本级 详细的讲述了MongoDB分片副本级配置
实验五 MongoDB分片部署与启动
mongodb的分片备份 复制集的备份和配置的备份
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
本资料是在线教育课程第一天中使用的mongoDB的安装资料以及使用指南
mongodb集群分片操作以及增加acl,有什么问题联系我!
英文当的mongodb分片设计以及原理,喜欢的可以下载来看看
13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群架构详解_ev.rar13、MongoDB分片集群&高级集群...
k8s 安装 mongodb 分片(Sharding)+ 副本集(Replica Set)
mongodb 分片集群搭建过程(无副本),详细操作步骤,linux命令
分片技术可以满足 MongoDB 数据量大量增长的需求,当一台 MongoDB 服务器不足以存储海量数据或不足以提供可接受的读写吞吐量时,我们就可以通过在多台服务器上分割数据,使得数据库系统能存储和处理更多的数据。...
mongodb 数据库基本操作 使用MongoDB Python操作NoSQL数据库
MongoDB分片详细教程。教程内容非常仔细,照着教程很轻松就成功了。
同步Mongodb数据库,用于同步数据库,局域网内
目录 1 MongoDB的简介和安装启动.mp4 2 MongoDB服务器的启动优化.mp4 3 MongoDB客户端基础使用.mp4 4 MongoDB集合的多种查询条件.mp4 5 MongoDB索引查询与建立.mp4 ...17 MongoDB分片集群的使用介绍.mp4
mongodb副本集加分片集群安全认证使用账号密码登录
该文档详细讲述了对三个服务器的mongodb进行副本集与分片的部署。并给出测试方案和架构图。
mongodb中文API及分布式分片实例详解。
config server,顾名思义为配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉...