×
新网 > 虚机资讯 > 正文

pve+ceph超融合(二)

  • 作者:zccc
  • 来源:网络
  • 2020-07-22 06:01:35

系统运维 创建PVE虚拟化集群1,首先安装三台PVE主机,安装过程参考本站之前的文章。2,PVE主机安装就绪后,创建PVE Cluster虚拟化集群。需要通过

系统运维

创建PVE虚拟化集群
1,首先安装三台PVE主机,安装过程参考本站之前的文章。
2,PVE主机安装就绪后,创建PVE Cluster虚拟化集群。
需要通过PVE_shell创建。
3,在PVE1节点执行以下命令:
pvecm create vclusters
4,在另外两个节点执行以下命令,加入集群
pvecm add 192.168.77.160
显示successfully added node ‘pve-2’ to cluster就算成功了
5,查看PVE集群状态,确认集群已经正确建立
在PVE-1节点上
pvecm status

root@pve-1:~# pvecm status
Quorum information

Date: Wed Jul 3 11:27:05 2019
Quorum provider: corosync_votequorum
Nodes: 3
Node ID: 0x00000001
Ring ID: 1/12
Quorate: Yes

Votequorum information

Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate

Membership information
Nodeid      Votes Name

0x00000001 1 192.168.77.160 (local)
0x00000002 1 192.168.77.170
0x00000003 1 192.168.77.180

全部节点都已经加入集群
在所有节点上使用以下命令安装Ceph。(ceph也是可以单独安装融合进来的,单独安装的ceph还可以做其他使用,看需要)
pveceph install -version luminous

全部节点都已经加入集群
在所有节点上使用以下命令安装Ceph。(ceph也是可以单独安装融合进来的,单独安装的ceph还可以做其他使用,看需要)
pveceph install -version luminous
配置ceph集群存储网络,在所有节点上执行
pveceph init -network 192.168.77.0/24
创建ceph集群存储Mon监控,在所有节点上执行以下命令
pveceph createmon
查看硬盘信息

root@pve-1:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 20G 0 disk
├─sda1 8:1 0 1007K 0 part
├─sda2 8:2 0 512M 0 part
└─sda3 8:3 0 19.5G 0 part
├─pve-swap 253:0 0 2.4G 0 lvm [SWAP]
├─pve-root 253:1 0 4.8G 0 lvm /
├─pve-data_tmeta 253:2 0 1G 0 lvm
│ └─pve-data 253:4 0 8G 0 lvm
└─pve-data_tdata 253:3 0 8G 0 lvm
└─pve-data 253:4 0 8G 0 lvm
sdb 8:16 0 50G 0 disk
sdc 8:32 0 50G 0 disk
sdd 8:48 0 50G 0 disk
sr0 11:0 1 655.3M 0 rom
rbd0 252:0 0 32G 0 disk

创建ceph集群存储OSD服务,在所有节点上执行
因为我们模拟了三块硬盘所有把三块硬盘都加上
pveceph createosd /dev/sdb
pveceph createosd /dev/sdc
pveceph createosd /dev/sdd

创建完成后,查看OSD运行状态,确认OSD运行正常:

root@pve-1:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.43822 root default
-7 0.14607 host pve-1
6 hdd 0.04869 osd.6 up 1.00000 1.00000
7 hdd 0.04869 osd.7 up 1.00000 1.00000
8 hdd 0.04869 osd.8 up 1.00000 1.00000
-3 0.14607 host pve-2
0 hdd 0.04869 osd.0 up 1.00000 1.00000
2 hdd 0.04869 osd.2 up 1.00000 1.00000
3 hdd 0.04869 osd.3 up 1.00000 1.00000
-5 0.14607 host pve-3
1 hdd 0.04869 osd.1 up 1.00000 1.00000
4 hdd 0.04869 osd.4 up 1.00000 1.00000
5 hdd 0.04869 osd.5 up 1.00000 1.00000

6,创建集群存储资源池,PVE内建Ceph采用的是rbd的模型:最外层是pool,相当于一块磁盘,默认的
pool名字叫做rbd。每个pool里面可以有多个image,相当于文件夹。每个image可以映射成一个块设备,
有了设备就可以加载它。在PVE-1节点上执行以下命令:
ceph osd pool create mytest 128 128
128代表placement-group的数量。每个pg都是一个虚拟节点,将自己的数据存在不同的位置。这样一旦
存储宕机,pg就会选择新的存储,从而保证了自动高可用。
7,复制存储ID和密钥到指定文件位置,在PVE-1节点执行以下操作:
cd /etc/pve/priv/
cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
到这里ceph分布式存储基本完成,下来就在web端设置

新网虚拟主机

  • 相关专题

免责声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,请发送邮件至:operations@xinnet.com进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

免费咨询获取折扣

Loading