DRBD – SRA OSS Tech Blog

DRBD9クラスタをLINSTORで管理する

山本博之 (Hiroyuki Yamamoto) — Thu, 31 Jan 2019 04:00:58 +0000

DRBD9を管理するツールとしてdrbdmanageがありますが、drbdmanageには分散データベース(drbdctrl)の性能や、ノード間の通信に使用しているD-Busプロトコルの安定性など、いくつかの問題を抱えていました。

この問題を解決するため、DRBD9の新しい管理ツールとしてLINSTORが新たに開発されました。本記事ではLINSTORを使ってDRBD9の3台構成クラスタを管理する方法について紹介します。なお、2019年1月現在LINSTORはβ版という位置づけになります。

1. 導入手順

本記事では以下の手順で導入を行います。

必要なソフトウェアのビルド・インストール
LVMの設定
LINSTORの起動
クラスタへのノードの登録
ボリュームの追加
3台目のノードの追加およびボリュームの追加

2. 前提

本記事で使用する環境は以下になります。

OS: CentOS 7.4

ホスト名	IPアドレス	DRBD用パーティション
server1	192.168.1.11	/dev/sdb1
server2	192.168.1.12	/dev/sdb1
server3	192.168.1.13	/dev/sdb1

3. 必要なソフトウェアのインストール

ELrepoからDRBD9パッケージをインストール

# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# yum install kmod-drbd90 drbd90-utils

/etc/drbd.d/ 以下に既存の設定がある場合は競合する可能性があるので、すべて退避させて初期状態にしておきます。

LINSTORのビルド、インストール

LINSTORは自前でソースコードからrpmをビルドする必要があります。

https://www.linbit.com/en/drbd-community/drbd-download/ よりLINSTORの最新版ソースコード(linstor-client, python-linstor, linstor-serverの3種類)をダウンロードします。

ビルドにはJavaのビルドツールであるgradle(およびそのインストールに必要なSDKMAN)が必要となります。

$ curl -s get.sdkman.io | bash
$ source "$HOME/.sdkman/bin/sdkman-init.sh"
$ sdk version

SDKMAN 5.7.3+337
$ sdk install gradle

Downloading: gradle 5.0

In progress...

######################################################################## 100.0%

Installing: gradle 5.0
Done installing!


Setting gradle 5.0 as default.

gradleのインストールが完了したら、rpmをビルドします。なお、ELrepoのDRBDパッケージ名とLINSTOR内の設定ファイルの記述に差異があるため、修正が必要となります。

linstor-serverのインストール

$ sudo yum install rpm-build
$ wget http://www.linbit.com/downloads/linstor/linstor-server-0.7.3.tar.gz
$ tar zxvf linstor-server-0.7.3.tar.gz
$ cd linstor-server-0.7.3
(依存パッケージ名を修正する)
$ vi linstor.spec
(修正前) drbd-utils >= 8.9.9
(修正後) drbd90-utils >= 8.9.9
$ cd ..
$ mv linstor-server-0.7.3.tar.gz linstor-server-0.7.3-orig.tar.gz
$ tar zcf linstor-server-0.7.3.tar.gz linstor-server-0.7.3
$ rpmbuild -tb linstor-server-0.7.3.tar.gz
$ sudo rpm -ivh rpmbuild/RPMS/noarch/*

python-linstorのインストール

$ sudo yum install protobuf-compiler
$ tar zxvf python-linstor-0.7.2.tar.gz
$ cd python-linstor-0.7.2
$ make rpm
$ sudo rpm -ivh dist/python-linstor-0.7.2-1.noarch.rpm

linstor-clientのインストール

$ tar zxvf linstor-client-0.7.2.tar.gz
$ cd linstor-client-0.7.2
$ make rpm
$ sudo rpm -ivh dist/linstor-client-0.7.2-1.noarch.rpm

すべてのノードに上記で作成したrpmをコピーし、同様にインストールします。

4. LVMの設定

DRBDで使用するためのLVMの設定をすべてのノードであらかじめ行っておきます。

# pvcreate /dev/sdb1
# vgcreate vg1 /dev/sdb1

4. LINSTORの起動

各ノードでDRBDが起動していない場合は起動しておきます。設定は初期状態(リソースが定義されていない状態)にしておきます。

# systemctl start drbd

server1でlinstor-controllerおよびlinstor-satelliteを起動します。

# systemctl start linstor-controller
# systemctl start linstor-satellite

5. クラスタへのノードの登録

server1で自身をクラスタのノードとして登録します。

[root@server1 ~]# linstor node create server1 192.168.1.11
SUCCESS:
Description:
    New node 'server1' registered.
Details:
    Node 'server1' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

ノードが追加されていることを確認します。

[root@server1 ~]# linstor node list
+-----------------------------------------------------------+
| Node    | NodeType  | Addresses                 | State   |
|-----------------------------------------------------------|
| server1 | SATELLITE | 192.168.1.11:3366 (PLAIN) | OFFLINE |
+-----------------------------------------------------------+

10秒ほど待つとOnlineになります。

+----------------------------------------------------------+
| Node    | NodeType  | Addresses                 | State  |
|----------------------------------------------------------|
| server1 | SATELLITE | 192.168.1.11:3366 (PLAIN) | Online |
+----------------------------------------------------------+

server2をクラスタのノードとして追加します。

[root@server1 ~]# linstor node create server2 192.168.1.12
SUCCESS:
Description:
    New node 'server2' registered.
Details:
    Node 'server2' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx
[root@server1 ~]# linstor node list
+-----------------------------------------------------------+
| Node    | NodeType  | Addresses                 | State   |
|-----------------------------------------------------------|
| server1 | SATELLITE | 192.168.1.11:3366 (PLAIN) | Online  |
| server2 | SATELLITE | 192.168.1.12:3366 (PLAIN) | OFFLINE |
+-----------------------------------------------------------+

server2でlinstor-satelliteを起動し、10秒ほど待つとOnlineになります。

[root@server2 ~]# systemctl start linstor-satellite
[root@server1 ~]# linstor node list
+----------------------------------------------------------+
| Node    | NodeType  | Addresses                 | State  |
|----------------------------------------------------------|
| server1 | SATELLITE | 192.168.1.11:3366 (PLAIN) | Online |
| server2 | SATELLITE | 192.168.1.12:3366 (PLAIN) | Online |
+----------------------------------------------------------+

6. ボリュームの追加

ストレージプールの作成

「4. LVMの設定」で作成したボリュームグループをストレージプールとして追加します。

[root@server1 ~]# linstor storage-pool create lvm server1 pool1 vg1
SUCCESS:
Description:
New storage pool 'pool1' on node 'server1' registered.
Details:
Storage pool 'pool1' on node 'server1' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
(server1) Changes applied to storage pool 'pool1'
[root@server1 ~]# linstor storage-pool create lvm server2 pool1 vg1
SUCCESS:
Description:
New storage pool 'pool1' on node 'server2' registered.
Details:
Storage pool 'pool1' on node 'server2' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
(server2) Changes applied to storage pool 'pool1'

作成したストレージプールの一覧を表示して確認します。

[root@server1 ~]# linstor storage-pool list
+-------------------------------------------------------------------------------------------------+
| StoragePool | Node    | Driver    | PoolName | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------|
| pool1       | server1 | LvmDriver | vg1      |     5.00 GiB |      5.00 GiB | false             |
| pool1       | server2 | LvmDriver | vg1      |     5.00 GiB |      5.00 GiB | false             |
+-------------------------------------------------------------------------------------------------+

ボリューム定義の作成

リソースおよびボリュームの定義を作成します。この時点ではまだ実際のボリュームは確保されていません。

[root@server1 ~]# linstor resource-definition create vol1
SUCCESS:
Description:
    New resource definition 'vol1' created.
Details:
    Resource definition 'vol1' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

[root@server1 ~]# linstor volume-definition create vol1 1G
SUCCESS:
    New volume definition with number '0' of resource definition 'vol1' created.

手動配備

上記で作成したボリューム定義に基づき、各ノードにボリュームを配備します。以下ではserver1とserver2にvol1ボリュームを配備します。

[root@server1 ~]# linstor resource create server1 vol1 --storage-pool pool1
SUCCESS:
Description:
    New resource 'vol1' on node 'server1' registered.
Details:
    Resource 'vol1' on node 'server1' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
Description:
    Volume with number '0' on resource 'vol1' on node 'server1' successfully registered
Details:
    Volume UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
    Created resource 'vol1' on 'server1'
SUCCESS:
Description:
    Resource 'vol1' on 'server1' ready
Details:
    Node(s): 'server1', Resource: 'vol1'
[root@server1 ~]# linstor resource create server2 vol1 --storage-pool pool1
SUCCESS:
Description:
    New resource 'vol1' on node 'server2' registered.
Details:
    Resource 'vol1' on node 'server2' UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
Description:
    Volume with number '0' on resource 'vol1' on node 'server2' successfully registered
Details:
    Volume UUID is: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SUCCESS:
    Added peer(s) 'server2' to resource 'vol1' on 'server1'
SUCCESS:
    Created resource 'vol1' on 'server2'
SUCCESS:
Description:
    Resource 'vol1' on 'server2' ready
Details:
    Node(s): 'server2', Resource: 'vol1'

配備した分の空き容量(FreeCapacity)が減少していることを確認します。

[root@server1 ~]# linstor storage-pool list
+-------------------------------------------------------------------------------------------------+
| StoragePool | Node    | Driver    | PoolName | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------|
| pool1       | server1 | LvmDriver | vg1      |     3.99 GiB |      5.00 GiB | false             |
| pool1       | server2 | LvmDriver | vg1      |     3.99 GiB |      5.00 GiB | false             |
+-------------------------------------------------------------------------------------------------+

自動配備

上記ではserver1とserver2にボリュームを明示的に配備しましたが、今度は空きのあるストレージプールおよびノードを自動選択して配備します(今回は2ノードのみなので手動配備と同様の結果になります)。

[root@server1 ~]# linstor resource-definition create vol2
[root@server1 ~]# linstor volume-definition create vol2 1G
[root@server1 ~]# linstor resource create vol2 --auto-place 2
SUCCESS:
Description:
    Resource 'vol2' successfully autoplaced on 2 nodes
Details:
    Used storage pool: 'pool1'
    Used nodes: 'server1', 'server2'
SUCCESS:
    Created resource 'vol2' on 'server2'
SUCCESS:
    Created resource 'vol2' on 'server1'
SUCCESS:
Description:
    Resource 'vol2' on 'server1' ready
Details:
    Auto-placing resource: vol2
SUCCESS:
Description:
    Resource 'vol2' on 'server2' ready
Details:
    Auto-placing resource: vol2

[root@server1 ~]# linstor storage-pool list
+-------------------------------------------------------------------------------------------------+
| StoragePool | Node    | Driver    | PoolName | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------|
| pool1       | server1 | LvmDriver | vg1      |     2.99 GiB |      5.00 GiB | false             |
| pool1       | server2 | LvmDriver | vg1      |     2.99 GiB |      5.00 GiB | false             |
+-------------------------------------------------------------------------------------------------+

リソース一覧、ボリューム定義意一覧を表示し、適切にリソースが配備されていることを確認します。

[root@server1 ~]# linstor resource list
+---------------------------------------------------+
| ResourceName | Node    | Port | Usage  |    State |
|---------------------------------------------------|
| vol1         | server1 | 7000 | Unused | UpToDate |
| vol1         | server2 | 7000 | Unused | UpToDate |
| vol2         | server1 | 7001 | Unused | UpToDate |
| vol2         | server2 | 7001 | Unused | UpToDate |
+---------------------------------------------------+
[root@server1 ~]# linstor volume-definition list
+-------------------------------------------------------+
| ResourceName | VolumeNr | VolumeMinor | Size  | State |
|-------------------------------------------------------|
| vol1         | 0        | 1000        | 1 GiB | ok    |
| vol2         | 0        | 1001        | 1 GiB | ok    |
+-------------------------------------------------------+

作成したボリュームの使用

作成したボリュームは通常のDRBDボリュームと同様に使用できます。

[root@server1 ~]# ls -l /dev/drbd1*
brw-rw---- 1 root disk 147, 1000 12月  7 16:29 /dev/drbd1000
brw-rw---- 1 root disk 147, 1001 12月  7 16:34 /dev/drbd1001

[root@server1 ~]# drbdadm status
vol1 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

vol2 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

[root@server1 ~]# mkfs.ext4 /dev/drbd1000
[root@server1 ~]# mkdir /mnt/drbd
[root@server1 ~]# mount /dev/drbd1000 /mnt/drbd
[root@server1 ~]# df
ファイルシス            1K-ブロック    使用   使用可 使用% マウント位置
/dev/drbd1000               1003076    2584   931488    1% /mnt/drb

なお、以下のDRBD設定ファイルが自動生成されますが、これらはLINSTORが管理しているため手で編集してはいけません。

[root@server1 ~]# ls -l /var/lib/linstor.d/
合計 12
-rw-r--r-- 1 root root  79 12月  7 15:08 linstor_common.conf
-rw-r--r-- 1 root root 797 12月  7 16:30 vol1.res
-rw-r--r-- 1 root root 797 12月  7 16:34 vol2.res

7. 3台目のノードの追加およびボリュームの追加

新しく3台目のノードを追加する場合も2台目と同様に登録を行います。必要なパッケージは事前にインストールしておきます。

server3でサービスの起動、LVMの作成を行います。

[root@server3 ~]# systemctl start drbd
[root@server3 ~]# vgcreate vg1 /dev/sdb1
[root@server3 ~]# systemctl start linstor-controller

server3をクラスタのノードに追加します。

[root@server1 ~]# linstor node create server3 192.168.1.13
[root@server1 ~]# linstor node list
+----------------------------------------------------------+
| Node    | NodeType  | Addresses                 | State  |
|----------------------------------------------------------|
| server1 | SATELLITE | 192.168.1.11:3366 (PLAIN) | Online |
| server2 | SATELLITE | 192.168.1.12:3366 (PLAIN) | Online |
| server3 | SATELLITE | 192.168.1.13:3366 (PLAIN) | Online |
+----------------------------------------------------------+

server3のLVMボリュームグループをストレージプールに追加します。

[root@server1 ~]# linstor storage-pool create lvm server3 pool1 vg1
[root@server1 ~]# linstor storage-pool list
+-------------------------------------------------------------------------------------------------+
| StoragePool | Node    | Driver    | PoolName | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------|
| pool1       | server1 | LvmDriver | vg1      |     2.99 GiB |      5.00 GiB | false             |
| pool1       | server2 | LvmDriver | vg1      |     2.99 GiB |      5.00 GiB | false             |
| pool1       | server3 | LvmDriver | vg1      |     5.00 GiB |      5.00 GiB | false             |
+-------------------------------------------------------------------------------------------------+

リソース、ボリュームを定義し、server2とserver3に配備します。

[root@server1 ~]# linstor resource-definition create vol3
[root@server1 ~]# linstor volume-definition create vol3 1G
[root@server1 ~]# linstor resource create server2 vol3 --storage-pool pool1
[root@server1 ~]# linstor resource create server3 vol3 --storage-pool pool1
[root@server1 ~]# linstor storage-pool list
+-------------------------------------------------------------------------------------------------+
| StoragePool | Node    | Driver    | PoolName | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------|
| pool1       | server1 | LvmDriver | vg1      |     2.99 GiB |      5.00 GiB | false             |
| pool1       | server2 | LvmDriver | vg1      |     1.99 GiB |      5.00 GiB | false             |
| pool1       | server3 | LvmDriver | vg1      |     3.99 GiB |      5.00 GiB | false             |
+-------------------------------------------------------------------------------------------------+

リソース一覧を表示し、リソースが配備されているノードおよび状態を確認します。

[root@server1 ~]# linstor resource list
+-------------------------------------------------------------+
| ResourceName | Node    | Port | Usage  |              State |
|-------------------------------------------------------------|
| vol1         | server1 | 7000 | Unused |           UpToDate |
| vol1         | server2 | 7000 | Unused |           UpToDate |
| vol2         | server1 | 7001 | Unused |           UpToDate |
| vol2         | server2 | 7001 | Unused |           UpToDate |
| vol3         | server2 | 7002 | Unused |           UpToDate |
| vol3         | server3 | 7002 | Unused | SyncTarget(17.08%) |
+-------------------------------------------------------------

8. おわりに

今回はLINSTORの使い方について簡単に紹介しました。このように、LINSTORを使うことで3台以上のDRBDクラスタを容易に管理することができるようになります。また、LINSTORはDockerのコンテナ管理システムであるKubernetesのバックエンドのストレージシステムとしての利用も想定されており、今後広く使われていくことが期待されます。

SRA OSSでは、各種OSS のサポートを提供しております。
詳しくは弊社ホームページをご覧ください。

DRBD9 の 3台構成クラスタ

山本博之 (Hiroyuki Yamamoto) — Wed, 05 Dec 2018 07:30:34 +0000

DRBD9では、以前のバージョンに比べて3台以上のクラスタをより簡単に構築できるようになりました。DRBD8では、2台構成のクラスタを階層化するスタック構成を使用して3台以上のクラスタを組むことができましたが、構成が複雑になり、柔軟性にも欠けるものでした。
また、drbdmanageにより簡単にDRBDクラスタの管理ができるようになりました。
本記事では、drbdmanageを使用して3台構成のDRBDクラスタを構築する方法について紹介します。

なお、新しい管理ツールとしてLINSTORが現在開発されており(2018年11月現在β版)、将来はLINSTORへの移行が予定されています。LINSTORを用いたDRBDクラスタの構築については後日改めて公開する予定です。

1. 導入手順

本記事では以下の手順で導入を行います。

必要なソフトウェアのインストール
ssh、LVMの設定
クラスタの初期化
2台目のノードの追加
ボリュームの追加
3台目のノードの追加およびボリュームのアサイン

2. 前提

本記事で使用する環境は以下になります。

OS: CentOS 7.4

ホスト名	IPアドレス	DRBD用パーティション
server1	192.168.1.11	/dev/sdb1
server2	192.168.1.12	/dev/sdb1
server3	192.168.1.13	/dev/sdb1

3. 必要なソフトウェアのインストール

ELrepoからDRBD9パッケージをインストール

# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# yum install kmod-drbd90 drbd90-utils

/etc/drbd.d/ 以下に既存の設定がある場合は競合する可能性があるので、すべて退避させて初期状態にしておきます。

drbdmanage のビルド、インストール

drbdmanageはELrepoに含まれていないので、自前でrpmをビルドする必要があります。

https://www.linbit.com/en/drbd-community/drbd-download/ よりdrbdmanageの最新版ソースコードをダウンロードします。

ビルドに必要なパッケージをインストールし、rpmをビルドします。なお、ELrepoのDRBDパッケージ名とdrbdmanage内の設定ファイルの記述に差異があるため、修正が必要となります。

$ sudo yum install pygobject2 help2man rpm-build
$ wget http://www.linbit.com/downloads/drbdmanage/drbdmanage-0.99.18.tar.gz
$ tar zxvf drbdmanage-0.99.18.tar.gz
$ cd drbdmanage-0.99.18
(依存パッケージ名を修正する)
$ vi setup.cfg
(修正前) drbd-utils >= 8.9.9
(修正後) drbd90-utils >= 8.9.9
$ make rpm
(dist/ 以下に rpm が作成される)
$ sudo rpm -ivh dist/drbdmanage-0.99.18-1.noarch.rpm

すべてのノードにrpmをコピーし、同様にインストールします。

4. sshの設定

ノード間でパスワードなしでsshログインできるように設定します。

[root@server1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
...
[root@server1 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@server2
...
root@server2's password:
...

(server1 -> server2 にパスワードなしでログインできることを確認)
[root@server1 ~]# ssh root@server2

(server2 でも server1 に対して上記を行う)

5. LVMの設定

両ノードでLVMの物理ボリュームおよびボリュームグループを作成します。
drbdmanageはデフォルトでdrbdpoolという名前のボリュームグループを使用します。

# pvcreate /dev/sdb1
# vgcreate drbdpool /dev/sdb1

6. クラスタの初期化

最初に1台目のノードでdrbdmanageクラスタの初期化を実行します。
なお、複数のノードで初期化を行ってしまうと整合性が取れなくなるのでご注意ください。

[root@server1 ~]# drbdmanage init 192.168.1.11

You are going to initialize a new drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Empty drbdmanage control volume initialized on '/dev/drbd0'.
Empty drbdmanage control volume initialized on '/dev/drbd1'.
Waiting for server: .
Operation completed successfully

管理用DRBDボリュームが作成され、1台目のノードがdrbdmanageに登録されたことを確認します。

[root@server1 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate

[root@server1 ~]# drbdmanage list-nodes
 +----------------------------------------------------------------------+
 | Name    | Pool Size | Pool Free |                            | State |
 |----------------------------------------------------------------------|
 | server1 |      5116 |      5108 |                            |    ok |
 +----------------------------------------------------------------------+

7. 2台目のノードの追加

2台目のノードを追加します。server1で以下を実行すると、sshでserver2に自動的にログインして必要な操作が行われます。

[root@server1 ~]# drbdmanage add-node server2 192.168.1.12
Operation completed successfully
Operation completed successfully

Executing join command using ssh.
IMPORTANT: The output you see comes from server2
IMPORTANT: Your input is executed on server2
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully
Give leader time to contact the new node
Operation completed successfully

[root@server1 ~]# drbdmanage list-nodes
+----------------------------------------------------------------------+
| Name    | Pool Size | Pool Free |                            | State |
|----------------------------------------------------------------------|
| server1 |      5116 |      5108 |                            |    ok |
| server2 |      5116 |      5108 |                            |    ok |
+----------------------------------------------------------------------+

8. ボリュームの追加

上記で作成した2台のDRBDクラスタに新規ボリュームを追加します。
ここではvol1(1GB)、vol2(1GB)の2つのボリュームを2通りの方法で作成します。

1つ目は操作を1つずつ行います。
操作はリソース追加→ボリューム追加→デプロイの順で行います。

リソース vol1 を追加し、1GBのボリュームを割り当てます。

[root@server1 ~]# drbdmanage list-volumes
No resources defined
[root@server1 ~]# drbdmanage add-resource vol1
Operation completed successfully
[root@server1 ~]# drbdmanage add-volume vol1 1GB
Operation completed successfully

続いてリソースをデプロイします。以下の場合、最も要件に合致する2ノードを自動的に選択します。
今回は2ノードしかないので単に両方のノードが割り当てられますが、3ノード以上ある場合は空きが多いものから選択されます。
なお、assign-resourceで手動でノードを選択してデプロイすることもできます。

[root@server1 ~]# drbdmanage deploy-resource vol1 2
Operation completed successfully

ボリュームがデプロイされ、実際にDRBDリソースが作成されていることを確認します。

[root@server1 ~]# drbdmanage list-volumes
+----------------------------------------------------------------------+
| Name | Vol ID |       Size | Minor |                         | State |
|----------------------------------------------------------------------|
| vol1 |      0 | 953.67 MiB |   100 |                         |    ok |
+----------------------------------------------------------------------+
[root@server1 ~]# drbdmanage list-nodes
+----------------------------------------------------------------------+
| Name    | Pool Size | Pool Free |                            | State |
|----------------------------------------------------------------------|
| server1 |      5116 |      4152 |                            |    ok |
| server2 |      5116 |      4152 |                            |    ok |
+----------------------------------------------------------------------+
[root@server1 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate
  server2 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate

vol1 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

リソース追加、ボリューム追加、デプロイを一度に行うことも可能です。ここでは vol2 ボリュームを一度に作成します。

[root@server1 ~]# drbdmanage new-volume vol2 1GB --deploy 2
Operation completed successfully
Operation completed successfully
[root@server1 ~]# drbdmanage list-volumes
+---------------------------------------------------------------------+
| Name | Vol ID |       Size | Minor |                        | State |
|---------------------------------------------------------------------|
| vol1 |      0 | 953.67 MiB |   100 |                        |    ok |
| vol2 |      0 | 953.67 MiB |   101 |                        |    ok |
+---------------------------------------------------------------------+
[root@server1 ~]# drbdmanage list-nodes
+---------------------------------------------------------------------+
| Name    | Pool Size | Pool Free |                           | State |
|---------------------------------------------------------------------|
| server1 |      5116 |      3196 |                           |    ok |
| server2 |      5116 |      3196 |                           |    ok |
+---------------------------------------------------------------------+
[root@server1 ~]# drbdadm status
...
vol2 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

9. ファイルシステムの作成

ファイルシステム作成対象のデバイスファイルは /dev/drbd100 から順に作成されます。
数字は drbdmanage list-volumes で表示される Minor の値に対応します。

[root@server1 ~]# mkfs -t ext4 /dev/drbd100
[root@server1 ~]# mkfs -t ext4 /dev/drbd101
[root@server1 ~]# mkdir /mnt/drbd1
[root@server1 ~]# mkdir /mnt/drbd2
[root@server1 ~]# mount /dev/drbd100 /mnt/drbd1
[root@server1 ~]# mount /dev/drbd101 /mnt/drbd2
[root@server1 ~]# df
ファイルシス            1K-ブロック    使用   使用可 使用% マウント位置
...
/dev/drbd100                 944808    2404   877192    1% /mnt/drbd1
/dev/drbd101                 944808    2404   877192    1% /mnt/drbd2

10. 3台目のノードの追加

2台のDRBDクラスタに3台目のノードを追加する場合、3台目のノードで「3. 必要なソフトウェアのインストール」「4. sshの設定」および「5. LVMの設定」を行っておきます。
その後、 server1 で以下を実行します。

[root@server1 ~]# drbdmanage add-node server3 192.168.1.13
Operation completed successfully
Operation completed successfully
Host key verification failed.
Give leader time to contact the new node
Operation completed successfully
Operation completed successfully

Join command for node server3:
drbdmanage join -p 6999 192.168.1.13 2 server1 192.168.1.11 0 xxxxxxxxxxxxxxxx

「Join command for node (ホスト名):」で提示されたコマンドを追加するノードで実行します(パスワードなしで ssh ログインできるようにしている場合は server1 から実行できます)。

[root@server3 ~]# drbdmanage join -p 6999 192.168.1.13 2 server1 192.168.1.11 0 xxxxxxxxxxxxxxxx
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully

drbdmanage list-nodes でノードが追加されていることを確認します。

[root@server1 ~]# drbdmanage list-nodes
+---------------------------------------------------------------------+
| Name    | Pool Size | Pool Free |                           | State |
|---------------------------------------------------------------------|
| server1 |      5116 |      3196 |                           |    ok |
| server2 |      5116 |      3196 |                           |    ok |
| server3 |      5116 |      5108 |                           |    ok |
+---------------------------------------------------------------------+

ボリューム vol2 を3台目のノードにアサインします。

[root@server1 ~]# drbdmanage assign-resource vol2 server3
Operation completed successfully

追加したノードにボリュームが作成され、同期が開始されます。

[root@server1 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate
  server2 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate
  server3 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate

vol1 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

vol2 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate
  server3 role:Secondary
    replication:SyncSource peer-disk:Inconsistent done:0.61

しばらく待つと同期が完了し、3台目のノードのボリュームが使用されていることを確認します。

[root@server1 ~]# drbdadm status
...
vol2 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate
  server3 role:Secondary
    peer-disk:UpToDate

[root@server1 ~]# drbdmanage list-nodes
+----------------------------------------------------------------------+
| Name    | Pool Size | Pool Free |                            | State |
|----------------------------------------------------------------------|
| server1 |      5116 |      3196 |                            |    ok |
| server2 |      5116 |      3196 |                            |    ok |
| server3 |      5116 |      4152 |                            |    ok |
+----------------------------------------------------------------------+

このとき各ボリュームは以下のようにアサインされています。

+---------+  +---------+  +---------+
| server1 |--| server2 |--| server3 |
+---------+  +---------+  +---------+
+---------+  +---------+ 
|  vol1   |  |  vol1   |
+---------+  +---------+  +---------+
|  vol2   |  |  vol2   |  |  vol2   |
+---------+  +---------+  +---------+

SRA OSSでは、各種OSS のサポートを提供しております。
詳しくは弊社ホームページをご覧ください。

DRBD9 と Pacemaker の構成

山本博之 (Hiroyuki Yamamoto) — Wed, 05 Dec 2018 07:20:03 +0000

本記事では、Linuxの分散ストレージシステムであるDRBDの最新版であるDRBD9とPacemakerを組み合わせた構成について、基本的な構成でのインストール手順およびDRBD8の場合との違いなどについて解説していきます。

1. DRBD9について

DRBDは複数台のLinuxサーバで、ネットワーク経由で共有ストレージを構築するためのシステムです。

DRBD9はDRBD8.xから以下のような機能が強化されています。

自動プロモーション機能によりマウント時に自動でプライマリへの昇格・セカンダリへの降格が行えるようになった
drbdmanage コマンドによりノードやボリュームの追加・削除が簡単に行えるようになった
1階層で最大31ノードまでの多ノード構成が可能(DRBD8まではスタック構成のみ可)

特に、自動プロモーション機能によりPacemakerでクラスタを組む場合に大幅に設定を簡略化できるようになりました。

2. 構成

本記事では以下のサーバ構成を想定します。

ホスト名	IPアドレス	デバイス	サイズ
server1	192.168.1.11	/dev/sdb	5GB
server2	192.168.1.12	/dev/sdb	5GB
仮想IP	192.168.1.101

3. パッケージのインストール

本記事ではELRepoリポジトリ(http://elrepo.org)のrpmパッケージをインストールします。/

両ノードにDRBD9をインストールします。

# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# yum install kmod-drbd90 drbd90-utils

4. 設定ファイルの作成

drbdmanage を使用せず自分でDRBDのリソースを管理する場合はリソースの設定ファイルを作成します。

/etc/drbd.d/drbd0.res として設定ファイルを作成します。

resource drbd0 {
        protocol C;

        disk /dev/sdb1;
        device /dev/drbd0;
        meta-disk internal;
        on server1 {
                address 192.168.1.11:7789;
        }
        on server2 {
                address 192.168.1.12:7789;
        }
}

/etc/drbd.d/global_common.conf に以下の設定を追加します。自動プロモーションはデフォルトで有効のため、「auto-promote yes;」は追加しなくてもOKです。

global {
        usage-count no;
        ...
}

common {
        ...
        options {
                auto-promote yes;
        }
        ...
}

5. DRBDデバイスの作成

両ノードのディスクsdbにsdb1パーティションを作成し、先頭を0初期化します。
※対象のディスクのデータはすべて削除されるので注意!

# cfdisk /dev/sdb
# dd if=/dev/zero of=/dev/sdb1 bs=1M count=1

両ノードでメタデータを作成します。

# drbdadm create-md drbd0

リソースを有効化します。

[root@server1 ~]# drbdadm up drbd0
[root@server1 ~]# drbdadm status drbd0
drbd0 role:Secondary
  disk:Inconsistent
  server2 connection:Connecting

[root@server2 ~]# drbdadm up drbd0
[root@server2 ~]# drbdadm status drbd0
drbd0 role:Secondary
  disk:Inconsistent
  server1 role:Secondary
    peer-disk:Inconsistent

[root@server1 ~]# drbdadm status drbd0
drbd0 role:Secondary
  disk:Inconsistent
  server2 role:Secondary
    peer-disk:Inconsistent

この時点ではまだデバイスの同期が行われていないため、「Inconsistent」状態になります。

6. デバイスの初期同期

server1を同期元として指定し、同期を開始します。

[root@server1 ~]# drbdadm primary --force drbd0

同期が完了した場合、両方のディスクが「UpToDate」になります。

[root@server1 ~]# drbdadm status drbd0
drbd0 role:Primary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

[root@server2 ~]# drbdadm status drbd0
drbd0 role:Secondary
  disk:UpToDate
  server1 role:Primary
    peer-disk:UpToDate

なお、 DRBD 8.xでは cat /proc/drbd でもステータスを確認できましたが、DRBD9では利用できませんのでご注意ください。

7. ファイルシステムの作成

現在プライマリとなっているノードでDRBDデバイス上にファイルシステムを作成します。

[root@server1 ~]# mkfs.ext4 /dev/drbd0
...

[root@server1 ~]# mkdir /mnt/drbd
[root@server1 ~]# mount /dev/drbd0 /mnt/drbd
[root@server1 ~]# df /mnt/drbd
ファイルシス   1K-ブロック  使用   使用可 使用% マウント位置
/dev/drbd0         5029276 20472  4730288    1% /mnt/drbd

テストファイルを作成し、プライマリを移動して複製されていることを確認します。

[root@server1 ~]# echo test > /mnt/drbd/test.txt
[root@server1 ~]# umount /dev/drbd0
[root@server1 ~]# drbdadm secondary drbd0

[root@server2 ~]# drbdadm primary drbd0
[root@server2 ~]# mount /dev/drbd0 /mnt/drbd
[root@server2 ~]# ls /mnt/drbd
lost+found test.txt
[root@server2 ~]# cat /mnt/drbd/test.txt
test
[root@server2 ~]# umount /dev/drbd0
[root@server2 ~]# drbdadm secondary drbd0

8. DRBDの自動起動設定

OS起動時にDRBDが起動するように設定します。

[root@server1 ~]# systemctl enable drbd
Created symlink from /etc/systemd/system/multi-user.target.wants/drbd.service to /usr/lib/systemd/system/drbd.service.
[root@server2 ~]# systemctl enable drbd
Created symlink from /etc/systemd/system/multi-user.target.wants/drbd.service to /usr/lib/systemd/system/drbd.service.

両ノードのOSを再起動し、DRBDが両方Secondary状態で起動することを確認します。

9. 自動プロモーション

自動プロモーションが有効になっているので、mount操作を実行すると自動的にPrimaryに昇格され、
umountで自動的にSecondaryに降格されます。

[root@server1 ~]# drbdadm status drbd0
drbd0 role:Secondary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate
[root@server1 ~]# mount /dev/drbd0 /mnt/drbd
[root@server1 ~]# drbdadm status drbd0
drbd0 role:Primary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

なお、既にPrimaryになっているノードがある状態でmount実行しようとすると以下のように失敗します。

drbd drbd0: Auto-promote failed: Multiple primaries not allowed by config

また、注意点として、一度 drbdadmコマンドで手動でPrimary/Secondaryを切り替えると、自動プロモーションは無効になります。再度有効にするにはDRBDを再起動する必要があります。

10. Pacemaker/Corosyncの設定

Pacemaker/CorosyncでDRBDデバイス上のファイルシステムを管理する設定を行います。

DRBDリソースの昇格・降格はDRBDの自動プロモーションにより制御されるため、従来のようにPacemakerでMaster/Slaveリソースを作成する必要がなくなり、設定を大幅に簡略化できます。また、DRBDの管理をDRBD自体に任せることにより、DRBDのスプリットブレインが発生しにくくなるメリットもあります。

ここではFilesystemリソースとIPaddr2(仮想IP)リソースをグループ化して管理します。なお、Pacemaker/Corosyncのインストール自体は完了しているものとします。

# pcs resource create VIP ocf:heartbeat:IPaddr2 
    ip=192.168.1.101 cidr_netmask=24 op monitor interval=10s
# pcs resource create FS ocf:heartbeat:Filesystem 
    device=/dev/drbd0 directory=/mnt/drbd fstype=ext4 
    op start timeout=60s on-fail=restart 
    op stop timeout=60s on-fail=block 
    op monitor interval=10s timeout=60s on-fail=restart
# pcs resource group add Group-FS FS VIP

ファイルシステムリソースが仮想IPリソースと同じノードで起動し、DRBDリソースがPrimaryとなり実際にマウントされていることを確認します。

# pcs status
  ...
  Resource Group: Group-FS
      FS (ocf::heartbeat:Filesystem):    Started server1
      VIP        (ocf::heartbeat:IPaddr2):       Started server1

[root@server1 ~]# drbdadm status
drbd0 role:Primary
  disk:UpToDate
  server2 role:Secondary
    peer-disk:UpToDate

[root@server1 ~]# df /mnt/drbd
ファイルシス   1K-ブロック  使用  使用可 使用% マウント位置
/dev/drbd0         5029276 37916 4712844    1% /mnt/drbd

server1をスタンバイモードにしてserver2にスイッチオーバーすることを確認します。

[root@server1 ~]# pcs cluster standby server1
[root@server1 ~]# pcs status
...
Node server1: standby
Online: [ server2 ]

Full list of resources:

 Resource Group: Group-FS
     FS (ocf::heartbeat:Filesystem):    Started server2
     VIP        (ocf::heartbeat:IPaddr2):       Started server2

[root@server2 ~]# drbdadm status
drbd0 role:Primary
  disk:UpToDate
  server1 role:Secondary
    peer-disk:UpToDate

[root@server2 ~]# df /mnt/drbd
ファイルシス   1K-ブロック  使用  使用可 使用% マウント位置
/dev/drbd0         5029276 37916 4712844    1% /mnt/drbd

SRA OSSでは、各種OSS のサポートを提供しております。
詳しくは弊社ホームページをご覧ください。