www.kinryo.net

どうゆう事かと言うと、DRBDをやるためにKVMの基にある仮想ホストをコピーしたい。
この仮想ホストはsambaの設定とpcsとpacemakerなどをインストールした状態なので、これをコピーすれば、一から作成せずに済む。
という事で、これはローカルネットワーク内だが今後のことも考えSSHを使いDDでコピーする。
転送元のホスト名とIP：smb6  192.168.0.46   192.168.135.66   xxは伏せ字
転送先のホスト名とIP：smb7  192.168.0.47    192.168.135.67
192.168.135.66などはDRBDのデーターの複製用

まずはsmb1でSSHを設定していく。尚、almalinux9はSSHはデフォルトでインストールされていた。このままではパスワードでのログインが出来てしまいセキュリティー上、良くないので変更して行きますがその設定は /etc/ssh/sshd_configを変更するのでは無く、/etc/ssh/sshd_config.dに 数字(50より小さい数)xxxxxx.conf で作るそう。xxxxxは何でもいい、
# gedit /etc/ssh/sshd_config.d/40sshConfChg.conf
Hostkey ~/.ssh/id_ecdsa
PasswordAuthentication no
LogLevel DEBUG
UsePAM no
としてから
# systemctl daemon-reload
で設定を有効にし、設定のチェック
# ssh -T >ssh-conf-chk
と打ち込みssh-conf-chkにその結果を保存すると
WARNING: ‘UsePAM no’ is not supported in RHEL and may cause several problems
と表示されたので、UsePAM noをコメントアウトし再度
# systemctl daemon-reload

次にkeyを作成するが、これはコピーされる側のホストで行う。まずは鍵のセットを rsa で無くecdsa (rsa ecdsaの違いはここを参照) で作ります。
# ssh-keygen -t ecdsa
Generating public/private ecdsa key pair.
Enter file in which to save the key (/root/.ssh/id_ecdsa): 　Enterのみ入力
Enter passphrase (empty for no passphrase): 　Enterのみ入力
Enter same passphrase again: 　Enterのみ入力
でもって /root/.ssh/ に id_esdsa.pub があるのでこれを仮想ホストの設定があるホストにscpで転送するが転送元で
# scp ~/.ssh/id_ecdsa.pub root@192.168.0.46:~/.ssh/authorized_keys
id_ecdsa.pub 100% 180 307.1KB/s 00:00
authorized_keysの権限設定を変更するためにSSHで転送元にログイン
# ssh root@192.168.0.46
Activate the web console with: systemctl enable –now cockpit.socket
Last login: Sat Dec 7 06:05:27 2024 from 192.168.xx.41
# chmod 600 .ssh/authorized_keys
# exit
ログアウト
Connection to 192.168.0.46 closed.

いよいよ dd でコピーを開始
# ssh root@192.168.0.46 sudo dd status=progress if=/dev/xxx…. |dd of=/dev/xxx…

コピーが終わったら、hosnameと IPアドレスがダブっているので変更するが、このまま、オフラインで行うにはloopデバイスを設定しないと出来ない（仮想マシンは領域の中にさらに領域を作る。何でこんなことするのかは私には理解できない、一つのイメージファイルに複数の領域を作りたいから？でも他の方法でも複数の領域を設定出来る。だれかご存知の方がいれば是非教えて下さい。このためにバックアップもやりにくくなるし（参照：https://www.kinryokai.net/modules/news/article.php?storyid=298))
まずはオリジナルの仮想マシンを止めてから（IPがダブっているので）コピーした仮想マシンを立ち上げ、設定していくが私はDRBDの為にネットワークカードを1枚足しているので、ブリッジをもう一つ作る。このカードはDRBDのデーターの複製の為に使うだけなので、クロスケーブルでsmb1 とsmb2を継いでいるのでブリッジを作らず、IPアドレスだけ設定すればいいと思うが、一様ブリッジは作った、まずはネットワークを調べる
# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: enp2s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master br0 state UP group default qlen 1000
link/ether 00:f0:4c:68:f2:04 brd ff:ff:ff:ff:ff:ff
3: enp3s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master br1 state UP group default qlen 1000
link/ether 08:bf:b8:ba:f0:26 brd ff:ff:ff:ff:ff:ff
4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 00:f0:4c:68:f2:04 brd ff:ff:ff:ff:ff:ff
inet 192.168.0.46/24 brd 192.168.xx.255 scope global noprefixroute br0
valid_lft forever preferred_lft forever
inet6 fe80::bf44:6f79:ef33:acaa/64 scope link noprefixroute
valid_lft forever preferred_lft forever
後略
enp3s0がbr1用なので
# nmcli con add type bridge ifname br1
# nmcli con mod br1 bridge.stp no
固定IPにし、アドレス設定
# nmcli con mod br1 ipv4.method manual ipv4.address 192.168.135.47/24
Gateway と dns は設定していない

br1にインターフェイスを割り当てる。インターフェースはenp3s0、ブリッジはbridge-br0の時
# nmcli con add type ethernet ifname enp3s0 master br1
# nmcli con up br1
# nmcli con up enp3s0
で反映させられる

これだやっと仮想ホストを立ち上げられるが、IPアドレスとホスト名がダブっているので変更する事

resource-stickinessをどうするか？https://www.bigbang.mydns.jp/drbd-x.htmには”DRBDは自動フェールバックを無効としておかないとDRDBでフェンシングが発生し、2台ともStandAlone状態となってしまう場合があります。
この対策のため、自動フェールバックを無効とした方が良いでしょう。”とあり、https://blog.drbd.jp/2015/04/%E3%82%A2%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E6%A9%9F%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E3%81%8C%E5%A3%8A%E3%82%8C%E3%81%9F%E3%82%89%E9%81%85%E6%BB%9E%E3%81%AA/には”これをINFINITYに設定してしまうと、アクティブ機上で動作しているリソースは、ノード自体のダウンやオペレータによる切り替え操作以外の要因でフェイルオーバしなくなってしまいます。”とあります。2台ともスタンドアロンになるか、ファイルシステムの不調でもフェイルオーバーしなくなるかのどちらを取るかですが、私はresource-stickiness=INFINITYは設定しない事にしました。
まずはdrbd0ができているかチェック
# ls -la /dev/drb*
brw-rw—- 1 root disk 147, 0 12月 12 09:08 /dev/drbd0
/dev/drbd:
合計 0
drwxr-xr-x 4 root root 80 12月 12 09:08 .
drwxr-xr-x 21 root root 3440 12月 12 09:08 ..
drwxr-xr-x 2 root root 60 12月 12 09:08 by-disk
drwxr-xr-x 3 root root 60 12月 12 09:08 by-res
あるのでフォーマット
# mkfs.xfs /dev/drbd0
Filesystemリソースを追加する
# pcs resource create FScheck ocf:heartbeat:Filesystem device=/dev/drbd0 directory=/SmbData fstype=xfs op start timeout=60s on-fail=restart op stop timeout=60s on-fail=block op monitor interval=10s timeout=60s on-fail=restart
# pcs resource group add smbgroup VIPcheck FScheck
そしてprimaryの方で
# mount /dev/drbd0 /SmbData
SmbDataはファイルサーバーのデーターのディレクトリー（勿論、あらかじめ作っておく）
マウントされたか確認
# df -h
ファイルシス サイズ  使用      残り     使用%  マウント位置
devtmpfs       4.0M     0          4.0M     0%       /dev
tmpfs              1.8G      49M    1.8G      3%      /dev/shm
tmpfs              732M    9.3M   723M   2%      /run
/dev/vda1        20G      8.5G    12G     43%     /
/dev/vdc          50G      26G     25G     52%     /Download
tmpfs               366M   144K   366M    1%     /run/user/0
/dev/drbd0      700G    213G  487G    31%    /SmbData

smbとnmbのリソースを追加
# pcs resource create SAMBA systemd:smb –group smbgroup
# pcs resource create NAMED systemd:nmb –group smbgroup
‘–group’ is deprecated とワーニングが出るが設定は出来ている。
実はこの設定に自身が無い。動いているから多分大丈夫？
pcsのステイタスをチェック
# pcs status
前略
Node List:
* Online: [ smb6 smb7 ]

Full List of Resources:
　* Resource Group: smbgroup:
　　* VIPcheck (ocf:heartbeat:IPaddr2): Started smb6
　　* FScheck (ocf:heartbeat:Filesystem): Started smb6
　　* SAMBA (systemd:smb): Started smb6
　　* NAMED (systemd:nmb): Started smb6

Daemon Status:
　corosync: active/enabled
　pacemaker: active/enabled
　pcsd: active/enabled
drbdのステイタスをチェック
# drbdadm status r0
r0 role:Primary
　disk:UpToDate
　smb7 role:Secondary
　　peer-disk:UpToDate
マウントされているか？
# df -h
ファイルシス サイズ  使用      残り     使用%  マウント位置
devtmpfs       4.0M     0          4.0M     0%       /dev
tmpfs              1.8G      49M    1.8G      3%      /dev/shm
tmpfs              732M    9.3M   723M   2%      /run
/dev/vda1        20G      8.5G    12G     43%     /
/dev/vdc          50G      26G     25G     52%     /Download
tmpfs               366M   144K   366M    1%     /run/user/0
/dev/drbd0      700G    213G  487G    31%    /SmbData
smb6をスタンバイして見る
# pcs node standby smb6
少し時間を置いて（切り替わるのに少し時間がかかる）
# pcs status
Cluster name: mycluster
Cluster Summary:
　* Stack: corosync (Pacemaker is running)
　* Current DC: smb6 (version 2.1.7-5.el9_4-0f7f88312) – partition with quorum
　* Last updated: Mon Aug 12 19:00:23 2024 on smb6
　* Last change: Mon Aug 12 19:00:06 2024 by root via root on smb6
　* 2 nodes configured
　* 4 resource instances configured

Node List:
　* Node smb6: standby
　* Online: [ smb7 ]

Full List of Resources:
　* Resource Group: smbgroup:
　　* VIPcheck (ocf:heartbeat:IPaddr2): Started smb7
　　* FScheck (ocf:heartbeat:Filesystem): Started smb7
　　* SAMBA (systemd:smb): Started smb7
　　* NAMED (systemd:nmb): Started smb7

Daemon Status:
　corosync: active/enabled
　pacemaker: active/enabled
　pcsd: active/enabled
対向ホストのsmb7に切り替わっている
# drbdadm status r0
r0 role:Secondary
disk:UpToDate
smb7 role:Primary
peer-disk:UpToDate
smb7がprimaryになっている
# df -h
ファイルシス サイズ  使用      残り     使用%  マウント位置
devtmpfs       4.0M     0          4.0M     0%       /dev
tmpfs              1.8G      49M    1.8G      3%      /dev/shm
tmpfs              732M    9.3M   723M   2%      /run
/dev/vda1        20G      8.5G    12G     43%     /
/dev/vdc          50G      26G     25G     52%     /Download
tmpfs               366M   144K   366M    1%     /run/user/0
/SmbDataがマウントされていない
# ls -la /SmbData/
合計 4
drwxr-xr-x 2 root root 6 8月 11 12:54 .
dr-xr-xr-x. 21 root root 4096 8月 12 12:49 ..
/SmbDataの中身は当然ながら何もない
smb7ホストに移って
[root@smb7 ~]# df -h
ファイルシス  サイズ    使用     残り    使用%   マウント位置
devtmpfs        4.0M         0     4.0M        0%       /dev
tmpfs               1.8G     33M     1.8G        2%       /dev/shm
tmpfs             732M    9.3M   723M        2%      /run
/dev/vda1         20G     6.2G      14G       31%      /
tmpfs             366M    104K    366M        1%     /run/user/0
/dev/drbd0    700G     213G    487G       31%    /SmbData
[root@smb7 ~]# ls -la /SmbData/
合計 32
drwxr-xr-x 11 root root 128 8月 12 12:53 .
dr-xr-xr-x. 21 root root 4096 8月 12 16:20 ..
drwxrwx— 13 510 502 4096 8月 6 09:37 ACCOUNT
drwxrwx— 11 510 503 4096 6月 18 14:25 ADMIN
drwxrwx— 11 510 501 182 7月 31 17:16 INDIA
drwxrwx— 79 510 501 4096 8月 12 10:36 INPAC
drwxrwx— 38 510 504 4096 8月 12 12:50 IT
drwxrwx— 40 510 501 4096 8月 4 16:05 MALDIVES
drwx—— 2 root root 6 8月 12 05:47 MALE
drwx—— 2 root root 6 8月 12 05:47 SRI_LANKA
drwx—— 2 root root 6 8月 12 05:47 TOURS
/SmbDataの中身にちゃんとファイルサーバーが移っている

それでスタンバイした、smb6を戻しておく
[root@smb6 ~]# pcs node unstandby smb6   smb7側でやってもいい
[root@smb6 ~]# pcs status
Cluster name: mycluster
Cluster Summary:
　* Stack: corosync (Pacemaker is running)
　* Current DC: smb6 (version 2.1.7-5.el9_4-0f7f88312) – partition with quorum
　* Last updated: Mon Aug 12 19:13:22 2024 on smb6
　* Last change: Mon Aug 12 19:13:16 2024 by root via root on smb6
　* 2 nodes configured
　* 4 resource instances configured

Node List:
　* Online: [ smb6 smb7 ]

Full List of Resources:
　* Resource Group: smbgroup:
　　* VIPcheck (ocf:heartbeat:IPaddr2): Started smb7
　　* FScheck (ocf:heartbeat:Filesystem): Started smb7
　　* SAMBA (systemd:smb): Started smb7
　　* NAMED (systemd:nmb): Started smb7

Daemon Status:
　corosync: active/enabled
　pacemaker: active/enabled
　pcsd: active/enabled

これで完成。

これはelrepoにあるので
# rpm –import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# dnf install https://www.elrepo.org/elrepo-release-9.el9.elrepo.noarch.rpm
# dnf install kmod-drbd9x drbd9x-utils
エラー: トランザクションテストエラー:
ファイル /lib/drbd/drbdadm-84 (パッケージ drbd9x-utils-9.28.0-1.el9.elrepo.x86_64 から) は、パッケージ drbd-utils-9.26.0-1.el9.x86_64 からのファイルと競合しています。
などとエラーがいっぱい出ている！
以前にインストールした分が残っているので
# dnf remove drbd-utils-9.26.0-1.el9.x86_64
削除されたので再度
# dnf install kmod-drbd9x drbd9x-utils

/etc/drbd.d/r0.res として設定ファイルを作成します。割り当てるディスクはsmb6,smb7共 vdeにしている。又、ネットワークはDRBDように192.168.135.0/24を割り当てているが現在はこのネットワークが無いのでhttps://www.kinryo.net/?p=3996を参考して作っておく。br1は固定アドレスでsmb6には192.168.135.66にし、smb7は192.168.135.67に設定する。
ここまでをもう一方のホストでもやる。

drbdの設定ファイルを作る
# gedit /etc/drbd.d/r0.res
resource r0 {
　　protocol C;
　　disk /dev/vde;
　　device /dev/drbd0;
　　meta-disk internal;
　　on smb6 {
　　　　address 192.168.135.66:7789;
　　}
　　on smb7 {
　　　　address 192.168.135.67:7789;
　　}
}
次に usage-count no を設定しますが、この意味はhttps://linbit.com/drbd-user-guide/drbd-guide-9_0-ja/によると
The DRBD project keeps statistics about the usage of various DRBD versions. This is done by contacting an HTTP server every time a new DRBD version is installed on a system. This can be disabled by setting usage-count no;. The default is usage-count ask; which will prompt you every time you upgrade DRBD.
とあるので、デフォルトでは起動時にアップデートがあるか常にチェックするようですので、これを止める（もちろん両ホストで）
# gedit /etc/drbd.d/global_common.conf
global {
　　#usage-count yes;　コメントアウトし
　　usage-count no;　　挿入
後略
ディスクの初期化と、メタデータを作成しますが、これを両ホストでやります。
# dd if=/dev/zero of=/dev/vde bs=1M count=1
これは先頭の１Mバイトをゼロを書き込む
# drbdadm create-md r0
両ホストでdrbdを起動する
[root@smb6 ~]# systemctl start drbd
[root@smb6 ~]# systemctl enable drbd
[root@smb6 ~]# drbdadm status r0
r0 role:Secondary
  disk:Inconsistent
  smb7 connection:ga
もう片方がまだなので、Connecting になっている。もう片方のホストも
[root@smb6 ~]# systemctl start drbd
[root@smb7 ~]# systemctl start drbd
[root@smb6 ~]# drbdadm status r0
r0 role:Secondary
　disk:Inconsistent
　smb6 connection:Connecting
両ホストともSecondaryなのでConnecting になっている。
で、smb6で
# drbdadm primary –force r0
# drbdadm status r0
r0 role:Primary
　disk:UpToDate
　smb7 role:Secondary
　　replication:SyncSource peer-disk:Inconsistent done:0.04
これでsmb6がprimaryになり、同期が始まった。私の場合はディスクのサイズが700GiBもあるので同期が終わるのに時間がかかる。時々 drbdadm status r0を見ながら同期が終了するのを待つ。コーヒーでも飲みながら少し休憩。このステイタスの最後の Done:10.55 が同期が終了したパーセントなのでそれでどれ位、時間がかかるか見当がつく。

注：# drbdadm up r0
をやった時、過去にDRBDを作成している場合、下記のエラーが表示されることがあります
new-minor r0 0 0: sysfs node ‘/sys/devices/virtual/block/drbd0’ (already? still?) exists
r0: Failure: (161) Minor or volume exists already (delete it first)
Command ‘drbdsetup new-minor r0 0 0’ terminated with exit code 10
このエラーの対処方法はhttps://www.bigbang.mydns.jp/drbd-x.htmにありますので参考にしてください。

物理的に違うkvmのサブホストを使用
ホスト名：smb6, IP: 192.168.0.66
ホスト名：smb7, IP: 192.168.0.67
仮想IP: 192.168.0.65
まずは https://www.server-world.info/query?os=CentOS_Stream_9&p=pacemaker&f=1を参考に進めていく。
# dnf –enablerepo=highavailability -y install pacemaker pcs
とインストールが終わった所で、何も設定せず対抗するサブホストにここを参考にしてサブホストにコピーする。さもないとhttps://www.kinryo.net/?p=3602のようにトラブル。
ホスト名で設定していくので
# gedit /etc/hosts
の最後に
192.168.0.66  smb6 smb6.inpac.jp
192.168.0.67  smb7 smb7.inpac.jp
を追記し保存。これを両ホストに設定
次に設定がダブっているので（IPやhostname)、https://www.kinryo.net/?p=2529を参考に変更してください。ただしUUIDの変更は出来なかったので、変更していない。/grub2/grub.cfgにあるUUIDを全部変更してもオリジナルのUUIDが見つからないと言われブート出来なかった！！そして再起動しておく
pcsdを起動して、パスワードの設定をする
# systemctl enable –now pcsd
# passwd hacluster
そして、設定したいパスワードを2回入力。これを両方のサブホストで行う。

ここからはオリジナルのサブホストのsmb6での作業
# pcs host auth smb6 smb7
Username: hacluster
Password:
smb7: Authorized
smb6: Authorized
ユーザーを聞かれるので hacluster パスワードは設定した物。
# pcs cluster setup mycluster –force smb6 smb7
結果の表示は長いので省略(最後にCluster has been successfully set up.が表示される筈)。次にクラスターをスタートし
# pcs cluster start –all
smb6: Starting Cluster…
smb7: Starting Cluster…
起動後にスタートさせる
# pcs cluster enable –all
smb6: Cluster Enabled
smb7: Cluster Enabled
# pcs status
Cluster name: mycluster

WARNINGS:
No stonith devices and stonith-enabled is not false

Status of pacemakerd: ‘Pacemaker is running’ (last updated 2023-10-23 19:53:50 +09:00)
Cluster Summary:
　* Stack: corosync
　* Current DC: smb6 (version 2.1.5-9.el9_2.3.alma.1-a3f44794f94) – partition with quorum
　* Last updated: Mon Oct 23 19:53:50 2023
　* Last change: Mon Oct 23 19:38:00 2023 by hacluster via crmd on smb6
　* 2 nodes configured
　* 0 resource instances configured

Node List:
　* Online: [ smb6 smb7 ]

Full List of Resources:
　* No resources

Daemon Status:
　corosync: active/enabled
　pacemaker: active/enabled
　pcsd: active/enabled
corosync もチェックしておく。
# pcs status corosync
Membership information
———————-
　　Nodeid 　Votes Name
　　1 　　　　1 smb6 (local)
　　2 　　　　1 smb7
2ノード構成のためquorumを無効化
# pcs property set no-quorum-policy=ignore
No stonith devicesとワーニングが出ているので、その対処。stonithを無効化(stonithとはShoot The Other Node In The Headの略称で、監視対象ノードに異常が発生した場合に強制的に停止/再起動させることができる。ただし専用のハードがいる）
# pcs property set stonith-enabled=false

次に仮想IP: 192.168.0.65のチェック
# pcs resource create VIPcheck ocf:heartbeat:IPaddr2 ip=192.168.0.65 cidr_netmask=24 op monitor interval=10s
出来たかチェック
# pcs status
前略
Full List of Resources:
　* VIPcheck (ocf:heartbeat:IPaddr2): Started smb6
後略

そしてDRBDのインストールへ