openfiler の load average が高い (1) – root cause ?

openfiler を利用していて load average の値が 10 を超えているのに気付いた。Google で検索すると、どうも samba に原因があるのではないか nfs だと問題ないしというやり取りのあと結局解決にいたっていないようだ。確かに大量のファイルを smb 共有フォルダ上に書き込みを行う処理を行っているので、samba を止めると事象が改善するということになるのかもしれないが、停止するわけにもいかないので、原因調査。ちなみに、openfiler は 2node クラスタ構成で drbd を利用しており active 側のみ負荷が高い状況。

1. top で状況確認
top 起動後、i を押すと以下のような表示になる。updatedb というプロセスがずっと起動している。

top - 02:05:15 up 70 days, 23:54, 1 user, load average: 8.57, 10.87, 12.75
Tasks: 323 total, 3 running, 320 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us,100.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16185672k total, 15052280k used, 1133392k free, 128436k buffers
Swap: 1052248k total, 0k used, 1052248k free, 11773748k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
32440 ofguest 20 0 89104 9208 7256 D 28.5 0.1 3:40.27 smbd
5336 root 39 19 9760 4376 560 D 0.0 0.0 56:24.03 updatedb
4787 root 39 19 9756 4360 548 D 18.6 0.0 79:09.06 updatedb
15099 root 39 19 9736 4340 544 R 20.6 0.0 134:53.69 updatedb
19160 root 39 19 8588 3116 544 R 16.9 0.0 69:39.46 updatedb
26164 root 39 19 8588 3116 544 D 0.0 0.0 62:48.87 updatedb
442 root 20 0 11044 1512 980 R 0.7 0.0 0:01.18 top
14292 root 20 0 0 0 0 D 14.6 0.0 324:44.51 btrfs-transacti

2. lsof で updatedb が開いているファイルをチェック
updatedb は samba でマウントしている領域へ書き込まれたファイルの情報をインデックスしているようです。ファイルサイズの小さ目なファイルを大量に置く用途では、ext4 ではすぐ inode 枯渇になるので、btrfs を利用しているのですが、ここもインデックス対象になっているのでこれを除外してあげれば負荷低減が期待できそう。

[[email protected] ~]# lsof | grep updatedb
updatedb 4787 root cwd DIR 0,25 172 1719115 /mnt/data/neoflow.jp/***/***/2c1fa38fc6175179b7357fecfbb2465bce6dadde
updatedb 4787 root rtd DIR 8,1 4096 2 /
updatedb 4787 root txt REG 8,1 41543 993458 /usr/bin/slocate
updatedb 4787 root mem REG 0,0 0 [heap] (stat: No such file or directory)
updatedb 4787 root mem REG 8,1 55944 163857 /lib64/libnss_files-2.12.so
updatedb 4787 root mem REG 8,1 1621488 163961 /lib64/libc-2.12.so
updatedb 4787 root mem REG 8,1 137072 163988 /lib64/ld-2.12.so
updatedb 4787 root 0r FIFO 0,8 20960098 pipe
updatedb 4787 root 1w FIFO 0,8 20960687 pipe
updatedb 4787 root 2w FIFO 0,8 20960687 pipe
updatedb 4787 root 3r REG 8,1 209 67089 /etc/updatedb.conf
updatedb 4787 root 4r REG 8,1 612 131493 /etc/mtab
updatedb 4787 root 5w REG 8,1 408092672 524294 /var/lib/slocate/slocate.db.stf
updatedb 4787 root 6r DIR 8,1 4096 2 /
updatedb 4787 root 7r DIR 0,25 172 1719115 /mnt/data/neoflow.jp/***/***/2c1fa38fc6175179b7357fecfbb2465bce6dadde
updatedb 5336 root cwd DIR 0,25 172 1719115 /mnt/data/neoflow.jp/***/***/2c1fa38fc6175179b7357fecfbb2465bce6dadde
updatedb 5336 root rtd DIR 8,1 4096 2 /
updatedb 5336 root txt REG 8,1 41543 993458 /usr/bin/slocate
updatedb 5336 root mem REG 0,0 0 [heap] (stat: No such file or directory)
updatedb 5336 root mem REG 8,1 55944 163857 /lib64/libnss_files-2.12.so
updatedb 5336 root mem REG 8,1 1621488 163961 /lib64/libc-2.12.so
updatedb 5336 root mem REG 8,1 137072 163988 /lib64/ld-2.12.so
updatedb 5336 root 0r FIFO 0,8 21287356 pipe
updatedb 5336 root 1w FIFO 0,8 21288731 pipe
updatedb 5336 root 2w FIFO 0,8 21288731 pipe
updatedb 5336 root 3r REG 8,1 209 67089 /etc/updatedb.conf
updatedb 5336 root 4r REG 8,1 612 131493 /etc/mtab
updatedb 5336 root 5w REG 8,1 408092672 524294 /var/lib/slocate/slocate.db.stf
updatedb 5336 root 6r DIR 8,1 4096 2 /
updatedb 5336 root 7r DIR 0,25 172 1719115 /mnt/data/neoflow.jp/***/***/2c1fa38fc6175179b7357fecfbb2465bce6dadde
updatedb 15099 root cwd DIR 0,25 18574 16390986 /mnt/data/neoflow.jp/***/***/73f5c1d3-5/feeds/70312fd82e90586350aa7a6268bf967b
updatedb 15099 root rtd DIR 8,1 4096 2 /
updatedb 15099 root txt REG 8,1 41543 993458 /usr/bin/slocate
updatedb 15099 root mem REG 0,0 0 [heap] (stat: No such file or directory)
updatedb 15099 root mem REG 8,1 55944 163857 /lib64/libnss_files-2.12.so
updatedb 15099 root mem REG 8,1 1621488 163961 /lib64/libc-2.12.so
updatedb 15099 root mem REG 8,1 137072 163988 /lib64/ld-2.12.so
updatedb 15099 root 0r FIFO 0,8 20750529 pipe
updatedb 15099 root 1w FIFO 0,8 20751060 pipe
updatedb 15099 root 2w FIFO 0,8 20751060 pipe
updatedb 15099 root 3r REG 8,1 209 67089 /etc/updatedb.conf
updatedb 15099 root 4r REG 8,1 612 131493 /etc/mtab
updatedb 15099 root 5w REG 8,1 408092672 524294 /var/lib/slocate/slocate.db.stf
updatedb 15099 root 6r DIR 8,1 4096 2 /
updatedb 15099 root 7r DIR 0,25 18574 16390986 /mnt/data/neoflow.jp/***/***/73f5c1d3-5/feeds/70312fd82e90586350aa7a6268bf967b
updatedb 19160 root cwd DIR 0,25 7400 13688779 /mnt/data/neoflow.jp/***/***/96ddd9d-8/feeds/79f9496f0949abdd5572b159aec68f49/1329881651
updatedb 19160 root rtd DIR 8,1 4096 2 /
updatedb 19160 root txt REG 8,1 41543 993458 /usr/bin/slocate
updatedb 19160 root mem REG 0,0 0 [heap] (stat: No such file or directory)
updatedb 19160 root mem REG 8,1 55944 163857 /lib64/libnss_files-2.12.so
updatedb 19160 root mem REG 8,1 1621488 163961 /lib64/libc-2.12.so
updatedb 19160 root mem REG 8,1 137072 163988 /lib64/ld-2.12.so
updatedb 19160 root 0r FIFO 0,8 20470476 pipe
updatedb 19160 root 1w FIFO 0,8 20470959 pipe
updatedb 19160 root 2w FIFO 0,8 20470959 pipe
updatedb 19160 root 3r REG 8,1 209 67089 /etc/updatedb.conf
updatedb 19160 root 4r REG 8,1 612 131493 /etc/mtab
updatedb 19160 root 5w REG 8,1 408092672 524294 /var/lib/slocate/slocate.db.stf
updatedb 19160 root 6r DIR 8,1 4096 2 /
updatedb 19160 root 7r DIR 0,25 7400 13688779 /mnt/data/neoflow.jp/***/***/96ddd9d-8/feeds/79f9496f0949abdd5572b159aec68f49/1329881651
updatedb 26164 root cwd DIR 0,25 7400 13688779 /mnt/data/neoflow.jp/***/***/96ddd9d-8/feeds/79f9496f0949abdd5572b159aec68f49/1329881651
updatedb 26164 root rtd DIR 8,1 4096 2 /
updatedb 26164 root txt REG 8,1 41543 993458 /usr/bin/slocate
updatedb 26164 root mem REG 0,0 0 [heap] (stat: No such file or directory)
updatedb 26164 root mem REG 8,1 55944 163857 /lib64/libnss_files-2.12.so
updatedb 26164 root mem REG 8,1 1621488 163961 /lib64/libc-2.12.so
updatedb 26164 root mem REG 8,1 137072 163988 /lib64/ld-2.12.so
updatedb 26164 root 0r FIFO 0,8 20220006 pipe
updatedb 26164 root 1w FIFO 0,8 20220540 pipe
updatedb 26164 root 2w FIFO 0,8 20220540 pipe
updatedb 26164 root 3r REG 8,1 209 67089 /etc/updatedb.conf
updatedb 26164 root 4r REG 8,1 612 131493 /etc/mtab
updatedb 26164 root 5w REG 8,1 408092672 524294 /var/lib/slocate/slocate.db.stf
updatedb 26164 root 6r DIR 8,1 4096 2 /
updatedb 26164 root 7r DIR 0,25 7400 13688779 /mnt/data/neoflow.jp/***/***/96ddd9d-8/feeds/79f9496f0949abdd5572b159aec68f49/1329881651

スポンサーリンク

シェアする

フォローする

スポンサーリンク