Asrock C2550D4I+WD40EZRXでのZFSパフォーマンス

そろそろ前のファイルサーバが手狭になってきたので,ファイルサーバの更新を予定。去年の年末から少しずつ部品を買い集めて,ほぼ組み上がったので,ベンチマーク中。

構成は以下のとおり

【CPU】Avoton C2550
【M/B】ASRock C2550D4I
【RAM】DDR3-1600 8GBx2 (SMD-8GB28EC2P-16K)
【VGA】ASPEED
【HDD】ADATA S511 120GB,WD40EZRX*6
【光学】無し
【LAN】Intel i210
【電源】FSP 300-60GHS
【OS】FreeBSD 10.0-STABLE #20 r262794
【ケース】DS380(冷却ファン*3)

消費電力はidle 55W,起動時最大100W,ベンチマーク中最大72W。

f:id:smectic_g:20140315142148j:image:medium

ケースのD380がかなり狭苦しいのとなんか3.5inch HDDケージの接続の安定性があんまり良くないのではっきり微妙。さっきもHDDが一つ認識されなくてかなり慌てた。

この写真だとあまり伝わらないけど,ケーブルの取り回しはかなり微妙。フラットケーブルだと,マザーボード側から出てるキシメンと3.5inchケージが干渉するので,ラウンドケーブルを使うべき。HDD側も全部L字にするとケージへの電源コネクタが干渉するが,全部ストレートにすると反対側にある2.5inchのSATAコネクタと干渉する。2.5inchのSATAをL字にして,3.5inch側は全部ストレートにするのが正解かもしれない。どちらにしてもかなり窮屈。

あと,メンテナンス性という意味では,3.5inchケージを取り外さないと2.5inchケージに触れないし,マザーボードにもアクセス出来ないのはかなりめんどくさい。

ケースへの愚痴はここまでで,ZFSにした際のベンチマーク

benchmarkはbonnie++で実施して,block readおよびwriteを10回測定して,平均と標準偏差をプロット。具体的なコードはこれ。4TB HDD*6はSATA M0-M5に接続*1

まずは,普通に/dev/ada*をそのまま認識させた時の結果

f:id:smectic_g:20140315143148p:image:w360

かなり極端。writeは300MB/sでリミット。readも540MB/sくらいでリミットがかかる。これは,ASRock C2550D4Iに搭載されているMarvell SE9172とMarvell SE9230が多分原因なので,C2550内臓のSATAと分散して接続すればもう少しパフォーマンスの上積みが期待できるかもしれないが,何も考えずにつなぎ替えると起動ディスクがマウントできなくなるので,テストはfstabをlabelベースに書き換えてからかなあ。

次に,全部を

gnop -S 4096 /dev/ada*

で,強制的に4kセクターとして認識させた場合

f:id:smectic_g:20140315143147p:image:w360

次はgnopありなしでの比較。前やった時には結構変わったのだけど,この環境では殆ど変わらないので不要みたい。

f:id:smectic_g:20140315143146p:image:w360

*1:FreeBSD10での認識順序はSATA M0-M5→SATA 0-2となるので,何も考えずにC2550側のSATA0に起動ディスクを搭載して設定等をした後にHDDをつなぐと,ada0からada6に移って起動しなくなってはまるので注意。