GfarmとLustre

GfarmとLustreの違いは何か？

• ローカルディスクの性能をフルに活用するのがGfarm
• 複数ノードを束ねることで，ネットワーク性能をフルに活用するのがLustre

少しディスクを多めに搭載した汎用サーバの場合，数百MB/s程度の性能はリーズナブルな価格で出すことができます．これを使って，Gfarmを構築した場合，ローカルアクセスはディスクの性能を発揮できますが，ネットワークはまだたかだか1Gbpsなので，リモートアクセス（ローカルディスクにデータが無かった場合）の場合，125MB/s(=1 Gbps)が限界になってしまいます．

一方で，各ノード10GbEを持つことも，非現実的ではなくなってきました．この場合，単純に８で割ると，1.25GB/sです．こうなってくると，ローカルディスクのほうが追いつかなくなります．例えば，500MB/sの性能を持ったローカルディスクを３つ持ってきて，Lustreを構築すると，1.25GB/s（ネットワークで頭打ち）のI/O性能を得ることも可能になります．

もう一度，ディスクに戻ると，SATA 6.0Gbpsに対応したSSDが登場したことで，余り大きくは出来ませんが，SSD x 8のRAID位で1.0GB/sは出せそうです．

もうひとつの比較のポイントは，冗長性．どちらもありますが，

• Gfarmは，ファイルやディレクトリ単位で複製（レプリカ）を作成できるのに対して
• Lustreは，ファイルシステムノードレベルで複製（２重化）する必要があります（最新情報は未確認）

という違いがあります．最新のLustreでどうなっているかは確認する必要がありますが，ともかく全てのデータを２重化するのであれば，GfarmでもLustreでも差はありませんが，特定のファイルだけ複製を多くしたいなど，個々のファイルやディレクトリ単位で冗長性の数を変更したい場合には，Gfarmを選択することになります．

※ SSDなどを使ったローカルストレージも面倒なのでディスクと表記します．
※ ローカルディスクにはRaidカードの性能も加味してください