InfiniBandで遊んでみた(Ethernet over InfiniBandしてみる)

By のじみ, 2016年4月22日


今回のネタはInfiniBandです。InfiniBandというとスーパーコンピュータの相互接続などにも用いられている高速なインターフェイスです。実効の転送速度はSDRで8Gbps,DDRでは16Gbps,QDRでは32Gbpsで双方向の転送速度が可能です。今回は中古で安価になってきたSDRのHCAを入手してテストを行ってみました。

今回使うのはHP 380298-B21というMellanox MHEA28-1TCのOEM品。

参考データ:http://www.mellanox.com/related-docs/prod_adapter_cards/PB_InfiniHostIII_EX_Card.pdf

IMG_2188

PCI Express x8接続で2ポートのモノ。

ドライバのダウンロードはMellanox公式から。最新のInfiniBand用の物では今回扱うような古いInfiniHost III Exなどのシリーズには対応していないのでMLNX WinOF VPI MSI v2.1.3 for x64 Platformsを利用。

ScreenShot-20160421211336

ちゃんと認識するとこんな感じに。SFF-8470のケーブルで2台のマシンを接続。ちなみにInfiniBandのコネクタには種類がありますが今回用いたSFF-8470のラッチタイプケーブルだとこんな感じに。

IMG_2183

ドライバをインストールし、カードを正常に認識、あとはOpenSMというサブネットマネージャーを起動させるだけで通常のネットワーク接続と同様に表示されます。OpenSMはドライバをインストールしたときに入っています。手動でIPv4アドレスとサブネットマスクを設定したら通信ができるようになりました。

ScreenShot-20160421214206

一応物理的には10Gbpsでリンクしていますがデータの実効値は8Gbpsです。

iperfで実効速度を測定してみました。ちなみに使用したマシンはメイン(Core i5 4440)と余っていたジャンク同様のCeleron DC E1200のマシンだったのでもしかするとネックになっていたかも?

ScreenShot-20160421220121

よくて2Gbps軽く超える程度。長時間測定してみると…

ScreenShot-20160421220333

GbEよりは速いけれどなんとも言えない感じ…とりあえず組んでやってみたという程度なのでいろいろチューニングで改善するのかもしれませんが…

メリットを挙げるとすればGbEよりは高速、低遅延(らしい)、性能の割に安い(?)、スーパーコンピュータやデータセンターみたいな接続方式を使ってるという自己満足が得られるという程度でしょうか…

デメリットはヤフオクやeBayを使わないと入手しづらい、長いケーブルの入手性が悪い(1mや3mばかりでそれを超えると光ファイバーになってくる),スイッチは高い、サブネットマネージャーがネットワーク内に必要であるなど…

PCIeを1本埋めてSDRのInfiniBand入れるくらいなら10GbE使ったほうが幸せになれるんじゃないかと思います。

参考

InfinibandでLiveMigration -part1- | Unlimited Root

Infiniband hack-a-thon #2 Windows班まとめ資料 Windows Server 2012 + FDR Inf…

ib/MHGA28-1TC – Chaperone

Windows Server 2012 で InfiniBand を使いましょう – あれとアレは混ぜるな危険

What do you think?

コメントを残す

メールアドレスが公開されることはありません。


*