InfiniBand
InfiniBandとは、高い信頼性・可用性・保守性(RAS)を持ち、スループット・レイテンシ共に高速なインターコネクトです。
インターネット上の情報を見て回ったところ、なんとなくですが、Mellanox社製の製品を利用している例が多い気がします。
構成部品
-
Host Channel Adapter
InfiniBandのインターフェースカードはHost Channel Adapter(HCA)と呼び、イーサネットで言うところのNICにあたります。
HCAは2～3世代前の中古品がインターネットオークションなどで多く出回っており、3,000～8,000円程度で手に入れることができます。また、メーカーによってアダプタ形状が異なる場合があるため、基本的には同じ製品で構成する方が良さそうです。
-
InfiniBand ケーブル
HCAとHCA、またはHCAとIBスイッチを接続します。
イーサネットケーブルと比較すると太く、取り回しがしづらいため注意が必要です。
また、後述の転送レートとレーン数の仕様と、アダプターの形状を考慮して選択する必要があります。 -
InfiniBand スイッチ
イーサネットで言うところのスイッチングハブにあたります。
コンピュータ同士の1対1接続ではなく、複数のコンピュータを同じネットワークに接続する場合に使用します。
こちらもインターネットオークションなどに出品されていますが、HCAと比較すると高価であるため、自宅での利用例は少ないようです。
スループットとレイテンシ
InfiniBandは、複数のレーンを束ねて利用することができます。
レーン数は1, 4, 8, 12レーンのものが存在しますが、4レーンの製品が多く出回っているようです。
また、転送レートは2019/12現在で存在する規格で、下記のものがあります。
| 転送レート | 1レーン辺りのスループット | 規格策定時期 |
|---|---|---|
| Single Data Rate(SDR) | 2.0 Gbps | 2000年 |
| Dauble Data Rate(DDR) | 4.0 Gbps | 2005年 |
| Quad Data Rate(QDR) | 8.0 Gbps | 2007年 |
| Fourteen Data Rate(FDR) | 13.64 Gbps | 2011年 |
| Enhanced Data Rate(EDR) | 25.0 Gbps | 2014年 |
| High Data Rate(HDR) | 50.0 Gbps | 2017年 |
RDMAのサポート
OS/CPUを経由せず、リモートコンピュータのメモリへ直接データ送受信できる機能であるRemote Direct Memory Access(RDMA)をサポートしています。