InfiniBand
InfiniBand（インフィニバンド）とは、非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと[1]。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシである点も特徴である[2]。
概要
InfiniBandは、ファイバーチャネル、PCI Express, Serial ATA等の最近のインターコネクトと同様、ポイント・ツー・ポイントの双方向シリアル接続である。複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。複数の転送レートをサポートする他、PCI Expressのように複数のチャネルを束ねて利用することで高速な帯域を実現することができる。
転送レート
Single Data Rate (SDR) のInfiniBand レーン一本は最大2.5 Gbps双方向の転送速度を持つ。Double Data Rate (DDR) およびQuad Data Rate (QDR) は、1レーンあたりそれぞれ 5 Gbps, 10 Gbps双方向の転送速度を実現する。エンコーディングの変更されたFourteen Data Rate (FDR) は、1レーンあたり14.0625 Gbps双方向の転送速度を実現する。
SDR，DDR，QDRには8b/10b変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。よって実効転送レートはそれぞれ 2 Gbps, 4 Gbps, 8 Gbpsとなる。一方、FDRには64b/66b変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。よって実効転送レートは 13.6 Gbpsとなる。
InfiniBandの接続を4本 (4X) もしくは12本 (12X) 束ねて高い転送速度を実現することができる。12X においてHDRでデータ転送を行った場合、618.75 Gbps (raw) あるいは600 Gbps（データ転送）となる。2018年11月現在、HDRに対応した製品が入手可能である。12Xは主に、コンピュータ・クラスターやスーパーコンピュータのノード間接続やネットワークスイッチ間接続に用いられる。
また，複数のベンダから構成された業界団体「InfiniBand Trade Association」によるロードマップでは今後、2020年後半にHDRのさらに2倍の性能となるNext Data Rate (NDR)が登場する予定であり、その後さらにXDR（名称不明）が提供される計画がある[3]。
| SDR | DDR | QDR | FDR | EDR | HDR | NDR | XDR | |||
|---|---|---|---|---|---|---|---|---|---|---|
| スループット (Gbit/s) | 1レーン | 理論値 | 2.5[4] | 5[4] | 10[4] | 14.0625[5] | 25.78125[6] | 53.125[7] | 106.25[7] | 255前後? |
| 実効値 | 2 | 4 | 8 | 13.64 | 25 | 50 | 100 | 250? | ||
| 2レーン | 未対応 | 未対応 | 未対応 | 未対応 | 未対応 | 100 | 200 | 500? | ||
| 4レーン | 8 | 16 | 32 | 54.55 | 100 | 200 | 400 | 1000? | ||
| 8レーン | 16 | 32 | 64 | 109.09 | 200 | 400 | 800 | 2000? | ||
| 12レーン | 24 | 48 | 96 | 163.64 | 300 | 600 | 1200 | 3000? | ||
| エンコーディング (bit) | 8/10[5] | 64/66[8] | ? | 未定 | ||||||
| 規格発行年 | 2000[4] | 2004[4] | 2004[4] | 2012[6] | 2012[6] | 2020[9] | 2021[7] | 2023以降 | ||
レイテンシ
レイテンシはSDR スイッチでは200ナノ秒、DDRスイッチでは140ナノ秒、QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA (Host Channel Adapter) である ConnectX を用いた場合のMPIレイテンシで1.07マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。
InfiniBand は RDMA（Remote Direct Memory Access）をサポートしており、CPU オーバヘッドを低く抑えることが可能である[2]。RDMA 命令のレイテンシは、1マイクロ秒以下である（Mellanox 社 ConnectX の場合）。参考までに、DDR3 SDRAM のメモリレイテンシは0.1マイクロ秒（100ナノ秒）程度である。
経緯
1998年後半、基幹業務に使用される各種サーバの計算性能は、ムーアの法則に従い、ほぼ18カ月に2倍のペースで高速化されてきていた。しかし、サーバ内のバスアーキテクチャは機械・電気的制限により、その進化に追い付けず、コンピュータシステム性能向上のボトルネックとなっていた。
そこで、インテルを中心にスイッチ型ファブリックインターコネクトテクノロジをベースとした新しいI/OアーキテクチャとしてNGIO (Next Generation I/O)が提唱され、規格定義を開始した[10]。一方、タンデムコンピューターズ社のServerNetの流れを汲むCompaq（HPに吸収合併された）、HP社、IBM社の3社は、同様の技術をサポートしたFIO (Future I/O)を提唱した[10]。
ところが、1999年のIDF Spring 1999において、NGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的には両陣営が歩み寄り、SIO (System I/O)として統合されることとなった[10]。
その後、2000年1月に、SIOはInfiniBandに改称された[10]。
2000年10月には、InfiniBand Trade Associationにより、規格書が提出され、統一的な規格として成立した。2021年現在の規格は、InfiniBand Architecture Specification Release 1.5[7]。
当初本規格のリーダ的存在だったインテルが撤退を表明し、動向が注目されたが、その後HPC分野を中心に広く利用されるようになっている[10]。
現状
多くの計算機ノードを接続して構成されるHPC 業界では、InfiniBandのシェアは高い。2015年11月時点でTOP500ではもっとも使われている接続方法となっていた（Mellanox調べ）[11]。しかしその後中国のシステムを中心にイーサネットの採用が増え2017年11月時点ではInfiniBandの採用数は減少し2番手に転落している[12]。
各ベンダのブレード系サーバやグリッド系サーバの接続でオプションとして用意されている[13]。
日本での使用例としては、ヒューレット・パッカードのサーバを使用してNECが構築した東京工業大学のPCクラスタTSUBAME2.0や、京都大学や筑波大学のT2Kオープンスパコンが挙げられる[14]。
ストレージでは、NetApp、ピュア・ストレージ、EMCといったメーカーの製品でホストI/Oのオプションとして用意されている。
脚注
- “伊勢雅英のInfiniBand探検隊 － 【前編】InfiniBandっていったい何？”. 2021年10月18日閲覧。
- “伊勢雅英のInfiniBand探検隊 － 【中編】HPCCで高いパフォーマンスを発揮するInfiniBand”. 2021年10月18日閲覧。
- “InfiniBand Roadmap - Advancing InfiniBand” (英語). www.infinibandta.org. 2018年11月23日閲覧。
- 大原雄介 (2019年10月29日). “SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加サポート”. INTERNET Watch. InfiniBandの現在. 2021年10月18日閲覧。
- “InfiniBand探検隊リターンズ【前編】～2012年現在も進化を続けるInfiniBandの最新状況”. 2021年10月18日閲覧。
- 大原雄介 (2019年11月26日). “14GT/secの「InfiniBand FDR」と25GT/secの「InfiniBand EDR」、64b66b採用によるエラー増には「FEC」で対応”. INTERNET Watch. InfiniBandの現在. 2021年10月18日閲覧。
- “What’s New in Volume 1 Release 1.5” (PPT). 2021年10月18日閲覧。
- InfiniBand Trade Association 2020, § 5.3 BLOCK ENCODING (64B/66B).
- "IBTA Enhances Data Center Performance and Management with New InfiniBand Architecture Specification Releases - InfiniBand Trade Association" (Press release). 2021年10月18日閲覧。
- 大原雄介 (2019年9月3日). “汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは？”. INTERNET Watch. InfiniBandの現在. 2019年9月14日閲覧。
- “Interconnect Your FutureEnabling the Best Datacenter Return on Investment” (PDF). Mellanox Technologies (2015年11月). 2015年11月23日閲覧。
- “TOP500 Meanderings: InfiniBand Fends Off Supercomputing Challengers” (2015年11月). 2019年4月17日閲覧。
- 日本電気Express 5800（MellanoxのOEM）、富士通PRIMEQUEST（MellanoxのOEM）、レノボBladeCenter（MellanoxのOEM）、デル（MellanoxのOEM）、ヒューレット・パッカード（MellanoxのOEM）など
- 同じT2Kでも東京大学のシステムはInfiniBandではなく、Myrinetを採用している
参考文献
- InfiniBand Trade Association (2020), InfiniBand Architecture Specification Volume 2, Release 1.4 2021年10月18日閲覧。
