一、什么是 GPUDirect? RDMA？

GPUDirect RDMA(遠程直接內存訪問)能讓用戶在 GPU 與其他設備之間快速傳輸數據，且無需 CPU 本身或任何主機內存參與。

在傳統數據傳輸場景中，數據會從 GPU 傳輸到系統內存，再到網卡，最終抵達目標設備。這一過程需要對數據進行多次復制，且需要 CPU 參與，會增加延遲并降低整體系統效率。相比之下，GPUDirect RDMA 對數據傳輸流程進行了優化，數據可直接從 GPU 內存區域傳輸至網卡或其他支持 RDMA 的設備，無需經過系統內存或 CPU。這種直達輔助設備內存的傳輸路徑，能顯著降低延遲，并將 CPU 解放出來處理其他任務。

核心優勢

• • 更低延遲:無需經過 CPU 或系統內存，數據傳輸耗時極少。
• • 更高帶寬:消除不必要的數據復制，系統可實現更高的數據吞吐量。
• • 減少CPU開銷:將 CPU 排除在數據傳輸之外，使其能處理其他任務 —— 這在并行計算環境中尤為重要。

以太網版本特別適用于高性能計算(HPC)、數據分析和人工智能工作負載，專為特斯拉(Tesla)系列和 Quadro 系列GPU設計。

二、GPUDirect RDMA 設計原理

實現GPU內存與其他支持 RDMA 的設備之間直接數據傳輸，需滿足硬件、軟件及系統層面的多重要求，其工作流程與 CUDA 集成方式如下:

硬件層面集成要求

• • GPU與網卡:支持RDMA的網卡之間需具備專用硬件集成，支持PCI Express(PCIe)，且具備NV端到端(P2P)內存訪問和通信能力。
• • 內存映射:通過內存映射I/O(MMIO)和高級PCIe 特性對GPU內存進行映射，使網卡無需借助系統內存即可直接訪問 GPU內存。
• • 數據傳輸一致性:硬件需確保所有組件間的數據同步準確無誤。

軟件棧要求

• • 統一計算設備架構(CUDA)驅動:提供關鍵的內存映射和直接數據傳輸能力，是支持 GPUDirect RDMA 的核心。
• • RDMA 接口(API):系統需支持 RDMA 技術，通常依賴 OpenFabrics Enterprise Distribution(OFED)等軟件棧。
• • 操作系統支持:Linux 系統因其對高性能計算(HPC)和 GPU 計算的強大支持，是常用選擇。

系統要求

• • 兼容的 NVIDIA GPU:通常為數據中心級高性能 GPU，如 NVIDIA A100、V100 或同類型號。
• • 支持 RDMA 的網卡:需配備支持 RDMA 的網絡接口卡(NIC)，支持 InfiniBand、RoCE 或 iWARP 協議。
• • PCIe 配置:系統需支持具備端到端(P2P)通信能力的 PCIe 總線。
• • 兼容的主板和 CPU:主板需提供足夠的 PCIe 通道和帶寬，CPU 需具備足夠性能以高效管理整個系統。
• • 軟件環境:需使用 Linux 發行版(如 Ubuntu、CentOS 或紅帽)，且系統內核模塊需支持 RDMA 和 NVIDIA GPUDirect RDMA 驅動。
• • 應用程序支持:應用程序需經過專門設計或修改，使用支持 RDMA 和 GPU 直接內存訪問的特定庫或接口。

工作流程

• • 注冊:通過 RDMA 網卡完成內存注冊，使內存可用于直接傳輸。
• • 啟動:應用程序或進程通過 RDMA 接口觸發數據傳輸。
• • 直接數據傳輸:網卡通過 PCIe 總線直接讀取或寫入 GPU 內存，繞開 CPU 和系統內存。
• • 完成處理:應用程序收到傳輸完成通知后，GPU 或其他進程即可使用該數據。

與CUDA集成

GPUDirect RDMA CUDA 將 RDMA 技術集成到 NVIDIA 并行計算平臺及編程模型(CUDA)中，實現基于 CUDA 的應用程序與支持 RDMA 的設備之間的直接交互。

工作原理

CUDA 應用程序可通過特定的 CUDA 接口和庫利用 GPUDirect RDMA 功能，直接從 GPU 啟動和管理 RDMA 操作，數據傳輸無需 CPU 介入。例如，CUDA 應用程序可通過 RDMA 接口將 GPU 內存注冊到支持 RDMA 的網卡中，之后網卡可直接讀取或寫入 GPU 內存，實現高效數據交換。

應用場景

• • 分布式機器學習的多節點訓練環境。
• • 高性能計算(HPC)環境中的科學模擬。
• • 對實時數據處理有高要求的應用，如金融交易系統或實時視頻分析。

三、GPUDirect RDMA 基準測試

GPUDirect RDMA 的核心基準測試指標及影響因素如下:

典型基準測試結果

• • 延遲:對于小數據包，延遲可低至 2-5 微秒。
• • 帶寬:根據PCIe版本和具體硬件配置，帶寬范圍通常為 10-25 GB/s。
• • 數據包大小與延遲/吞吐量的關系:高數據包傳輸速率(尤其是小數據)表明系統每秒可高效處理大量事務，對分布式工作負載至關重要。

影響測試結果的因素

• • PCIe 版本:PCIe 4.0 相比 3.0 提供更高帶寬，可提升性能。
• • GPU 和網卡型號:具體型號及其固件和驅動版本會顯著影響性能。
• • 系統配置:整體系統設置(包括 GPU 數量、網絡拓撲和 CPU 架構)會影響測試結果。

四、GPUDirect RDMA 應用實例

GPUDirect RDMA 廣泛應用于對延遲優化和數據吞吐量最大化有嚴格要求的各類高性能計算(HPC)和數據密集型應用:

• • 分布式深度學習與人工智能訓練:在大規模深度學習任務中，跨節點 GPU 之間高效共享模型參數和梯度，支持圖像識別、自然語言 處理等任務的深度神經網絡(DNN)訓練。
• • 科學模擬與高性能計算(HPC):氣候建模、流體動力學或分子動力學等場景中，實現不同節點 GPU 之間的粒子數據直接傳輸，加快 復雜分子系統模擬速度。
• • 實時數據分析與金融服務:高頻交易等應用中，超低延遲處理市場數據，提升交易執行速度。
• • 電信與 5G 網絡:快速高效處理視頻流、增強現實和物聯網(IoT)等高速帶寬應用的網絡數據。
• • 自動駕駛與機器人技術:實時處理來自攝像頭、激光雷達(LIDAR)和雷達(RADAR)的傳感器數據，實現目標檢測、路徑規劃等。

五、GPUDirect RDMA 與 GPUDirect Storage 的對比

兩者均能在不增加 CPU 負擔的前提下提升性能，但實現方式存在差異:

特性	GPUDirect RDMA	GPUDirect Storage
核心功能	支持 GPU 與網絡中的其他設備及存儲系統之間的直接內存訪問	專門支持存儲設備與 GPU 內存之間的直接數據傳輸
適用范圍	更寬泛，涵蓋網絡設備與存儲系統	聚焦存儲設備訪問優化
運行依賴	依賴所訪問的設備或存儲位置	不受存儲位置限制

六、GPUDirect RDMA 與 NVLink 的對比

兩者均能增強 GPU 系統的數據傳輸與通信能力，但關鍵差異如下:

特性	GPUDirect RDMA	NVLink
通信總線	通過 PCIe 總線與其他設備直接通信	PCIe 的替代方案，專為同一節點內通信設計
通信范圍	支持 GPU 與網絡中其他設備/遠程 GPU 通信	適用于同一節點內的 GPU 間或 CPU 與 GPU 間通信
性能特點	帶寬相對較低	高速、低延遲，通信速度遠高于 PCIe
核心優勢	跨節點、跨設備的直接數據傳輸	構建 GPU “互聯網絡”，支持多 GPU 間快速共享內存與數據

七、GPUDirect RDMA 的優勢

• • 降低延遲: 數據傳輸繞開 CPU，減少延遲的同時，帶寬可提升 2-8 倍，實現更快的數據訪問、讀寫速度及整體性能提升。
• • 提高吞吐量:優化數據傳輸路徑，提升存儲設備與 GPU 內存之間的吞吐量，增強系統整體效率。
• • 擴展存儲規模:在多 GPU 及分布式計算環境中支持高效數據訪問，滿足大規模應用場景需求。
• • 減少 CPU 負擔:存儲設備與 GPU 內存的直接數據傳輸釋放 CPU 資源，使其可處理其他任務，進一步提升系統整體效率。