昨天，亞馬遜云科技和英偉達(dá)（NVIDIA）宣布，NVIDIA 在 GTC 2024 開發(fā)者大會上最新發(fā)布的 NVIDIA Blackwell 架構(gòu) GPU 即將登陸亞馬遜云科技。

亞馬遜云科技將提供 NVIDIA GB200 Grace Blackwell 超級芯片和 B100 Tensor Core GPU，繼續(xù)擴(kuò)展兩家公司長期以來的戰(zhàn)略合作，為客戶提供安全和先進(jìn)的基礎(chǔ)設(shè)施、軟件和服務(wù)，幫助客戶解鎖新的生成式 AI 能力。

此舉整合了 NVIDIA 和亞馬遜云科技各自的最優(yōu)技術(shù)，包括 NVIDIA 最新的多節(jié)點(diǎn)系統(tǒng)，采用下一代 NVIDIA Blackwell 架構(gòu) GPU 和 AI 軟件、Amazon Nitro 系統(tǒng)和 Amazon KMS 的高級安全性、Elastic Fabric Adapter (EFA) 的 petabit 級網(wǎng)絡(luò)規(guī)模，以及 Amazon EC2 UltraCluster 的超大規(guī)模集群。雙方共同提供的云基礎(chǔ)設(shè)施和計算芯片，對比上一代 Amazon EC2 上的 NVIDIA GPU，客戶能夠更快、大規(guī)模且低成本地構(gòu)建和運(yùn)行實(shí)時推理的萬億參數(shù)大語言模型（LLMs）。

頂流合作，帶來了哪些生成式 AI 領(lǐng)域的全新突破？來跟我們一起劃重點(diǎn)，全方位了解此次雙方深度合作的四大要點(diǎn)！

加速超萬億參數(shù)級大語言模型訓(xùn)練，提升推理性能

亞馬遜云科技將提供 GB200 NVL72 配置的 NVIDIA Blackwell 架構(gòu)。它配備 72 顆 BlackwellGPU 和 36 顆 Grace CPU，通過第五代 NVIDIA NVlink? 互連。當(dāng)與亞馬遜云科技強(qiáng)大的 EFA 網(wǎng)絡(luò)、Amazon Nitro 高級虛擬化系統(tǒng)和 Amazon EC2 UltraClusters 超大規(guī)模集群等技術(shù)結(jié)合時，客戶能夠輕松擴(kuò)展至數(shù)千個 GB200 超級芯片。NVIDIA Blackwell 在亞馬遜云科技上的應(yīng)用，使得該架構(gòu)在應(yīng)對資源密集型和數(shù)萬億參數(shù)語言模型等推理工作負(fù)載加速方面實(shí)現(xiàn)了巨大飛躍。

基于此前搭載 NVIDIA H100 的 AmazonEC2 P5 實(shí)例的成功（這些實(shí)例還通過 AmazonEC2 Capacity Blocks for ML 功能短期提供給客戶），亞馬遜云科技計劃提供配備新 B100GPUs 的 Amazon EC2 實(shí)例，并支持在 Amazon EC2UltraClusters 中部署以加速超大規(guī)模生成式 AI 的訓(xùn)練和推理。GB200 也將在 NVIDIA DGX? Cloud 上可用，這是一個在亞馬遜云科技上雙方共同開發(fā)的 AI 架構(gòu)，為企業(yè)開發(fā)者提供了構(gòu)建和部署先進(jìn)生成式 AI 模型所需的專用基礎(chǔ)設(shè)施和軟件。在亞馬遜云科技上推出的基于 Blackwell 的 DGX Cloud 實(shí)例將加速前沿生成式 AI 和超過 1 萬億參數(shù)的大語言模型的開發(fā)。

Amazon Nitro 系統(tǒng)、Amazon KMS、EFA 加密與 Blackwell 加密技術(shù)緊密集成

隨著 AI 技術(shù)應(yīng)用越來越廣泛，企業(yè)需要確信，在整個訓(xùn)練流程中，他們的數(shù)據(jù)都得到了安全的處理。保護(hù)模型權(quán)重的安全至關(guān)重要，模型權(quán)重是模型在訓(xùn)練過程中學(xué)習(xí)到的參數(shù)，對于模型做出預(yù)測的能力至關(guān)重要。確保模型權(quán)重的安全對保護(hù)客戶的知識產(chǎn)權(quán)、防止模型被篡改以及維護(hù)模型的完整性都是非常重要的。

亞馬遜云科技的 AI 基礎(chǔ)設(shè)施和服務(wù)已經(jīng)實(shí)現(xiàn)了安全特性，使客戶能夠控制其數(shù)據(jù)，并確保數(shù)據(jù)不會與第三方模型提供者共享。Amazon Nitro 系統(tǒng)和 NVIDIA GB200 的結(jié)合將能夠阻止未授權(quán)個體訪問模型權(quán)重，從而把 AI 安全性提升到新的高度。GB200 支持對 GPU 之間 NVlink 連接進(jìn)行物理加密，以及對 Grace CPU 到 Blackwell GPU 的數(shù)據(jù)傳輸進(jìn)行加密，同時 EFA 也能夠?qū)Ψ?wù)器之間的分布式訓(xùn)練和推理過程的數(shù)據(jù)進(jìn)行加密。GB200 還將受益于 Amazon Nitro 系統(tǒng)，該系統(tǒng)將主機(jī) CPU/GPU 的 I/O 功能卸載至專門的硬件上，以提供更加一致的性能，其增強(qiáng)的安全性可以在客戶端和云端全程保護(hù)客戶的代碼和數(shù)據(jù)在處理過程中的安全。這一獨(dú)有的功能已經(jīng)獲得了領(lǐng)先的網(wǎng)絡(luò)安全公司 NCC Group 的獨(dú)立驗(yàn)證。

通過在 Amazon EC2 上使用 GB200，亞馬遜云科技將使客戶能夠使用 Amazon Nitro Enclaves 和 Amazon KMS，在其 EC2 實(shí)例旁創(chuàng)建一個可信執(zhí)行環(huán)境。Amazon Nitro Enclaves 允許客戶使用 Amazon KMS 控制下的密鑰來加密他們的訓(xùn)練數(shù)據(jù)和權(quán)重。從 GB200 實(shí)例內(nèi)部可以加載安全區(qū)（Enclave），并且可以直接與 GB200 超級芯片通信。這使得 Amazon KMS 能夠以加密安全的方式直接與安全區(qū)通信，并直接傳遞密鑰材料。然后，安全區(qū)可以將該材料傳遞給 GB200，這樣做能夠保護(hù)客戶實(shí)例中的數(shù)據(jù)，防止亞馬遜云科技操作人員訪問密鑰或解密訓(xùn)練數(shù)據(jù)或模型權(quán)重，從而賦予客戶對其數(shù)據(jù)的無與倫比的控制權(quán)。

“Ceiba 項(xiàng)目”利用 Blackwell 在亞馬遜云科技上推動  NVIDIA 未來生成式 AI 創(chuàng)新

在 re:Invent 2023 上宣布的“Ceiba 項(xiàng)目”，是 NVIDIA 與亞馬遜云科技合作建造的世界上最快的 AI 超級計算機(jī)之一。這臺專為 NVIDIA 自身的研究和開發(fā)而設(shè)的超級計算機(jī)，獨(dú)家托管在亞馬遜云科技上。這臺首創(chuàng)的擁有 20,736 顆 GB200 GPU 的超級計算機(jī)，采用新型 NVIDIA GB200 NVL72 配置構(gòu)建，其特有的第五代 NVlink 將連接 10,368 顆 NVIDIA Grace CPU。系統(tǒng)通過亞馬遜云科技第四代 EFA 網(wǎng)絡(luò)進(jìn)行擴(kuò)展，為每個超級芯片提供高達(dá) 800 Gbps 的低延遲、高帶寬網(wǎng)絡(luò)吞吐量——能夠處理高達(dá) 414 exaflops 的 AI 計算量，與之前計劃在 Hopper 架構(gòu)上構(gòu)建 Ceiba 相比，性能提升了 6 倍。

NVIDIA 的研發(fā)團(tuán)隊將利用 Ceiba 推進(jìn)大語言模型、圖形（圖像/視頻/3D 生成）與仿真、數(shù)字生物學(xué)、機(jī)器人技術(shù)、自動駕駛汽車、NVIDIA Earth-2 氣候預(yù)測等領(lǐng)域的 AI 技術(shù)，以幫助 NVIDIA 推動未來生成式 AI 的創(chuàng)新。

推動生成式 AI 應(yīng)用開發(fā)及醫(yī)療健康與生命科學(xué)領(lǐng)域的應(yīng)用進(jìn)展

亞馬遜云科技與 NVIDIA 聯(lián)手，通過 Amazon SageMaker 與 NVIDIA NIM 推理微服務(wù)的整合，提供了高性能、低成本的生成式 AI 推理解決方案。該服務(wù)作為 NVIDIA AI 企業(yè)版的一部分提供?？蛻艨梢岳眠@一組合在 Amazon SageMaker 中快速部署和運(yùn)行已預(yù)編譯且對 NVIDIA GPU 進(jìn)行優(yōu)化的基礎(chǔ)模型，縮短生成式 AI 應(yīng)用的推出時間。

亞馬遜云科技與 NVIDIA 還在利用計算機(jī)輔助的藥物發(fā)現(xiàn)領(lǐng)域進(jìn)行合作拓展，推出了新的 NVIDIABioNeMo? 基礎(chǔ)模型，用于生成化學(xué)、蛋白質(zhì)結(jié)構(gòu)預(yù)測，以及理解藥物分子與目標(biāo)的相互作用。這些新模型將很快在 AmazonHealthOmics 上提供，這是一個專為幫助醫(yī)療保健和生命科學(xué)組織存儲、查詢和分析基因組、轉(zhuǎn)錄組及其他組學(xué)數(shù)據(jù)而設(shè)計的專用服務(wù)。

Amazon HealthOmics 和 NVIDIA 醫(yī)療保健團(tuán)隊還合作推出生成式 AI 微服務(wù)，以推進(jìn)藥物發(fā)現(xiàn)、醫(yī)療技術(shù)和數(shù)字健康領(lǐng)域的發(fā)展。該服務(wù)提供一個新的 GPU 加速的云端服務(wù)目錄，涵蓋生物學(xué)、化學(xué)、成像和醫(yī)療保健數(shù)據(jù)，以便醫(yī)療企業(yè)能夠在亞馬遜云科技上利用生成式 AI 的最新成果。