2024亞馬遜云科技re:Invent大幕開啟。

伴隨熟悉的音樂，亞馬遜云科技高級副總裁Peter DeSantis登臺，帶來每年拉開re:Invent大幕的傳統(tǒng)環(huán)節(jié)《周一晚間秀》。

開場環(huán)節(jié)，Peter首先用“樹根”這個比喻，闡述了亞馬遜云科技創(chuàng)新的源動力。一棵參天大樹，枝葉繁茂的背后，是深深扎進土壤的根系。Peter提到，亞馬遜云科技的成功同樣源自對細節(jié)的執(zhí)著追求，得益于公司自身的文化基因，亞馬遜云科技在擴展規(guī)模的同時，堅定地關注安全性、運營效率、成本和創(chuàng)新，為客戶帶來獨一無二的云計算服務與客戶體驗。

持續(xù)引領云計算基礎設施創(chuàng)新

在接下來的分享中，Peter首先邀請亞馬遜云科技計算與網(wǎng)絡副總裁David Brown登臺，回顧亞馬遜云科技通過投入芯片創(chuàng)新，在云計算運營性能、安全、成本等方面積累的獨特能力。

一、Graviton系列芯片：如今50%亞馬遜云科技的新增CPU容量，都運行在Graviton之上。

亞馬遜云科技于2018年推出第一代Graviton系列CPU芯片，提供了與x86相當?shù)男阅?，Graviton2則在廣泛的工作負載類型中提供優(yōu)于x86的性能表現(xiàn)，Graviton3則為Nginx等工作負載提供了高達60%的性能提升。Graviton4代表了迄今最強大的Graviton芯片，相比Graviton3具有3倍的vCPU數(shù)量，適用于需求苛刻的企業(yè)工作負載。

二、Nitro系統(tǒng)：革新亞馬遜云科技的服務器架構(gòu)，引入硬件完整性的驗證管控機制。

Nitro系統(tǒng)通過將大部分虛擬化功能卸載到專用硬件芯片上，極大簡化了虛擬機監(jiān)控程序，消除了傳統(tǒng)虛擬化的性能開銷。為了確保整個硬件供應鏈的安全性，從芯片制造階段開始，Nitro就對每個硬件組件進行加密認證，為了從根本上防止硬件層面的攻擊和篡改。

Nitro芯片與Graviton處理器配合，可創(chuàng)建一個相互鎖定的信任網(wǎng)絡，使CPU到CPU、CPU到Nitro芯片的所有連接都由硬件提供安全保護。

另外，存儲驅(qū)動器嵌入Nitro卡，將每個驅(qū)動器視為一個安全的獨立的網(wǎng)絡存儲節(jié)點，從而實現(xiàn)存儲和計算的分離。

這種存儲分離架構(gòu)使計算和存儲資源可獨立擴展，極大減少故障影響范圍，加快恢復速度，并適應不斷增長的擴容需求，從而最終提高了存儲服務的敏捷性、可靠性和效率。

開啟人工智能基礎設施新篇章

接下來，Peter將重點聚焦在構(gòu)建人工智能基礎設施的創(chuàng)新上。首先，Peter援引了一篇2020年發(fā)布的論文：人工智能中巨量的計算負載，并不能完全通過橫向擴展（Scale out）資源來解決，也同樣需要縱向擴展單個計算單元的能力（Scale up）。

Peter提出了構(gòu)建人工智能基礎設施的兩個基本支柱：首先，構(gòu)建更強大的服務器；第二，構(gòu)建更大規(guī)模、更高效率的服務器集群。

Trainium2芯片及Trainium2服務器

接下來，Peter介紹了Trainium2芯片及基于其構(gòu)建的Trainium加速器及服務器。

Trainium2專門為人工智能工作負載而設計，采用了先進的封裝技術(shù)，將計算芯片和高帶寬內(nèi)存（HBM）模塊集成在一個緊湊的封裝（package）內(nèi)。每個Trainium2加速器（單卡）內(nèi)封裝中有兩個Trainium2計算核心，而每個核心旁邊都配備了兩塊HBM內(nèi)存模塊，從而實現(xiàn)了計算和內(nèi)存的無縫集成。這種先進的封裝設計克服了芯片尺寸的工程極限，最大限度地縮小了計算和內(nèi)存之間的距離，使用大量高帶寬、低延遲的互連將它們連接在一起。這不僅降低了延遲，還能使用更高效的協(xié)議交換數(shù)據(jù)，提高了性能。

此外，Trainium2還將電壓調(diào)節(jié)器移至封裝周圍，靠近芯片本身，通過更短的導線為芯片供電，減少了電壓下降，提高了能效。

基于Trainium2加速器，亞馬遜云科技推出了全新的Trainium2服務器（Trainium2 Server），每臺Trainium服務器搭載16塊Trainium加速器，并配備有專用的Nitro加速卡和機頭。一臺Trainium服務器可提供20萬億次每秒浮點運算能力，是亞馬遜云科技當前最大AI服務器的1.25倍。同時，它還擁有1.5TB的高速HBM內(nèi)存，是現(xiàn)有最大AI服務器的2.5倍，顯存帶寬達46TB/s。

Trainium2 UltraServer

而在推動前沿模型的發(fā)展的進程中，對于極為苛刻的人工智能工作負載來說，再強大的計算能力也永遠不夠。為了提供更加極致的計算能力，Peter介紹了全新發(fā)布的Neuronlink技術(shù)。Neuronlink是亞馬遜云科技專有的網(wǎng)絡互連技術(shù)，它能夠?qū)⒍嗯_Trainium服務器組合成一個邏輯上的單一服務器，連接帶寬可達2TB/s的帶寬，而延遲僅為1微秒。

通過Neuronlink，芯片之間可以直接訪問彼此的內(nèi)存，就像是一臺超級計算機一樣工作。這種由Neuronlink技術(shù)集成的多服務器集群，被稱為 “UltraServer”。Peter展示并發(fā)布了由64個Trainum2加速器構(gòu)成的Trainium2 UltraServer，可提供83.2萬億次每秒浮點運算能力，6TB HBM高速內(nèi)存，及185 TB/s的HBM內(nèi)存帶寬。相比亞馬遜云科技現(xiàn)有人工智能訓練實例，UltraServer的計算能力高出5倍，內(nèi)存容量則是現(xiàn)有規(guī)模最大者的10倍。“這正是訓練萬億級參數(shù)的大型人工智能模型所需要的超級計算平臺，非常強大” Peter介紹到。

Amazon Bedrock低延遲優(yōu)化推理發(fā)布

基于強大的Tranium2服務器，亞馬遜云科技推出了Amazon Bedrock低延遲優(yōu)化推理。

這一創(chuàng)新功能讓客戶能夠訪問亞馬遜云科技最新的人工智能基礎設施和軟件優(yōu)化技術(shù)，在各種領先模型上獲得卓越的推理性能。其中，廣受歡迎的Llama模型的Llama 405B和Llama 70B低延遲優(yōu)化版本，在亞馬遜云科技上展現(xiàn)出超越其他云提供商的出色表現(xiàn)。

同時，亞馬遜云科技與Anthropic合作，推出了人工智能模型Claude 3.5的低延遲優(yōu)化版本，為客戶提供更優(yōu)秀的體驗，通過低延遲模式運行Claude Haiku，將提速60%。

本場最大的亮點：Anthropic聯(lián)合創(chuàng)始人兼首席計算官Tom Brown宣布下一代Claude模型將在Project Rainier上訓練，這是一個集成數(shù)十萬個Trn2芯片的集群，運算能力是以往集群的5倍多，加速Claude模型迭代?？蛻艨梢杂酶蛢r格、更快速度使用更高智能的模型。

構(gòu)建強大的人工智能集群網(wǎng)絡

在構(gòu)建大規(guī)模人工智能集群方面，Peter指出，網(wǎng)絡是關鍵。人工智能對網(wǎng)絡提出了更高的要求：更大的網(wǎng)絡帶寬，更快速的獲取網(wǎng)絡資源，更高的可靠性。

亞馬遜云科技開發(fā)出面向大規(guī)模人工智能集群的網(wǎng)絡架構(gòu)“10p10u網(wǎng)絡”。這是一種為超大規(guī)模服務器集群提供連接的網(wǎng)絡架構(gòu)，被用于驅(qū)動基于UltraSever或Nvidia節(jié)點構(gòu)建的大規(guī)模計算集群，為數(shù)以千計的計算節(jié)點之間提供數(shù)十PB/s的網(wǎng)絡帶寬，延遲低于10微秒。“10p10u網(wǎng)絡”具有大規(guī)模并行和高密度互連的特點，可以從少量機架擴展到跨越多個數(shù)據(jù)中心的大規(guī)模集群，具有良好的彈性。

最后，Peter總結(jié)：通過持續(xù)在諸如Nitro、Graviton和存儲等領域的核心創(chuàng)新投資，亞馬遜云科技正在構(gòu)建更強大的人工智能服務器。而持續(xù)的領先，來自于對硬件細節(jié)極致的追求。