在2024亞馬遜云科技re:Invent全球大會第三天的主題演講中，亞馬遜云科技人工智能與數(shù)據(jù)部門副總裁Dr. Swami Sivasubramanian帶來了亞馬遜云科技生成式AI服務全面升級的深度解讀，全方位解決企業(yè)構建生成式AI應用困境。

核心看點

Amazon Bedrock，正在解決今天我們最關注的大模型落地的效率問題！Amazon SageMaker，正在解決資源利用和數(shù)據(jù)分析等大模型落地的速度問題！Amazon Q，正在解決讓人人都能用好生成式AI的生產(chǎn)工具問題！It is all about 生產(chǎn)力！一個全新的AI生產(chǎn)力！

?Amazon Bedrock模型服務全線升級，上百個頂級大模型供選擇

?新一代Amazon SageMaker，一站式解決生成式AI全生命周期問題

?Amazon Q讓每個人都快速使用生成式AI工具，提高整體生產(chǎn)力

生成式AI創(chuàng)造價值的時代已經(jīng)到來

從萊特兄弟首次飛行到生成式AI，每一個偉大的成就都站在前人的肩膀上。

生成式AI的誕生凝結了人工神經(jīng)網(wǎng)絡、反向傳播算法、無監(jiān)督預訓練、Transformer架構等幾十年的人工智能研究成果；同時，又占盡了大規(guī)模數(shù)據(jù)集和云計算的得天獨厚。

亞馬遜云科技自身AI的發(fā)展歷程，也是一樣，每一步走過的創(chuàng)新都算數(shù)。當創(chuàng)新累積到一定程度時，便產(chǎn)生了質(zhì)的飛躍。

Swami博士回顧過去18年亞馬遜云科技的歷程：從可擴展的S3存儲，到Amazon DynamoDB數(shù)據(jù)庫和Amazon EMR分析……從Amazon SageMaker推廣機器學習，到數(shù)據(jù)湖……現(xiàn)在，我們正處于另一個關鍵的拐點，生成式AI給人類社會帶來的價值和影響，已無法估量。

Amazon Bedrock

一百多款模型，隨需所用

Amazon Bedrock是一項完全托管的服務，致力于“最多大模型選擇、滿足客戶所有場景需求”。客戶無需管理任何基礎設施，完成了構建AI應用的每一環(huán)節(jié)：最佳模型可選、成本優(yōu)化、速度快低延遲、可定制模型、確保應用安全和負責任人工智能，以及構建和編排Agents。

現(xiàn)在Amazon Bedrock將全面升級，直接解決的就是這些問題：模型選擇的自由度？如何平衡成本、延遲與準確率性？如何用私有數(shù)據(jù)定制大模型？大模型能確保我應用的安全嗎？如何構建與編排Agents？五大關鍵難題。

1、模型選擇，全面升級！

沒有一個模型能夠解決所有的問題，不同的用例有各自適合的模型。現(xiàn)在，模型選擇再次大幅升級，提供來自全球九家領先人工智能公司的高性能基礎模型。同時，發(fā)布全新的Amazon Bedrock Marketplace，提供一百多個模型！

  全新發(fā)布 

Amazon Nova在Bedrock上可用

全新發(fā)布的性價比王者Amazon Nova系列模型已上線Bedrock！

  全新發(fā)布 

軟件開發(fā)助手獨角獸poolside

即將上線Bedrock

poolside是一家專注優(yōu)化軟件開發(fā)工作流程的初創(chuàng)公司，能夠出色地完成代碼生成、測試、文檔編寫和其他開發(fā)任務。亞馬遜云科技將是第一個提供poolside模型的云服務商。

  全新發(fā)布 

圖像生成王者Stable Diffusion 3.5

即將上線Amazon Bedrock

Stable Diffusion 3.5是Stability AI目前最強大的圖像生成模型，該模型基于Amazon SageMaker HyperPod訓練，即將在Amazon Bedrock上線。

  全新發(fā)布 

視頻生成領域黑馬Luma AI

即將上線Amazon Bedrock

視頻生成界的新星Luma AI，聚焦于3D內(nèi)容生成，其突破性的視頻生成模型即將上線Bedrock，為視頻創(chuàng)作帶來革命性的進步。

Luma AI CEO Amit Jain，介紹了全新的視頻生成模型Luma RAY2。Luma RAY2可根據(jù)文本或圖像指令生成高度逼真、制作質(zhì)量一流的長視頻。無論你是營銷人員、設計師，還是視頻制作人員，RAY2都將為你帶來前所未有的創(chuàng)作力。

RAY2學習了1000倍于普通大模型的數(shù)據(jù)，完美利用了強大的Amazon SageMaker HyperPod，Luma AI僅用4個月就順利完成RAY2的訓練。

  全新發(fā)布 

Amazon Bedrock Marketplace

上百基礎模型一網(wǎng)打盡

Amazon Bedrock Marketplace提供了來自領先供應商的100多種通用和行業(yè)模型。用戶可以使用統(tǒng)一API來調(diào)用這些模型，并利用Amazon Bedrock的知識庫、Guardrails、Agents等能力來構建應用。

2、成本、延遲和準確率的多項優(yōu)化

開發(fā)人員需要花費大量時間評估模型是否符合他們的需求，尤其是成本和延遲等因素需要非常精細的平衡。

想象一個簡單的應用場景，一個旅行規(guī)劃網(wǎng)站，希望選擇最佳模型來解決各種客戶問題。比如說：“為我家人建議12月份的最佳旅游計劃?！痹u估每個模型的響應速度、準確性和成本，最后測試模型A在響應速度和成本之間達到了平衡。然而，換一個復雜場景，比如：“為歐洲多個目的地創(chuàng)建7天的行程，并希望最后一天留在巴黎與一些朋友會面?！睖y試后發(fā)現(xiàn)測試模型B可以面對細節(jié)把控可以達到準確性和速度的平衡，但成本很高。

想象一下我們必須為數(shù)百種不同的場景不斷地重復這一過程。然后，當客戶請求模式發(fā)生變化或新模型可用時，必須再次重復。

這一問題將通過Bedrock新功能快速解決。

  全新發(fā)布 

Amazon Bedrock支持提示詞緩存

降低成本，這是一個非常重大的突破。不降低響應速度，還可對多次API調(diào)用中常用提示詞進行緩存來顯著降低成本，特定模型效率提升85%和成本降低90%。

  全新發(fā)布 

Amazon Bedrock智能提示詞路由

將提示詞路由，調(diào)用設定好的最適合模型以獲得最佳性價比，在無損質(zhì)量、不影響準確性的情況下，成本降低30%。

3、充分利用私有數(shù)據(jù)

再次回到旅行規(guī)劃網(wǎng)站的場景中，如何能夠為不同客戶提供定制的方案？這就需要充分利用私有數(shù)據(jù)。Amazon Bedrock知識庫自動化了完整的RAG工作流程，囊括了編寫自定義代碼、集成數(shù)據(jù)源和管理查詢。而數(shù)據(jù)源往往多而繁雜，難以檢索到高質(zhì)量的數(shù)據(jù)。

  全新發(fā)布 

Amazon Kendra GenAI index

全新的Amazon Kendra索引為知識庫提供語義準確性高的托管檢索方案，內(nèi)置超過40種企業(yè)數(shù)據(jù)源，讓跨應用程序連接數(shù)據(jù)變得簡單。無論是存儲在數(shù)倉或數(shù)據(jù)湖中的結構化數(shù)據(jù)，還是文檔或PDF等非結構化數(shù)據(jù)，或圖像、視頻、文本相結合的多模態(tài)數(shù)據(jù)。

想象一下，對于“上個月華盛頓地區(qū)營業(yè)額最高的品類是什么？”為了處理此類自然語言查詢的請求，需要創(chuàng)建一個SQL來過濾、連接表、聚合數(shù)據(jù)。

很多人會質(zhì)疑，難道不能只是用提示詞來解決嗎？實際上，要高效地做到這一點并非那么簡單，需要實施定制架構嵌入、查詢分析、數(shù)據(jù)采樣和查詢糾正循環(huán)等等，同時解決諸如提示注入攻擊等安全問題。為了管理這些任務，開發(fā)人員通常會花費時間構建復雜的自定義SQL，以實現(xiàn)準確的SQL查詢。今天亞馬遜云科技為客戶解決了這一問題。

  全新發(fā)布 

Amazon Bedrock知識庫

支持結構化數(shù)據(jù)檢索

開箱即用的解決方案，為生成式AI本地查詢各種來源的所有結構化數(shù)據(jù)。

很難用RAG生成響應，因為信息通常分散在多個數(shù)據(jù)源中。例如，讓我們來看一個顧客向在線零售商咨詢手機故障的場景。在線助手需要快速獲取多個信息片段：購買記錄、先前的工單、相關知識庫中的產(chǎn)品詳細信息。然后將所有這些不同的數(shù)據(jù)源聯(lián)系起來，以提供量身定制的響應來解決此問題。

知識圖譜能夠創(chuàng)建數(shù)據(jù)之間的關系，捕獲所有的信息。這些關系被轉(zhuǎn)換為圖嵌入應用，系統(tǒng)可以輕松遍歷該圖并檢索這些連接。

開發(fā)人員需花費大量時間將圖集成到RAG流程，但現(xiàn)在，Amazon Bedrock可以讓整個過程變得更簡單。

  全新發(fā)布 

Amazon Bedrock知識庫

支持GraphRAG

自動生成知識圖譜，并連接各種數(shù)據(jù)源之間的關系。

大多數(shù)企業(yè)數(shù)據(jù)都是非結構化的，在文檔、視頻、圖像和音頻文件等多模態(tài)中。然而非結構化數(shù)據(jù)很難提取，需要進行處理和轉(zhuǎn)換才能為生成式AI做好準備。

  全新發(fā)布 

Amazon Bedrock Data Automation

該功能可自動將非結構化的多模態(tài)內(nèi)容轉(zhuǎn)換為結構化數(shù)據(jù)，無需編寫任何代碼。能自動提取、轉(zhuǎn)換和處理所有的多模態(tài)內(nèi)容，并實現(xiàn)大規(guī)模處理。

4、全面護航應用安全

隨著生成式AI落地的場景越來越多，原有的防護措施就變得很難。Amazon Bedrock Guardrails提供了行業(yè)領先的安全保護，根據(jù)不同應用的要求和負責任的人工智能政策制定保障措施，能夠阻止高達85%的有害內(nèi)容。昨天亞馬遜云科技發(fā)布了自動推理檢查功能，以防止因幻覺產(chǎn)生的事實性錯誤?，F(xiàn)在Guardrails增加了多模態(tài)有害內(nèi)容檢測功能。該功能擴展了Amazon Bedrock可配置的防護措施，支持圖像數(shù)據(jù)。

5、多Agents協(xié)作解決復雜任務

Agents能夠?qū)碗s任務分解為可管理的步驟，就像一個經(jīng)驗豐富的專業(yè)人員一樣工作。

全新發(fā)布的多Agents協(xié)作功能，構建、部署和編排多個Agents，協(xié)同處理復雜的多步驟任務。

新一代Amazon SageMaker

數(shù)據(jù)、分析與AI的中心

2024年re:Invent大會第二天，發(fā)布了全新一代的Amazon SageMaker。最為重要的是，Swami宣布Amazon SageMaker的定位發(fā)生了重大升級：它是所有數(shù)據(jù)、分析與人工智能的平臺。針對生成式AI時代客戶面臨的數(shù)據(jù)分析、模型訓練、資源成本等關鍵難題，Amazon SageMaker針對性地推出全新的專業(yè)工具與服務。

困境一

缺少統(tǒng)一的數(shù)據(jù)處理平臺

Swami博士指出，隨著數(shù)據(jù)分析和機器學習的項目越來越多，客戶希望跨多個用例利用類似的數(shù)據(jù)集，不想在多個服務之間來回切換。

全新發(fā)布

Amazon SageMaker AI

Amazon SageMaker AI是一種全新的統(tǒng)一體驗：它將亞馬遜云科技在大數(shù)據(jù)分析、機器學習、模型開發(fā)和生成式AI方面的核心經(jīng)驗融合到一個統(tǒng)一平臺中。為客戶提供了工具和工作流程，從數(shù)據(jù)準備、參數(shù)調(diào)優(yōu)、訓練、部署到可觀測性等，消除了機器學習和分析生命周期中的重復勞動。

困境二

大規(guī)模參數(shù)帶來的模型訓練與推理挑戰(zhàn)

現(xiàn)在，在模型訓練和推理方面仍有極大挑戰(zhàn)。來看一個典型的例子，假設需要使用加速器訓練一個大型語言模型，總共需要30天。這對實例需求很高，用戶要花費大量時間在云服務上搜索可用容量。一旦獲得了容量，就必須管理這些資源，保存和恢復檢查點，并將更多訓練數(shù)據(jù)移動到獲得容量的區(qū)域。

而這一切，現(xiàn)在可以讓Amazon SageMaker來為您高效處理。

全新發(fā)布

Amazon SageMaker HyperPod

flexible training plans

用戶可以快速創(chuàng)建一個訓練計劃來自動獲取容量，它會設置集群、創(chuàng)建模型訓練作業(yè)，為團隊提供訓練模型所需的一切。HyperPod基于區(qū)域的容量塊，根據(jù)項目的時間和預算，創(chuàng)建最佳訓練計劃。同時，自動處理任何實例中斷情況，并在全球動態(tài)容量環(huán)境中幫助繼續(xù)訓練，無需任何手動干預。

困境三

如何跨團隊、跨項目利用計算資源

計算資源有限且昂貴，要最大限度地提高利用率并有效分配資源，非常困難。假設有數(shù)千臺Trainium2服務器，白天是峰值，夜間處于閑置狀態(tài)，浪費大量資源與資金。

全新發(fā)布

Amazon SageMaker HyperPod

task governance

HyperPod任務治理通過自動化管理AI任務的優(yōu)先級，最大限度提高計算資源利用率，降低40%的成本。使用HyperPod任務治理，用戶可以輕松定義從推理到微調(diào)、訓練等各種模型任務的優(yōu)先級。

困境四

工具切換帶來的時間損耗

客戶已習慣使用一些人工智能開發(fā)應用，如comet、deepchecks、fiddler和LAKERA等，用于：跟蹤和管理訓練實驗、評估模型質(zhì)量、監(jiān)控生產(chǎn)環(huán)境中的模型性能，以及保護AI系統(tǒng)免受安全威脅。將它們與Amazon SageMaker整合會耗費大量時間。

全新發(fā)布

亞馬遜云科技合作伙伴的人工智能應用程序現(xiàn)已在Amazon SageMaker上可用

Amazon SageMaker集成了合作伙伴的應用，可加速模型開發(fā)生命周期，無需配置基礎設施，確保數(shù)據(jù)在Amazon SageMaker上的安全和隱私。

全新的SageMaker AI統(tǒng)一了數(shù)據(jù)、分析和AI工作流，SageMaker HyperPod能夠自動化管理訓練資源，確保資源利用的最大化，與三方AI開發(fā)工具深度整合。

Amazon Q大幅提升企業(yè)生產(chǎn)力

Amazon Q讓每個人都快速使用生成式AI，來提高整個團隊的生產(chǎn)力，從開發(fā)人員、數(shù)據(jù)分析師到業(yè)務領域的用戶。Amazon Q Developer專門面向開發(fā)者，端到端滿足整個開發(fā)生命周期的需求。Amazon Q Developer Agents在SWE bench上名列榜首。全球范圍的客戶，如澳大利亞聯(lián)邦銀行、英國電信集團、美聯(lián)航都使用Amazon Q Developer加速開發(fā)。

  全新發(fā)布 

Amazon Q Developer在

Amazon SageMaker Canvas上可用

即使從未編寫過一行Python代碼，只需用自然語言陳述業(yè)務問題，Q Developer就會指導構建機器學習模型！

不僅僅是開發(fā)人員的助手，還能提高業(yè)務用戶的工作效率。Amazon Q Business幫助用戶輕松連接到企業(yè)的數(shù)據(jù)和信息，通過回答問題、提供總結、生成內(nèi)容來提高員工工作效率。美國國家橄欖球聯(lián)盟NFL基于Amazon Q Business構建的系統(tǒng)，將新員工培訓時間縮短了67%，員工可以在10秒內(nèi)獲得問題答案。

Amazon Q in QuickSight通過使用自然語言提示在幾秒鐘內(nèi)構建、發(fā)現(xiàn)和共享見解。通過摘要、上下文情境問答問題、交互數(shù)據(jù)，以加速決策。

  全新發(fā)布 

Amazon Q in QuickSight Scenarios

用戶可以用自然語言來解決復雜的業(yè)務問題。這一功能可以查找相關數(shù)據(jù)，進行分析，規(guī)劃每一步，并執(zhí)行任務，在每個步驟都提供詳細的見解和建議。比傳統(tǒng)的電子表格分析快10倍。

全力培養(yǎng)生成式AI時代的人才

Swami博士認為只有技術是不夠的。正如所有員工都需要成長，學生們也需要在這個人工智能時代成長。而獲得優(yōu)質(zhì)學習機會仍然是一大挑戰(zhàn)，據(jù)聯(lián)合國教科文組織統(tǒng)計，全球有5億學生無法通過數(shù)字方式學習，其中最多的是來自貧窮和農(nóng)村地區(qū)。

Swami博士宣布推出亞馬遜云科技教育公平發(fā)展計劃。這個計劃將賦能各組織為全球?qū)W習者構建和擴展數(shù)字化學習。亞馬遜云科技提出教育公平倡議，5年內(nèi)投資近1億美金，實現(xiàn)教育普惠。

Amazon Bedrock，解決今天我們最關注的大模型落地的效率問題！Amazon SageMaker解決資源利用和數(shù)據(jù)分析等大模型落地的速度問題！Amazon Q解決讓人人都能用好生成式AI的生產(chǎn)工具問題！It is all about生產(chǎn)力！一個全新的AI生產(chǎn)力！