今天，我們宣布在 Amazon Bedrock 上提供 Llama 3.1模型。Llama 3.1模型是 meta 迄今為止極其先進(jìn)、強大的模型。Llama 3.1模型包括8B、70B 和405B 三種參數(shù)量的模型，在廣泛的行業(yè)基準(zhǔn)測試中展現(xiàn)出了最先進(jìn)的性能，并為您的生成式 AI 應(yīng)用程序提供了新的功能。

所有 Llama 3.1模型都支持128K 的上下文長度(比 Llama 3多120K 個 token )，容量是 Llama 3模型的16倍，并針對包括英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語在內(nèi)的八種語言的多語種對話用例，提高了推理能力。

您現(xiàn)在可以在 Amazon Bedrock 中使用來自 meta 的三種新的 Llama 3.1模型，來構(gòu)建、實驗和負(fù)責(zé)任地擴展您的生成式 AI 理念：

· Llama 3.1 405B（預(yù)覽版）據(jù) meta 稱是目前公開可用的最大的大型語言模型 ( LLM )。該模型為生成式 AI 確立了新的標(biāo)準(zhǔn)，非常適合企業(yè)級應(yīng)用和研發(fā)。它非常適合諸如合成數(shù)據(jù)生成之類的任務(wù)，其模型輸出可用于改進(jìn)較小參數(shù)的 Llama 模型和模型蒸餾，從405B 模型向較小模型轉(zhuǎn)移知識。該模型擅長于通用知識、長篇文本生成、多語種翻譯、機器翻譯、編碼、數(shù)學(xué)、工具使用、增強的上下文理解以及高級推理和決策。要了解更多信息，請訪問亞馬遜云科技機器學(xué)習(xí)博客，了解如何使用 Llama 3.1 405B 生成用于模型蒸餾的合成數(shù)據(jù)。

· Llama 3.1 70B 非常適合內(nèi)容創(chuàng)作、對話式 AI、語言理解、研發(fā)和企業(yè)應(yīng)用。該模型擅長于文本摘要和準(zhǔn)確性、文本分類、情感分析和細(xì)微推理、語言建模、對話系統(tǒng)、代碼生成和遵循指令。

· Llama 3.1 8B 最適合計算能力和資源有限的情況。該模型擅長于低延遲推理需求下的文本摘要、文本分類、情感分析和語言翻譯場景。

meta 在超過150個涵蓋廣泛語言的基準(zhǔn)數(shù)據(jù)集上測試了 Llama 3.1的性能，并進(jìn)行了大量的人工評估。如下圖所示，Llama 3.1在每個主要基準(zhǔn)測試類別中都優(yōu)于 Llama 3。

要了解更多關(guān)于 Llama 3.1的功能和能力，請訪問 meta 的 Llama 3.1模型卡和亞馬遜云科技文檔中的 Llama 模型。

Amazon Bedrock

掃碼了解更多

您可以利用 Llama 3.1的負(fù)責(zé)任 AI 功能，結(jié)合 Amazon Bedrock 的數(shù)據(jù)治理和模型評估功能，自信地構(gòu)建安全可靠的生成式 AI 應(yīng)用程序。

Guardrails for Amazon Bedrock - 通過針對特定用例創(chuàng)建具有不同配置的多個防護措施，您可以使用防護措施通過實施定制于您的用例和負(fù)責(zé)任 AI 政策的保護措施，來促進(jìn)用戶與您的生成式 AI 應(yīng)用程序之間的安全交互。使用 Amazon Bedrock Guardrails ，您可以持續(xù)監(jiān)控和分析可能違反客戶定義的政策的用戶輸入和模型響應(yīng)，檢測模型響應(yīng)中不基于企業(yè)數(shù)據(jù)或與用戶查詢無關(guān)的虛構(gòu)內(nèi)容，并跨不同模型（包括自定義和第三方模型）進(jìn)行評估。如果需要開始使用，請訪問亞馬遜云科技文檔中的創(chuàng)建防護措施。

Amazon Bedrock 上的模型評估 - 您可以使用自動評估或人工評估，通過幾個步驟評估、比較并為您的用例選擇最佳 Llama 模型。使用 Amazon Bedrock 上的模型評估，您可以選擇使用準(zhǔn)確性、魯棒性和有害性等預(yù)定義指標(biāo)進(jìn)行自動評估。或者，您可以選擇針對相關(guān)性、風(fēng)格和與品牌語音的一致性等主觀或自定義指標(biāo)的人工評估工作流程。模型評估提供內(nèi)置的精選數(shù)據(jù)集，或者您可以引入自己的數(shù)據(jù)集。要開始使用，請訪問亞馬遜云科技文檔中的開始使用模型評估。