邊緣 AI 開發(fā)者正在構建用于安全關鍵型和受監(jiān)管用例的 AI 應用和產(chǎn)品。借助 NVIDIA Holoscan 1.0，這些應用可在幾毫秒內(nèi)整合實時洞察和加工處理。

借助最新發(fā)布的 NVIDIA® Holoscan 1.0，開發(fā)者可以更加輕松地構建用于多模態(tài)實時傳感器處理工作的生產(chǎn)就緒型應用。NVIDIA AI Enterprise 現(xiàn)為 Holoscan 軟件堆棧提供安全補丁和關鍵漏洞修復，并保證 API 的穩(wěn)定性，這不僅降低了產(chǎn)品維護成本，還簡化了邊緣 AI 應用的大規(guī)模部署。

什么是 NVIDIA Holoscan？

Holoscan 是 NVIDIA 不限領域的多模態(tài)實時 AI 傳感器處理平臺，它為開發(fā)者構建端到端傳感器處理管道奠定了基礎。該平臺以性能、可用性和生產(chǎn)就緒性為架構目標，在優(yōu)化傳感器處理工作流各環(huán)節(jié)性能的同時，最大程度地降低開發(fā)復雜性。該工作流包含：

傳感器數(shù)據(jù)入口

加速計算和 AI 推理

實時可視化、執(zhí)行和數(shù)據(jù)流出口

圖 1. NVIDIA Holoscan 平臺幫助開發(fā)者

從固定功能儀器過渡到軟件定義儀器

Holoscan 平臺具體包含三個主要組成部分。第一個組成部分是軟件，該平臺以數(shù)據(jù)移動、加速計算、實時可視化和 AI 推理為基礎，建立了不限領域的 AI 實時傳感器處理工作流。

NVIDIA Holoscan 是唯一能將這些功能整合在一起的單一平臺。它不僅能夠保證應用性能，還能降低復雜性，并縮短產(chǎn)品上市時間。NVIDIA Holoscan SDK 為開發(fā)者提供了一個低代碼、高性能的環(huán)境，使開發(fā)者可以通過 Python 或 C++ API 使用自己選擇的編程語言構建工作流。

Holoscan 平臺的第二個組成部分是硬件。Holoscan 支持多種硬件配置，可滿足不同的功率、尺寸、成本、計算和配置需求，包括：

NVIDIA Jetson Orin 系列產(chǎn)品（Orin Nano、Orin NX 和 AGX Orin）

NVIDIA IGX Orin

NVIDIA IGX Orin 外加 NVIDIA 獨立 GPU，同時具備集成 GPU 和獨立 GPU 的功能

搭載 NVIDIA 獨立 GPU 的 x86 系統(tǒng)（工作站或云）

Holoscan 平臺的第三個組成部分是企業(yè)支持，專門用于滿足醫(yī)療技術產(chǎn)品發(fā)布前和發(fā)布后的需求。通過 NVIDIA AI Enterprise 提供的 Holoscan 軟件服務可獲得長期（長達 10 年）的全棧軟件支持。

該服務具體可向開發(fā)者發(fā)布安全補丁和關鍵漏洞修復，并保證 API 的穩(wěn)定性，從而大大降低產(chǎn)品維護成本。這不僅簡化了操作，還讓開發(fā)者能夠更加放心地大規(guī)模部署 AI 應用。

圖 2. NVIDIA Holoscan 幫助加快產(chǎn)品上市時間

生產(chǎn)就緒性

AI 計算的引入為企業(yè)提供了一系列可能性，這些企業(yè)正在尋找新的方式來提供差異化和價值，同時更有效地利用數(shù)據(jù)。然而，AI 軟件堆棧非常復雜，影響因素達數(shù)百個，而且使用了大量第三方開放源碼軟件庫（圖 3）。

軟件復雜性的增加等同于脆弱性的增加。安全性、穩(wěn)定性、可靠性和生產(chǎn)就緒性至關重要，但對于希望在其應用中利用這些軟件的開發(fā)者和企業(yè)來說卻極具挑戰(zhàn)性，對于醫(yī)療設備、機器人等安全關鍵型和受監(jiān)管的行業(yè)來說尤其如此。

圖 3. NVIDIA Holoscan 可提供

對于復雜 AI 軟件堆棧來說

至關重要的生產(chǎn)就緒性、安全性和穩(wěn)定性

例如 2023 年，美國食品及藥品管理局（FDA）發(fā)布了新的醫(yī)療設備網(wǎng)絡安全指南，規(guī)定如果提交的上市前材料中未包含 FD&C 法案第 524B 條（確保設備的網(wǎng)絡安全）所要求的信息，則有可能被拒絕接受（RTA）。根據(jù)規(guī)定，制造商必須在產(chǎn)品上市后設計并發(fā)布更新和補丁，提供軟件物料清單（SBOM）并提交一份確認和解決“上市后網(wǎng)絡安全漏洞”的計劃。

這給該領域開發(fā)者和企業(yè)的 AI 平臺構建與維護帶來了更大的挑戰(zhàn)：

維護安全的軟件堆棧需要大量資源。

在進行 CVE 掃描后需要進行評估和探索，以便采取進一步行動和措施。

軟件包安全更新可能需要對依賴的 API 進行后續(xù)更改，這可能會破壞向后兼容性。

需要對整個堆棧進行持續(xù)監(jiān)控和更新。

這意味著需要定期安裝安全補丁和修復漏洞，并留給了企業(yè)兩個代價高昂的選擇：

向后移植補丁和修復程序，以避免破壞堆棧和引發(fā)潛在的驗證、確認與重新認證需求。

向前滾動，但會面臨破壞產(chǎn)品功能和增加新錯誤的潛在風險，產(chǎn)生成本高昂的驗證、確認乃至重新認證周期。

生產(chǎn)就緒對 Holoscan 開發(fā)者的意義

Holoscan 平臺為邊緣提供了一個用于實時處理多模態(tài)數(shù)據(jù)的加速全棧基礎設施。在過去的幾個版本中，Holoscan 平臺的特性和功能主要集中在高性能計算、低延遲和高吞吐量多模態(tài)傳感器流式傳輸以及出色的可用性和更短的產(chǎn)品上市時間等方面。

在加入 NVIDIA AI Enterprise 后，Holoscan 1.0 增加了生產(chǎn)就緒性，能夠為開發(fā)者提供端到端全產(chǎn)品生命周期支持，它還能加速企業(yè)的 AI 創(chuàng)新過程，同時降低產(chǎn)品擁有和維護的總成本。

在 NVIDIA IGX 上構建產(chǎn)品

憑借全棧軟件支持（包括固件、操作系統(tǒng)、驅動程序、AI 框架、GPU 加速和 SDK），開發(fā)者可以通過單一的來源獲得全棧支持，同時還能確保 API 的長期穩(wěn)定和軟件物料清單（SBOM）的統(tǒng)一。這一經(jīng)過優(yōu)化的服務可滿足邊緣客戶的各種需求，例如：

CVE 補丁和關鍵漏洞修復以及 API 的穩(wěn)定性保證。

靈活的軟件分支，可選擇不同的期限（9 個月至 10 年）以滿足不同行業(yè)和不同產(chǎn)品開發(fā)階段的開發(fā)者需求。9 個月期限支持分支每 6 個月發(fā)布一次，10 年期限支持分支每 2.5 年發(fā)布一次。

為嵌入式開發(fā)者提供 Yocto 企業(yè)支持，這些開發(fā)者更喜歡使用基于 Yocto 的定制發(fā)行版來部署產(chǎn)品。

基于 Yocto 的發(fā)行版可實現(xiàn)最小的 SBOM，只需最少的組件即可使設備正常運行。它們不僅簡化了 FMEA、SW/SOUP 危險分析、網(wǎng)絡安全危險分析和滲透測試，降低了上市后維護的監(jiān)管負擔和成本，還支持嵌入式硬件資源的高效利用，包括存儲、內(nèi)存、處理能力和電能等。

關于 Holoscan Yocto 為邊緣部署提供優(yōu)化的發(fā)行版的更多信息，請參見利用 NVIDIA Clara Holoscan 部署 AI 加速醫(yī)療設備：

https://developer.nvidia.com/blog/deploying-ai-accelerated-medical-devices-with-nvidia-clara-holoscan/

圖 4. 使用 Holoscan 將應用從開發(fā)推向部署

在 x86 系統(tǒng)上進行開發(fā)、測試或部署

開發(fā)者可以在 x86 系統(tǒng)上使用部分堆棧支持（不包括操作系統(tǒng)）。更多信息請參見 NVIDIA 認證系統(tǒng)。通過在 x86 和 IGX 上保持相同分支軟件堆棧的一致性，就能最大程度地減少從開發(fā)到部署的障礙。為此，請在用于開發(fā)和部署的各個 x86 平臺上保持一致性，以便進行測試、驗證和部署。

總結

NVIDIA Holoscan 與工業(yè)級 NVIDIA IGX Orin平臺和 NVIDIA AI Enterprise 協(xié)同，為企業(yè)減輕了驗證和維護邊緣平臺的負擔。它使團隊能夠專注于構建 AI、與不斷壯大的第一方和第三方開發(fā)者生態(tài)系統(tǒng)聯(lián)合開發(fā)平臺，以及快速提升業(yè)務價值。

尤其是用于醫(yī)療級生產(chǎn)的 IGX 服務現(xiàn)已通過多家 ODM 合作伙伴提供，包括但不限于：

Advantech MIC-735M-IO

ADlink MLB-IGX

onyx Healthcare ACCEL-JS2000

Dedicated Computing M1000