案例簡介

本案例中，深空靈智 AI 大模型與 NVIDIA 團(tuán)隊(duì)合作，通過 NVIDIA GPU、TensorRT 加速器，借助 NVIDIA Triton 高性能模型推理能力，不但大幅提升了深空 AI 多模態(tài)、多模型的推理效能，而且在吞吐效率和首包延時率方面也得到了顯著優(yōu)化。同時，深空靈智 AI 大模型助力企業(yè)級客戶，為其定制的企業(yè)私有大模型在多業(yè)務(wù)場景中實(shí)現(xiàn)增收提效的終極目標(biāo)。

本案例主要應(yīng)用到 NVIDIA GPU、NVIDIA TensorRT 和 Triton 推理服務(wù)器。

深空靈智利用其私有化大模型能力，結(jié)合具體的業(yè)務(wù)痛點(diǎn)，打造企業(yè)級個性化解決方案。產(chǎn)品不僅能通過智能分析客戶需求、自動生成用戶畫像、個性化生成企業(yè)視頻內(nèi)容等功能，帶來收入的大幅提升，還可以通過虛擬 AI 培訓(xùn)、理解重構(gòu)企業(yè)圖文視頻資料庫等方式，有效降低人力成本。深空靈智利用其靈活部署、安全可靠的產(chǎn)品優(yōu)勢，進(jìn)一步驅(qū)動企業(yè)智能化飛輪，用 AI 賦能企業(yè)的新增長。

在保證模型訓(xùn)練速度的同時

應(yīng)對企業(yè)級客戶的雙重壓力

基于深空 AI 大模型的產(chǎn)品屬性，團(tuán)隊(duì)面臨著如下兩大方面問題：

首先，就深空 AI 大模型本身而言，模型處理能力是衡量模型質(zhì)量的重要標(biāo)準(zhǔn)之一。當(dāng)大量數(shù)據(jù)灌入模型之中，如何保證模型的推理速度，就成為了團(tuán)隊(duì)要面臨的第一大問題。同時，多模態(tài)能力作為產(chǎn)品的重要亮點(diǎn)，如何快速理解、識別、拆解海量圖文、視頻內(nèi)容，并生成對應(yīng)物料，都是深空團(tuán)隊(duì)要面對的挑戰(zhàn)。

其次，面對企業(yè)級客戶，深空同樣面臨著雙重考驗(yàn)。第一，當(dāng)大量企業(yè)級用戶同時在線，高并發(fā)使用時，必然會對首包延時有著苛刻的要求，否則用戶將會因較長的反饋遲滯而感到不適，這就要求 “多輪交互”工作管線的每個模塊的推理能夠高效地執(zhí)行。第二，不同企業(yè)對部署的需求不盡相同，同時他們對企業(yè)數(shù)據(jù)的安全性也極為重視，因此如何在滿足企業(yè)部署需求的前提下，保障企業(yè)的數(shù)據(jù)安全，便成為了深空企業(yè)級客戶成功落地的關(guān)鍵環(huán)節(jié)。

借助 NVIDIA 顯著增強(qiáng)

深空 AI 大模型的整體能力

基于以上挑戰(zhàn)，深空靈智與 NVIDIA 團(tuán)隊(duì)合作，采用 NVIDIA TensorRT 對模型進(jìn)行推理加速，并利用 NVIDIA Triton 推理服務(wù)器在 NVIDIA GPU 上進(jìn)行部署，形成了一套高效的大模型部署方案。NVIDIA Triton 推理服務(wù)器具有高可靠性、穩(wěn)定性的特征，助力深空靈智大模型向工業(yè)級水平躍升，在提升用戶體驗(yàn)的同時，大幅降低了服務(wù)成本。團(tuán)隊(duì)目前搭載的高性能NVIDIA GPU，使深空 AI 大模型訓(xùn)練速度得到了數(shù)倍提升，不但滿足了高性能、高可靠性的訓(xùn)練要求，更兼顧了高安全性的業(yè)務(wù)需求。

在 NVIDIA TensorRT 和 Triton 的技術(shù)支持下，深空靈智結(jié)合企業(yè)營銷、銷售、培訓(xùn)、售后等全流程環(huán)節(jié)，打造了深空智客、深空智售、深空智練和深空智匯四大產(chǎn)品，旨在提升各業(yè)務(wù)環(huán)節(jié)的收入轉(zhuǎn)化和人員效率，從而達(dá)到讓企業(yè)在競爭中保持優(yōu)勢地位的終極目標(biāo)。

1. 深空智客：利用 AI，高質(zhì)量分析客戶需求。AI 智能助手嵌入企業(yè)官網(wǎng)、官微等官方渠道，為企業(yè)打造 7*24 小時無人力流量入口。它通過主動引導(dǎo)、多輪交互以及文字與視頻相結(jié)合的對話模式，讓潛客清晰地了解產(chǎn)品價值，并根據(jù)咨詢的內(nèi)容，將線索自動分級，生成潛客報告，讓銷售跟進(jìn)變得有的放矢。

2. 深空智售：借助 NVIDIA 高性能 GPU，深空智售實(shí)現(xiàn)了個性化宣傳物料的高效生成。銷售人員可以根據(jù)用戶關(guān)注的產(chǎn)品特點(diǎn)，一句話生成有針對性的銷售視頻，提升客戶信任感。同時，銷售人員還可以隨時跟蹤用戶讀取狀態(tài)，輕松掌握用戶反饋。

3. 深空智練：專業(yè) AI 陪練模擬真實(shí)客戶，與銷售沉浸式智能實(shí)訓(xùn)。深度植入了產(chǎn)品信息和銷冠話術(shù)的 AI 陪練，充分滿足了銷售隨時隨練的需求；并根據(jù)對話情況，個性化生成成績測評，打造員工專屬成長路徑。

4. 深空智匯：采用 NVIDIA TensorRT 對模型進(jìn)行推理加速的深空智匯，原子級解構(gòu)企業(yè)知識，深度理解企業(yè)文本、視頻資料，根據(jù)用戶的對話問答，生成個性化視頻內(nèi)容。讓企業(yè)知識，持續(xù)驅(qū)動業(yè)務(wù)發(fā)展。

不但如此，NVIDIA 從網(wǎng)絡(luò)安全、物理安全、數(shù)據(jù)加密等多個方面進(jìn)行安全防護(hù)，為企業(yè)的數(shù)據(jù)安全保駕護(hù)航。

在 NVIDIA GPU 的加持下，借助 NVIDIA TensorRT 和 Triton 推理服務(wù)器的產(chǎn)品能力，深空 AI 大模型的整體能力已經(jīng)顯著增強(qiáng)，并廣泛應(yīng)用于汽車、教育、金融、零售等多個行業(yè)，為這些領(lǐng)域的企業(yè)帶來了強(qiáng)大的支持與賦能。今年深空靈智加入了 NVIDIA 初創(chuàng)加速計劃，成為會員公司，將與 NVIDIA 開展更加深入和全面的合作。

關(guān)于深空靈智

深空靈智作為國內(nèi)領(lǐng)先的人工智能創(chuàng)新科技企業(yè)，專注于為企業(yè)打造專業(yè)的 AI 多模態(tài)大模型。團(tuán)隊(duì)已經(jīng)把先進(jìn)的生成式人工智能技術(shù)與多行業(yè)深度融合，致力于將企業(yè)的知識資產(chǎn)轉(zhuǎn)化為可計算、可交互、生成式的數(shù)字資產(chǎn)，從而助力企業(yè)實(shí)現(xiàn)收入與效率的雙增長。深空靈智的大模型能力已成功落地企業(yè)的具體業(yè)務(wù)場景，借助“多輪引導(dǎo)”、“多模態(tài)”等大模型技術(shù)，讓企業(yè)級客戶在高效收集線索、深度理解生成個性化文本與視頻，以及知識庫多層檢索等方面取得了顯著成果。

NVIDIA 初創(chuàng)加速計劃

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。