【TechWeb】7月9日消息,全球應(yīng)用交付和API安全解決方案提供商F5宣布F5BIG-IPNextforKubernetes推出全新功能,該解決方案深度整合NVIDIABlueField-3DPU以及NVIDIADOCA軟件框架,并已通過歐洲客戶Sesterce的實際部署驗證。
作為對F5應(yīng)用交付與安全平臺(F5ApplicationDeliveryandSecurityPlatform)的進一步擴展,BIG-IPNextforKubernetes現(xiàn)可原生運行于NVIDIABlueField-3DPU,為大規(guī)模AI基礎(chǔ)設(shè)施提供高性能流量管理與安全防護,從而顯著提升AI應(yīng)用的運行效率、控制能力與性能表現(xiàn)。
借助該聯(lián)合解決方案,企業(yè)可將簡單的AI相關(guān)任務(wù)路由至成本更低、更輕量級的LLM以支持生成式AI,同時將更復(fù)雜的查詢留給性能更強大的高階模型處理。該可定制化的智能路由機制還支持按領(lǐng)域調(diào)用特定LLM,從而提升輸出質(zhì)量并顯著改善客戶體驗。F5的先進流量管理技術(shù)可確保查詢精準分發(fā)至最適合的模型節(jié)點,從而降低延遲并加快首個詞元生成時間。
今年早些時候,NVIDIA推出Dynamo框架,旨在為生成式AI與推理模型在大規(guī)模分布式環(huán)境中的部署提供支撐。通過統(tǒng)一調(diào)度、流量路由和內(nèi)存管理等核心任務(wù),NVIDIADynamo有效簡化了分布式環(huán)境中AI推理的復(fù)雜性,確保其在動態(tài)工作負載下的穩(wěn)定運行。F5與NVIDIA的聯(lián)合解決方案的核心優(yōu)勢之一,是將部分計算操作從CPU卸載至BlueFieldDPU,從而顯著提升整體效率。借助F5技術(shù),DynamoKVCacheManager可基于容量智能路由請求,并通過鍵值(KV)緩存機制,顯著加速生成式AI應(yīng)用的響應(yīng)速度。該機制通過復(fù)用歷史運算信息,避免重復(fù)計算,顯著降低資源開銷。就基礎(chǔ)架構(gòu)而言,企業(yè)通過KV緩存存儲與復(fù)用機制,相比直接占用GPU昂貴的內(nèi)存資源,能以更低成本實現(xiàn)性能優(yōu)化。
另外,通過在MCP服務(wù)器前端部署F5與NVIDIA聯(lián)合解決方案,F(xiàn)5可充當反向代理,從而增強MCP解決方案及其所支持LLM的安全能力。同時,F(xiàn)5iRules提供的全數(shù)據(jù)可編程能力,能夠快速并靈活地響應(yīng)AI協(xié)議的快速演進需求,并進一步抵御新興網(wǎng)絡(luò)安全風險。
朋友圈刷屏的神作《末世最強回收系統(tǒng)》,很多人看過,但不一定看完!
陳強看了看身旁的小胖子,臉上浮現(xiàn)出怪異之色-——。不是他不舍得那塊獸晶,而是那獸晶剛被他收入懷中,就被那莫名其妙的系統(tǒng)給吞了!叮!系統(tǒng)吸收能量值10點,已自動轉(zhuǎn)化為回收值1點;系統(tǒng)能量值0點,請宿主盡快提升能量值!直到此時,陳強才明白,原來這個回收系統(tǒng)的能量值是靠獸晶提供的!“小胖子,一邊呆著去!”老孫頭呵斥了一聲, 就在他點擊確定之后,腦海中再次出現(xiàn)一段信息:尸體機能回收系統(tǒng)激活成功!首次贈送一點回收值已經(jīng)使用!回收兵級初階毒焰血蝠成功!宿主:陳強等級:無能量值:0 回收值:0 體質(zhì):9 力量:25 速度:6 精神力:23 功法:無技能:蜇伏聲波探查血脈:毒焰血脈初級注:能量值可轉(zhuǎn)化為回收值,體質(zhì),力量,..小說:回收系統(tǒng)橫掃末世,收獲最強異獸血脈!