劉志豪

【TechWeb】7月9日消息，全球應用交付和API安全解決方案提供商F5宣布F5BIG-IPNextforKubernetes推出全新功能，該解決方案深度整合NVIDIABlueField-3DPU以及NVIDIADOCA軟件框架，并已通過歐洲客戶Sesterce的實際部署驗證。

作為對F5應用交付與安全平臺（F5ApplicationDeliveryandSecurityPlatform）的進一步擴展，BIG-IPNextforKubernetes現可原生運行于NVIDIABlueField-3DPU，為大規(guī)模AI基礎設施提供高性能流量管理與安全防護，從而顯著提升AI應用的運行效率、控制能力與性能表現。

借助該聯合解決方案，企業(yè)可將簡單的AI相關任務路由至成本更低、更輕量級的LLM以支持生成式AI，同時將更復雜的查詢留給性能更強大的高階模型處理。該可定制化的智能路由機制還支持按領域調用特定LLM，從而提升輸出質量并顯著改善客戶體驗。F5的先進流量管理技術可確保查詢精準分發(fā)至最適合的模型節(jié)點，從而降低延遲并加快首個詞元生成時間。

今年早些時候，NVIDIA推出Dynamo框架，旨在為生成式AI與推理模型在大規(guī)模分布式環(huán)境中的部署提供支撐。通過統一調度、流量路由和內存管理等核心任務，NVIDIADynamo有效簡化了分布式環(huán)境中AI推理的復雜性，確保其在動態(tài)工作負載下的穩(wěn)定運行。F5與NVIDIA的聯合解決方案的核心優(yōu)勢之一，是將部分計算操作從CPU卸載至BlueFieldDPU，從而顯著提升整體效率。借助F5技術，DynamoKVCacheManager可基于容量智能路由請求，并通過鍵值（KV）緩存機制，顯著加速生成式AI應用的響應速度。該機制通過復用歷史運算信息，避免重復計算，顯著降低資源開銷。就基礎架構而言，企業(yè)通過KV緩存存儲與復用機制，相比直接占用GPU昂貴的內存資源，能以更低成本實現性能優(yōu)化。

另外，通過在MCP服務器前端部署F5與NVIDIA聯合解決方案，F5可充當反向代理，從而增強MCP解決方案及其所支持LLM的安全能力。同時，F5iRules提供的全數據可編程能力，能夠快速并靈活地響應AI協議的快速演進需求，并進一步抵御新興網絡安全風險。

失蹤三百年富二代歸來,都市風云再起,學霸警花特工劍仙誰是他真愛?

超然都市重生文!紈绔少爺強勢歸來,收服各路女神,登上武道巔峰

精選超燃,力壓《華夏大宗師》還沒看的趕緊戳進來!