天津應(yīng)急局:近期務(wù)必遠(yuǎn)離河道等區(qū)域
竹節(jié)草將二次登陸 浙江111條預(yù)警連發(fā)
近日,時序數(shù)據(jù)庫廠商TDengineTSDB3.3.7.0版本正式發(fā)布。本次更新聚焦“時序數(shù)據(jù)處理與集成能力”雙重提升,圍繞數(shù)據(jù)處理的實時性、復(fù)雜性和低延遲需求,全面升級TDengine流計算架構(gòu),并新增MQTT數(shù)據(jù)訂閱、BLOB數(shù)據(jù)類型、多級存儲共享存儲支持、IPv6通信等關(guān)鍵能力,持續(xù)強(qiáng)化時序數(shù)據(jù)平臺的場景適應(yīng)力與可擴(kuò)展性。
重要更新亮點
全新架構(gòu)流計算:性能更高,能力更強(qiáng)
本次發(fā)布的全新流計算系統(tǒng),圍繞靈活性、穩(wěn)定性與可運維性進(jìn)行深度升級,具備以下核心特性:
?觸發(fā)與計算分離:支持觸發(fā)與計算分離,計算不再受限于觸發(fā)數(shù)據(jù)源,可作用于任意表,甚至無需觸發(fā)表,靈活適配復(fù)雜流程;
?觸發(fā)機(jī)制更靈活:支持定時觸發(fā)、滑動觸發(fā)、窗口觸發(fā)(時間/事件/會話/狀態(tài)/計數(shù)),支持窗口開/關(guān)窗分別觸發(fā),并可預(yù)過濾輸入數(shù)據(jù)。
?計算邏輯增強(qiáng):支持任意SQL查詢,支持窗口參數(shù)占位符,計算結(jié)果可寫入表、發(fā)送通知,或同時執(zhí)行。
?通知機(jī)制更完善:支持基于WebSocket的窗口事件通知,并可配置觸發(fā)條件、失敗重試策略。
?資源調(diào)度更靈活:計算過程可在snode節(jié)點上獨立運行,多節(jié)點負(fù)載均衡與高可用,提升系統(tǒng)穩(wěn)定性。
此外,新版本特別強(qiáng)化了異常數(shù)據(jù)重算機(jī)制,支持通過選項控制是否自動重算,并可結(jié)合WATERMARK等多個控制選項實現(xiàn)亂序容忍、數(shù)據(jù)刪除后的結(jié)果修復(fù)。
流計算重構(gòu)為TDengine帶來了更強(qiáng)的事件處理能力,是構(gòu)建低延遲報警、預(yù)測分析、實時特征提取等場景的核心基礎(chǔ)。也為TDengine最新發(fā)布的AI原生工業(yè)數(shù)據(jù)管理平臺IDMP的實時分析等功能提供強(qiáng)有力支持。
支持MQTT協(xié)議數(shù)據(jù)訂閱:零代碼集成更簡單
MQTT作為工業(yè)領(lǐng)域主流的消息協(xié)議,TDengineTSDB時序數(shù)據(jù)庫新增對MQTT的原生訂閱支持:
?bnode模塊上線:作為Broker提供服務(wù),用戶可通過標(biāo)準(zhǔn)MQTT客戶端直接訂閱數(shù)據(jù),無需額外開發(fā)。
?共享訂閱與消費組機(jī)制:支持負(fù)載均衡與高可用,客戶端斷連可自動切換,消息可在組內(nèi)自動重分配。
?多種數(shù)據(jù)格式支持:支持JSON、RawBlock格式,適配多種前端解析邏輯。
?主題管理要求:與標(biāo)準(zhǔn)MQTTBroker不同,TDengine的訂閱主題需預(yù)先創(chuàng)建,不支持通過發(fā)布消息動態(tài)生成。
?通過taosX工具,可將數(shù)據(jù)庫、超級表或查詢訂閱結(jié)果輕松發(fā)布至任意MQTTBroker,實現(xiàn)數(shù)據(jù)的高效同步與分發(fā)。
通過MQTT訂閱,TDengineTSDB時序數(shù)據(jù)庫與業(yè)務(wù)系統(tǒng)的聯(lián)動效率進(jìn)一步提升。這一能力讓TDengine更易集成到SCADA、邊緣控制、Web可視化等系統(tǒng),構(gòu)建起真正實時、穩(wěn)定、低門檻的數(shù)據(jù)消費通道。
新增BLOB數(shù)據(jù)類型:輕松存儲大體量二進(jìn)制數(shù)據(jù)
為滿足車聯(lián)網(wǎng)、航空航天等行業(yè)對大數(shù)據(jù)報文的存儲需求,TDengine全新引入BLOB類型:
?用于存儲長度較大的、未解析/拆分行列的二進(jìn)制或者文本型數(shù)據(jù)
?支持最大4MB單字段二進(jìn)制內(nèi)容寫入
?支持SQL查詢語法
?使用獨立的BSE引擎管理存儲與讀取,性能顯著優(yōu)于傳統(tǒng)Binary類型
?Java、Go、Rust、Python、C#等連接器已實現(xiàn)BLOB類型支持
BLOB類型是TDengine面向非結(jié)構(gòu)化數(shù)據(jù)的一次重要擴(kuò)展,讓原始報文存儲、圖像數(shù)據(jù)、協(xié)議幀數(shù)據(jù)的管理更加高效統(tǒng)一。
原生支持IPv6通信協(xié)議
為應(yīng)對未來萬物互聯(lián)趨勢,TDengine現(xiàn)已原生支持集群內(nèi)部通過IPv6協(xié)議通信,包括:
?節(jié)點發(fā)現(xiàn)與連接、心跳同步、審計監(jiān)控等通信流程
?創(chuàng)建節(jié)點(dnode/mnode/qnode)時支持IPv6地址配置
?taosc連接、白名單、安全策略全面適配IPv6
?Java、Go、Rust、Python、C#等連接器全面適配IPv6
這項更新為全球部署、未來網(wǎng)絡(luò)架構(gòu)提供了更強(qiáng)的適應(yīng)力。
TDgpt協(xié)變量分析預(yù)測能力增強(qiáng)
TDengine的AI模塊TDgpt新增“協(xié)變量預(yù)測”能力,在建模時不僅考慮目標(biāo)變量自身的歷史數(shù)值,還可引入天氣、節(jié)假日等外部因素作為協(xié)變量,顯著提升對復(fù)雜周期性變化的預(yù)測效果。
以未來協(xié)變量預(yù)測為例,示例如下:
sql
select_frowts,forecast(val,past_co,future_co,"algo=moirai,rows=4,dynamic_val=[1111],dynamic_val_col=future_co")fromfoo;
多級存儲支持共享存儲(企業(yè)版)
針對冷數(shù)據(jù)管理需求,3.3.7.0正式支持多種共享存儲(如SAN、NAS、S3、DFS),實現(xiàn):
?冷數(shù)據(jù)自動遷移:支持設(shè)定數(shù)據(jù)在本地保留時長,達(dá)到閾值后自動上傳至共享存儲
?按需查詢:查詢時自動加載所需數(shù)據(jù)塊,確保性能與成本平衡
?多節(jié)點共享機(jī)制:主節(jié)點上傳,副本節(jié)點復(fù)用,避免冗余
這一能力特別適合對存儲成本敏感、歷史數(shù)據(jù)不常訪問但不能丟棄的工業(yè)企業(yè)與能源場景。
天脈系統(tǒng)適配及數(shù)據(jù)掛載支持(企業(yè)版)
為了更好地服務(wù)國產(chǎn)化、軍工與航天等高安全行業(yè)客戶,TDengine企業(yè)版現(xiàn)已完成對天脈系統(tǒng)(ACoreOS)的適配。作為由中航工業(yè)計算所自主研發(fā)的國產(chǎn)機(jī)載實時操作系統(tǒng),天脈廣泛應(yīng)用于工業(yè)控制、航空航天等關(guān)鍵領(lǐng)域。新版本支持:
?在機(jī)載端部署TDengine,并通過RPC通信與地面系統(tǒng)交互
?在地面端通過SQL命令掛載機(jī)載磁盤目錄,實現(xiàn)數(shù)據(jù)統(tǒng)一管理
sql
createmountmount1ondnode1from"/var/lib/TDengine"
?掛載性能高效,秒級完成,兼顧實時性與安全性
此功能使TDengine成為工業(yè)嵌入式場景中可部署、可接管、可統(tǒng)一管理的數(shù)據(jù)平臺解決方案,助力國產(chǎn)化進(jìn)程穩(wěn)步推進(jìn)。
SparkplugB數(shù)據(jù)接入(企業(yè)版)
在TDengine3.3.7.0中,taosX平臺正式支持SparkplugB規(guī)范的數(shù)據(jù)接入。taosX是專為工業(yè)環(huán)境設(shè)計的開放式數(shù)據(jù)接入平臺,此次對SparkplugB的支持,進(jìn)一步擴(kuò)展了TDengine在工業(yè)協(xié)議集成方面的能力。
SparkplugB是基于MQTT的工業(yè)物聯(lián)網(wǎng)(IIoT)數(shù)據(jù)傳輸規(guī)范,旨在提升工業(yè)環(huán)境中的數(shù)據(jù)互操作性與傳輸效率,具備以下顯著優(yōu)勢:
?提升帶寬利用率:相比原始MQTT,SparkplugB數(shù)據(jù)壓縮率高達(dá)3倍,特別適用于低帶寬網(wǎng)絡(luò)環(huán)境。與Modbus相比,最高可節(jié)省75%至99.5%的帶寬資源。
?標(biāo)準(zhǔn)化與互操作性強(qiáng):為設(shè)備與系統(tǒng)間的數(shù)據(jù)交換提供統(tǒng)一數(shù)據(jù)語義,消除廠商壁壘,支持無縫對接SCADA、MES、ERP等企業(yè)系統(tǒng),實現(xiàn)IT與OT的融合。
?數(shù)據(jù)可靠性更強(qiáng):具備會話狀態(tài)感知與雙向通信能力,支持設(shè)備級閉環(huán)控制。
憑借高效、輕量、易部署等特點,SparkplugB正成為工業(yè)物聯(lián)網(wǎng)場景下最具實用價值的通信協(xié)議之一,尤其適用于需要低帶寬、高可靠性、強(qiáng)互操作性的工業(yè)應(yīng)用場景。與OPCUA等傳統(tǒng)工業(yè)協(xié)議相比,其在帶寬利用率、部署簡便性和可擴(kuò)展性方面表現(xiàn)尤為突出。
將訂閱數(shù)據(jù)推送至MQTTBroker(企業(yè)版)
通過taosX工具,可將數(shù)據(jù)庫、超級表或查詢訂閱結(jié)果輕松發(fā)布至任意MQTTBroker,實現(xiàn)數(shù)據(jù)的高效同步與分發(fā)。
其他優(yōu)化項
?提升STMT2寫入模式的易用性、穩(wěn)定性和性能
?優(yōu)化數(shù)據(jù)訂閱Offset的更新邏輯
?支持將查詢結(jié)果寫入超級表
?增加WAL文件損壞的異常處理邏輯
?增加密碼安全加密算法
?增加寫入性能診斷的相關(guān)監(jiān)測參數(shù)
?提升節(jié)點恢復(fù)和副本變更的性能
?支持更多生態(tài)組件:Superset、Quix、Ontop、Node-RED
?優(yōu)化數(shù)據(jù)備份和恢復(fù)的功能、穩(wěn)定性和性能
?擴(kuò)展UDT(User-Defined-Transformer)支持的數(shù)據(jù)類型
除此之外,TDengineTSDB時序數(shù)據(jù)庫新版本還包含了多項bug修復(fù)、功能優(yōu)化等等。
關(guān)于TDengineTSDB時序數(shù)據(jù)庫
TDengineTSDB是一款高性能、集群開源、云原生、極簡的時序數(shù)據(jù)庫,它能安全高效地將大量設(shè)備每天產(chǎn)生的高達(dá)TB甚至PB級的數(shù)據(jù)進(jìn)行匯聚、存儲、分析和分發(fā),并提供AI智能體對數(shù)據(jù)進(jìn)行預(yù)測與異常檢測,提供實時的商業(yè)洞察。