近日,時(shí)序數(shù)據(jù)庫(kù)廠商TDengineTSDB3.3.7.0版本正式發(fā)布。本次更新聚焦“時(shí)序數(shù)據(jù)處理與集成能力”雙重提升,圍繞數(shù)據(jù)處理的實(shí)時(shí)性、復(fù)雜性和低延遲需求,全面升級(jí)TDengine流計(jì)算架構(gòu),并新增MQTT數(shù)據(jù)訂閱、BLOB數(shù)據(jù)類型、多級(jí)存儲(chǔ)共享存儲(chǔ)支持、IPv6通信等關(guān)鍵能力,持續(xù)強(qiáng)化時(shí)序數(shù)據(jù)平臺(tái)的場(chǎng)景適應(yīng)力與可擴(kuò)展性。
重要更新亮點(diǎn)
全新架構(gòu)流計(jì)算:性能更高,能力更強(qiáng)
本次發(fā)布的全新流計(jì)算系統(tǒng),圍繞靈活性、穩(wěn)定性與可運(yùn)維性進(jìn)行深度升級(jí),具備以下核心特性:
?觸發(fā)與計(jì)算分離:支持觸發(fā)與計(jì)算分離,計(jì)算不再受限于觸發(fā)數(shù)據(jù)源,可作用于任意表,甚至無(wú)需觸發(fā)表,靈活適配復(fù)雜流程;
?觸發(fā)機(jī)制更靈活:支持定時(shí)觸發(fā)、滑動(dòng)觸發(fā)、窗口觸發(fā)(時(shí)間/事件/會(huì)話/狀態(tài)/計(jì)數(shù)),支持窗口開(kāi)/關(guān)窗分別觸發(fā),并可預(yù)過(guò)濾輸入數(shù)據(jù)。
?計(jì)算邏輯增強(qiáng):支持任意SQL查詢,支持窗口參數(shù)占位符,計(jì)算結(jié)果可寫入表、發(fā)送通知,或同時(shí)執(zhí)行。
?通知機(jī)制更完善:支持基于WebSocket的窗口事件通知,并可配置觸發(fā)條件、失敗重試策略。
?資源調(diào)度更靈活:計(jì)算過(guò)程可在snode節(jié)點(diǎn)上獨(dú)立運(yùn)行,多節(jié)點(diǎn)負(fù)載均衡與高可用,提升系統(tǒng)穩(wěn)定性。
此外,新版本特別強(qiáng)化了異常數(shù)據(jù)重算機(jī)制,支持通過(guò)選項(xiàng)控制是否自動(dòng)重算,并可結(jié)合WATERMARK等多個(gè)控制選項(xiàng)實(shí)現(xiàn)亂序容忍、數(shù)據(jù)刪除后的結(jié)果修復(fù)。
流計(jì)算重構(gòu)為TDengine帶來(lái)了更強(qiáng)的事件處理能力,是構(gòu)建低延遲報(bào)警、預(yù)測(cè)分析、實(shí)時(shí)特征提取等場(chǎng)景的核心基礎(chǔ)。也為TDengine最新發(fā)布的AI原生工業(yè)數(shù)據(jù)管理平臺(tái)IDMP的實(shí)時(shí)分析等功能提供強(qiáng)有力支持。
支持MQTT協(xié)議數(shù)據(jù)訂閱:零代碼集成更簡(jiǎn)單
MQTT作為工業(yè)領(lǐng)域主流的消息協(xié)議,TDengineTSDB時(shí)序數(shù)據(jù)庫(kù)新增對(duì)MQTT的原生訂閱支持:
?bnode模塊上線:作為Broker提供服務(wù),用戶可通過(guò)標(biāo)準(zhǔn)MQTT客戶端直接訂閱數(shù)據(jù),無(wú)需額外開(kāi)發(fā)。
?共享訂閱與消費(fèi)組機(jī)制:支持負(fù)載均衡與高可用,客戶端斷連可自動(dòng)切換,消息可在組內(nèi)自動(dòng)重分配。
?多種數(shù)據(jù)格式支持:支持JSON、RawBlock格式,適配多種前端解析邏輯。
?主題管理要求:與標(biāo)準(zhǔn)MQTTBroker不同,TDengine的訂閱主題需預(yù)先創(chuàng)建,不支持通過(guò)發(fā)布消息動(dòng)態(tài)生成。
?通過(guò)taosX工具,可將數(shù)據(jù)庫(kù)、超級(jí)表或查詢訂閱結(jié)果輕松發(fā)布至任意MQTTBroker,實(shí)現(xiàn)數(shù)據(jù)的高效同步與分發(fā)。
通過(guò)MQTT訂閱,TDengineTSDB時(shí)序數(shù)據(jù)庫(kù)與業(yè)務(wù)系統(tǒng)的聯(lián)動(dòng)效率進(jìn)一步提升。這一能力讓TDengine更易集成到SCADA、邊緣控制、Web可視化等系統(tǒng),構(gòu)建起真正實(shí)時(shí)、穩(wěn)定、低門檻的數(shù)據(jù)消費(fèi)通道。
新增BLOB數(shù)據(jù)類型:輕松存儲(chǔ)大體量二進(jìn)制數(shù)據(jù)
為滿足車聯(lián)網(wǎng)、航空航天等行業(yè)對(duì)大數(shù)據(jù)報(bào)文的存儲(chǔ)需求,TDengine全新引入BLOB類型:
?用于存儲(chǔ)長(zhǎng)度較大的、未解析/拆分行列的二進(jìn)制或者文本型數(shù)據(jù)
?支持最大4MB單字段二進(jìn)制內(nèi)容寫入
?支持SQL查詢語(yǔ)法
?使用獨(dú)立的BSE引擎管理存儲(chǔ)與讀取,性能顯著優(yōu)于傳統(tǒng)Binary類型
?Java、Go、Rust、Python、C#等連接器已實(shí)現(xiàn)BLOB類型支持
BLOB類型是TDengine面向非結(jié)構(gòu)化數(shù)據(jù)的一次重要擴(kuò)展,讓原始報(bào)文存儲(chǔ)、圖像數(shù)據(jù)、協(xié)議幀數(shù)據(jù)的管理更加高效統(tǒng)一。
原生支持IPv6通信協(xié)議
為應(yīng)對(duì)未來(lái)萬(wàn)物互聯(lián)趨勢(shì),TDengine現(xiàn)已原生支持集群內(nèi)部通過(guò)IPv6協(xié)議通信,包括:
?節(jié)點(diǎn)發(fā)現(xiàn)與連接、心跳同步、審計(jì)監(jiān)控等通信流程
?創(chuàng)建節(jié)點(diǎn)(dnode/mnode/qnode)時(shí)支持IPv6地址配置
?taosc連接、白名單、安全策略全面適配IPv6
?Java、Go、Rust、Python、C#等連接器全面適配IPv6
這項(xiàng)更新為全球部署、未來(lái)網(wǎng)絡(luò)架構(gòu)提供了更強(qiáng)的適應(yīng)力。
TDgpt協(xié)變量分析預(yù)測(cè)能力增強(qiáng)
TDengine的AI模塊TDgpt新增“協(xié)變量預(yù)測(cè)”能力,在建模時(shí)不僅考慮目標(biāo)變量自身的歷史數(shù)值,還可引入天氣、節(jié)假日等外部因素作為協(xié)變量,顯著提升對(duì)復(fù)雜周期性變化的預(yù)測(cè)效果。
以未來(lái)協(xié)變量預(yù)測(cè)為例,示例如下:
sql
select_frowts,forecast(val,past_co,future_co,"algo=moirai,rows=4,dynamic_val=[1111],dynamic_val_col=future_co")fromfoo;
多級(jí)存儲(chǔ)支持共享存儲(chǔ)(企業(yè)版)
針對(duì)冷數(shù)據(jù)管理需求,3.3.7.0正式支持多種共享存儲(chǔ)(如SAN、NAS、S3、DFS),實(shí)現(xiàn):
?冷數(shù)據(jù)自動(dòng)遷移:支持設(shè)定數(shù)據(jù)在本地保留時(shí)長(zhǎng),達(dá)到閾值后自動(dòng)上傳至共享存儲(chǔ)
?按需查詢:查詢時(shí)自動(dòng)加載所需數(shù)據(jù)塊,確保性能與成本平衡
?多節(jié)點(diǎn)共享機(jī)制:主節(jié)點(diǎn)上傳,副本節(jié)點(diǎn)復(fù)用,避免冗余
這一能力特別適合對(duì)存儲(chǔ)成本敏感、歷史數(shù)據(jù)不常訪問(wèn)但不能丟棄的工業(yè)企業(yè)與能源場(chǎng)景。
天脈系統(tǒng)適配及數(shù)據(jù)掛載支持(企業(yè)版)
為了更好地服務(wù)國(guó)產(chǎn)化、軍工與航天等高安全行業(yè)客戶,TDengine企業(yè)版現(xiàn)已完成對(duì)天脈系統(tǒng)(ACoreOS)的適配。作為由中航工業(yè)計(jì)算所自主研發(fā)的國(guó)產(chǎn)機(jī)載實(shí)時(shí)操作系統(tǒng),天脈廣泛應(yīng)用于工業(yè)控制、航空航天等關(guān)鍵領(lǐng)域。新版本支持:
?在機(jī)載端部署TDengine,并通過(guò)RPC通信與地面系統(tǒng)交互
?在地面端通過(guò)SQL命令掛載機(jī)載磁盤目錄,實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理
sql
createmountmount1ondnode1from"/var/lib/TDengine"
?掛載性能高效,秒級(jí)完成,兼顧實(shí)時(shí)性與安全性
此功能使TDengine成為工業(yè)嵌入式場(chǎng)景中可部署、可接管、可統(tǒng)一管理的數(shù)據(jù)平臺(tái)解決方案,助力國(guó)產(chǎn)化進(jìn)程穩(wěn)步推進(jìn)。
SparkplugB數(shù)據(jù)接入(企業(yè)版)
在TDengine3.3.7.0中,taosX平臺(tái)正式支持SparkplugB規(guī)范的數(shù)據(jù)接入。taosX是專為工業(yè)環(huán)境設(shè)計(jì)的開(kāi)放式數(shù)據(jù)接入平臺(tái),此次對(duì)SparkplugB的支持,進(jìn)一步擴(kuò)展了TDengine在工業(yè)協(xié)議集成方面的能力。
SparkplugB是基于MQTT的工業(yè)物聯(lián)網(wǎng)(IIoT)數(shù)據(jù)傳輸規(guī)范,旨在提升工業(yè)環(huán)境中的數(shù)據(jù)互操作性與傳輸效率,具備以下顯著優(yōu)勢(shì):
?提升帶寬利用率:相比原始MQTT,SparkplugB數(shù)據(jù)壓縮率高達(dá)3倍,特別適用于低帶寬網(wǎng)絡(luò)環(huán)境。與Modbus相比,最高可節(jié)省75%至99.5%的帶寬資源。
?標(biāo)準(zhǔn)化與互操作性強(qiáng):為設(shè)備與系統(tǒng)間的數(shù)據(jù)交換提供統(tǒng)一數(shù)據(jù)語(yǔ)義,消除廠商壁壘,支持無(wú)縫對(duì)接SCADA、MES、ERP等企業(yè)系統(tǒng),實(shí)現(xiàn)IT與OT的融合。
?數(shù)據(jù)可靠性更強(qiáng):具備會(huì)話狀態(tài)感知與雙向通信能力,支持設(shè)備級(jí)閉環(huán)控制。
憑借高效、輕量、易部署等特點(diǎn),SparkplugB正成為工業(yè)物聯(lián)網(wǎng)場(chǎng)景下最具實(shí)用價(jià)值的通信協(xié)議之一,尤其適用于需要低帶寬、高可靠性、強(qiáng)互操作性的工業(yè)應(yīng)用場(chǎng)景。與OPCUA等傳統(tǒng)工業(yè)協(xié)議相比,其在帶寬利用率、部署簡(jiǎn)便性和可擴(kuò)展性方面表現(xiàn)尤為突出。
將訂閱數(shù)據(jù)推送至MQTTBroker(企業(yè)版)
通過(guò)taosX工具,可將數(shù)據(jù)庫(kù)、超級(jí)表或查詢訂閱結(jié)果輕松發(fā)布至任意MQTTBroker,實(shí)現(xiàn)數(shù)據(jù)的高效同步與分發(fā)。
其他優(yōu)化項(xiàng)
?提升STMT2寫入模式的易用性、穩(wěn)定性和性能
?優(yōu)化數(shù)據(jù)訂閱Offset的更新邏輯
?支持將查詢結(jié)果寫入超級(jí)表
?增加WAL文件損壞的異常處理邏輯
?增加密碼安全加密算法
?增加寫入性能診斷的相關(guān)監(jiān)測(cè)參數(shù)
?提升節(jié)點(diǎn)恢復(fù)和副本變更的性能
?支持更多生態(tài)組件:Superset、Quix、Ontop、Node-RED
?優(yōu)化數(shù)據(jù)備份和恢復(fù)的功能、穩(wěn)定性和性能
?擴(kuò)展UDT(User-Defined-Transformer)支持的數(shù)據(jù)類型
除此之外,TDengineTSDB時(shí)序數(shù)據(jù)庫(kù)新版本還包含了多項(xiàng)bug修復(fù)、功能優(yōu)化等等。
關(guān)于TDengineTSDB時(shí)序數(shù)據(jù)庫(kù)
TDengineTSDB是一款高性能、集群開(kāi)源、云原生、極簡(jiǎn)的時(shí)序數(shù)據(jù)庫(kù),它能安全高效地將大量設(shè)備每天產(chǎn)生的高達(dá)TB甚至PB級(jí)的數(shù)據(jù)進(jìn)行匯聚、存儲(chǔ)、分析和分發(fā),并提供AI智能體對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)與異常檢測(cè),提供實(shí)時(shí)的商業(yè)洞察。
穿越后我的身體居然藏著一條龍?吸食妖丹后我的修為直接超神
仙界第一小白龍,我做天妃兩百年了,今年正好兩百歲
《被開(kāi)除后我養(yǎng)了一條龍》,圈粉無(wú)數(shù)的秘訣有多恐怖?
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。