文｜白鴿

編｜王一粟

當月活千萬的APP面臨AI轉(zhuǎn)型，該怎么做數(shù)據(jù)存儲？

2013年成立于大灣區(qū)的貨運物流App貨拉拉，目前所積累的數(shù)據(jù)量已達40PB+，在整個行業(yè)中屬于中等規(guī)模，“我們現(xiàn)在數(shù)據(jù)量增速也非?？?，每一年還會增加幾PB?！必浝髷?shù)據(jù)專家章嘯說道。

如此龐大數(shù)據(jù)量，需要一個既能夠穩(wěn)定、安全，又能夠提高讀寫能力的數(shù)據(jù)存儲設施。

“自建的穩(wěn)定性跟云的穩(wěn)定性相比，還是差一些?！闭聡[說道，“所以我們現(xiàn)在基本99%的數(shù)據(jù)都存儲在云上，不過也保留了一些自建的基礎設施，屬于自建+云服務的混合架構體系?！?/p>

混合架構增加了管理難度，所以找到一朵適合自己業(yè)務的云，更加關鍵。

一年多前，貨拉拉將40PB+數(shù)據(jù)，進行了一次大規(guī)模云上遷移，最終遷移目的地，是騰訊云。

用章嘯的話說，這次遷移可謂是“開著飛機換引擎”，但最終結果是好的，0故障完成了40PB+的大數(shù)據(jù)基建搬遷。

數(shù)據(jù)遷移一年后，依托騰訊云DataPlatform數(shù)據(jù)平臺解決方案，貨拉拉實現(xiàn)貨運報表產(chǎn)出提前40分鐘，讓任務提速10%。

而這離不開騰訊云DataPlatform數(shù)據(jù)平臺解決方案旗下的兩個拳頭產(chǎn)品：對象存儲COS、元數(shù)據(jù)加速器MetadataAccelerator。

隨著AI大模型時代的到來，貨拉拉也在積極擁抱AI，但又面臨著新的難題——AI大模型所需要的海量數(shù)據(jù)頻繁訪問，拉低了整個數(shù)據(jù)訪問的速度。

那么，AI大模型時代，貨拉拉該如何面對海量數(shù)據(jù)爆炸式增長的挑戰(zhàn)？這也是所有面臨AI轉(zhuǎn)型的公司們，共同的難題。

40PB+數(shù)據(jù)的云上遷移，開著飛機換引擎

12年時間積攢的數(shù)據(jù)量，貨拉拉將其一次全部遷移到了騰訊云存儲系統(tǒng)架構中，如此大規(guī)模的數(shù)據(jù)遷移，挑戰(zhàn)相當大。

業(yè)內(nèi)皆知，企業(yè)積累的海量數(shù)據(jù)，就是一座尚未被挖掘的“金礦”，數(shù)據(jù)不光要存起來，更重要的還要能用，才能夠真正發(fā)揮數(shù)據(jù)的價值。

但往往在使用數(shù)據(jù)的過程中，一方面存在著數(shù)據(jù)誤刪、數(shù)據(jù)勒索、機房災難等導致核心數(shù)據(jù)丟失的情況，另一方面，海量且持續(xù)增長的視頻、圖片等非結構化數(shù)據(jù)，也面臨著存儲成本增加、傳統(tǒng)存儲架構響應慢，難以滿足企業(yè)實時調(diào)用等需求。

事實上，當前貨拉拉業(yè)務規(guī)模已經(jīng)達到超億級文件數(shù)量規(guī)模，在此規(guī)模下，數(shù)據(jù)存儲需要保障數(shù)據(jù)可靠性滿足不丟失需求的同時，還需要實現(xiàn)業(yè)務高可用，滿足任務執(zhí)行期間業(yè)務不受損。

針對這些問題，貨拉拉已經(jīng)形成了自建+混合云服務的大數(shù)據(jù)存儲架構。

在其大數(shù)據(jù)存儲架構中，底層接入層是采集用戶數(shù)據(jù)層，將數(shù)據(jù)采集之后針對不同時效性要求，會經(jīng)過批處理和流處理等方式，寫入到在線存儲或提供給業(yè)務使用。

其中，批計算主要是處理永久存儲在存儲系統(tǒng)中的數(shù)據(jù)，流計算則處理實時生成的數(shù)據(jù)，“批處理的部分我們是部署在騰訊云上，其他的板塊則在其他云上?！闭聡[說道。

另外，針對數(shù)據(jù)災備可能出現(xiàn)的核心數(shù)據(jù)丟失問題，貨拉拉打造了兩套體系化的數(shù)據(jù)災備架構：

一是元初-元數(shù)據(jù)管理平臺，針對七天內(nèi)被誤刪的數(shù)據(jù)，能夠通過多層防護，快速恢復數(shù)據(jù)；

二是自研災備系統(tǒng)Kirk，針對數(shù)據(jù)勒索和機房災難，可實現(xiàn)PB級數(shù)據(jù)災備，并全鏈路災備；

基于這兩套系統(tǒng)的能力，貨拉拉可以實現(xiàn)數(shù)據(jù)誤刪的100%召回，核心數(shù)據(jù)100%災備。

“隨著我們與騰訊云的深入合作，最終決定將整個40PB+規(guī)模數(shù)據(jù)都遷移到了騰訊云上?！闭聡[說道，“騰訊云DataPlatform數(shù)據(jù)平臺解決方案能夠提供多種能力和服務，不過我們現(xiàn)階段主要使用了底層存儲和元數(shù)據(jù)加速能力。”

據(jù)章嘯介紹，整個數(shù)據(jù)遷移大概分為幾個步驟：

首先是基于Kirk系統(tǒng)和數(shù)據(jù)離線開發(fā)平臺做數(shù)據(jù)遷移和任務遷移，會同時在兩朵云中跑任務，跑完之后會自動進行數(shù)據(jù)對比，防止數(shù)據(jù)出錯。對比的結果完成后給到業(yè)務做驗收。

當整個數(shù)據(jù)驗收能持續(xù)驗收成功，會對整個開發(fā)平臺做封網(wǎng)，在當天把整個鏈路跑完后，再次對比數(shù)據(jù)準確性，確保準確之后，再將所有系統(tǒng)全部切換，從而完成整個云的遷移。

“我們將數(shù)據(jù)遷移過來一年多，目前沒有出現(xiàn)由于COS這種存儲所導致的問題，真正做到了0故障率，整體的建立過程也非常平穩(wěn)。”章嘯說道。

AI時代數(shù)據(jù)大爆炸，存儲的難題怎么解？

企業(yè)面臨AI業(yè)務的轉(zhuǎn)型，帶來了許多對數(shù)據(jù)的新需求。

最近兩年，貨拉拉落地了許多新的AI業(yè)務板塊。

“我們現(xiàn)在AI業(yè)務主要有ChatBI、AI客服等相關的內(nèi)容，在AI方面目前跟騰訊合作的很深入。”章嘯說道。

AI應用在進行模型訓練時，對數(shù)據(jù)的調(diào)用需要有高吞吐、低延時。

這就帶來了新的問題——AI數(shù)據(jù)和傳統(tǒng)大數(shù)據(jù)混合。

“我們的數(shù)據(jù)都在騰訊云上，現(xiàn)在存在一些模型訓練的任務，會把整個桶的下行帶寬持續(xù)拉滿，這樣會對我們整個離線鏈路的穩(wěn)定性有很大影響?！闭聡[說道。

企業(yè)傳統(tǒng)業(yè)務的大數(shù)據(jù)存儲計算需要高穩(wěn)定性，而AI大模型的數(shù)據(jù)訓練卻需要高吞吐、大帶寬，兩個數(shù)據(jù)存儲需求相互搶占資源，又該如何在一個系統(tǒng)架構中實現(xiàn)共存？

“針對這些問題，我們也跟騰訊交流分享了幾次，最后提出了分桶而治，專項優(yōu)化的解決方案?！闭聡[說道，基于騰訊云對象存儲COS，是在底層做了兩個存儲集群，即COS桶1和COS桶2：

COS桶1，專做大數(shù)據(jù)存儲，上層支撐整個大數(shù)據(jù)市場相關業(yè)務；

COS桶2，則寫入專做AI大模型訓練的數(shù)據(jù)，上層對應整個AI項目；

基于此，“存儲層按照應用拆分不同桶，僅遷移單個模型下行帶寬下降8%。”章嘯說道，“不過，我們也明顯感受到AI業(yè)務對帶寬吞吐的訴求要比大數(shù)據(jù)大的多，后續(xù)也會逐步把AI業(yè)務通過這樣的方式遷移過來，再進行專項優(yōu)化?！?/p>

在底層COS存儲設立兩個桶，雖然緩解了大數(shù)據(jù)和AI大模型數(shù)據(jù)在使用時對帶寬需求的壓力，但AI大模型數(shù)據(jù)存儲桶自身，也仍面臨著需要非常高的帶寬吞吐能力。

針對這一問題，貨拉拉正與騰訊云基于數(shù)據(jù)加速器GooseFS進行探索。

據(jù)介紹，騰訊云數(shù)據(jù)湖存儲GooseFS可支持Tbps級吞吐、千億級元數(shù)據(jù)規(guī)模、單鏈接速度輕松達到GBps級別，相比于行業(yè)內(nèi)百兆級規(guī)模提升10倍，大模型分發(fā)效率10倍躍升。

而實現(xiàn)數(shù)據(jù)高速調(diào)用的背后，GooseFS主要是通過對數(shù)據(jù)的親和力調(diào)度能力，將數(shù)據(jù)調(diào)度到跟計算相關節(jié)點更近的本地磁盤上，提供Tbps級的吞吐性能。

“我們用起來體驗感最好的，就是GooseFS的元數(shù)據(jù)加速能力?！闭聡[坦言。

最后，針對跨云的問題，章嘯也表示，目前基于COS的模式進行訓練，可以實現(xiàn)按需配置，“數(shù)據(jù)將持久化存儲在COSDataLake中，訓練數(shù)據(jù)按需通過GooseFS拉取到云上或者IDC計算端，做到一份Dataset，多地訓練。”

可以看到，COS作為云存儲底座，為貨拉拉40PB+的數(shù)據(jù)提供統(tǒng)一存儲池，能夠提供安全穩(wěn)定的數(shù)據(jù)存儲能力，在大幅度提升系統(tǒng)可用性、可靠性等性能的同時，也還可以大幅降低存儲成本。

而GooseFS則提供元數(shù)據(jù)的數(shù)據(jù)緩存加速服務，能夠滿足大規(guī)模數(shù)據(jù)處理和訓練對高性能存儲的需求，幫助貨拉拉落地AI應用業(yè)務。

數(shù)據(jù)萬象助力企業(yè)，釋放數(shù)據(jù)價值

隨著企業(yè)非結構化數(shù)據(jù)不斷增長，帶來了AI識別難，處理速度慢等新難題。

為了讓數(shù)據(jù)的價值能夠釋放，需要在存儲端就開始做預處理。

而騰訊云數(shù)據(jù)萬象，能夠有效幫助企業(yè)解決這一問題。數(shù)據(jù)萬象，主要包含兩個功能，一個是數(shù)據(jù)管理Metalnsight，一個是數(shù)據(jù)處理DataEngine。

DataEngine，就是數(shù)據(jù)處理，把計算下沉到存儲端，提供大量標準化的圖片、音視頻的處理能力。比如小紅書用戶上傳圖片，它能在數(shù)據(jù)層就把圖片進行壓縮+裁剪+上水印，在圖片質(zhì)量不受損的情況，提升圖片訪問性能，保護知識產(chǎn)權。

MetaInsight，通過智能檢索能力為客戶提供一種高效的數(shù)據(jù)管理服務，它能讓用戶使用自然語言快速檢索海量非結構化數(shù)據(jù)（圖片、音視頻等）。比如網(wǎng)盤、手機相冊中的“以文搜圖”，之前找照片只能按時間一張張找，現(xiàn)在可以輸入關鍵字直接搜到。

舉個例子，在電商商品搜索中，基于MetaInsight的以圖搜圖功能，用戶在上傳商品圖片后，系統(tǒng)通過特征提取與索引庫中的商品圖進行相似度對比，快速返回同款或相似款商品信息，解決傳統(tǒng)關鍵詞檢索的局限性。

而在AI大模型訓練場景中，MetaInsight可對海量非結構化數(shù)據(jù)進行智能預分類，通過語義檢索（如輸入“雨天”“行人穿行”）快速篩選特定場景數(shù)據(jù)。相比人工標注，該方案能減少70%以上的預處理時間，同時支持跨模態(tài)檢索（如圖像+文本描述），幫助企業(yè)在數(shù)據(jù)清洗階段高效構建高質(zhì)量訓練集。

“因為非結構化數(shù)據(jù)的日益增長，云存儲平臺一定要有向量化的能力?！闭聡[說道，“數(shù)據(jù)萬象CI，就可以很好的提升對非結構化數(shù)據(jù)的管控?！?/p>

可以看到，AI大模型時代，存儲不再是之前只做數(shù)據(jù)的倉庫，而是結合一系列數(shù)據(jù)處理和計算的能力，成為了數(shù)據(jù)加速運轉(zhuǎn)的新引擎。