商業(yè)
花800元在海外倉庫尋寶，到底能賺多少錢??？
混合鍵合技術(shù)可能成為必然選擇
楊亮
4小時(shí)前
HBM 【爆炸】：式||增長
2025-07-30 13:19:51
15707
本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自medium
HBM，如何推動AI發(fā)展？
高帶寬內(nèi)存（HBM）是下一代DRAM（動態(tài)隨機(jī)存取存儲器）技術(shù)，可實(shí)現(xiàn)超高速和寬數(shù)據(jù)傳輸。
HBM的核心創(chuàng)新在于其獨(dú)特的3D堆疊結(jié)構(gòu)，其中多個(gè)DRAM芯片（4層、8層甚至12層）使用先進(jìn)的封裝技術(shù)垂直堆疊。3D結(jié)構(gòu)使HBM能夠以比GDDR等傳統(tǒng)內(nèi)存解決方案高得多的帶寬（數(shù)據(jù)傳輸速率）運(yùn)行。
可以這樣想：HBM不是將所有內(nèi)存芯片并排布置在平板上，而是將它們像多層建筑一樣堆疊起來。這種垂直集成與復(fù)雜的電氣連接相結(jié)合，為數(shù)據(jù)創(chuàng)造了一條高速公路，從而能夠更快、更高效地與處理器進(jìn)行通信。
為什么高帶寬內(nèi)存（HBM）對AI至關(guān)重要？
根據(jù)IDTechEx的報(bào)告，全球HBM市場將在未來十年內(nèi)增長15倍。這種爆炸式增長的核心在于高帶寬內(nèi)存（HBM）以超高帶寬和低延遲為圖形處理單元（GPU）提供海量數(shù)據(jù)流的獨(dú)特能力。
GPU與中央處理器
CPU（中央處理器）托管少數(shù)針對順序、邏輯復(fù)雜的任務(wù)進(jìn)行了優(yōu)化的復(fù)雜內(nèi)核，而GPU則擁有數(shù)千個(gè)旨在并行處理數(shù)據(jù)的簡單內(nèi)核。每個(gè)CPU核心都具有強(qiáng)大的單線程性能和復(fù)雜的控制邏輯。然而，現(xiàn)代AI訓(xùn)練和推理涉及處理數(shù)TB的參數(shù)和中間激活，遠(yuǎn)遠(yuǎn)超出了幾個(gè)CPU內(nèi)核可以有效處理的范圍。
GPU專為圖形渲染和視頻編碼而設(shè)計(jì)，因此它們可以同時(shí)或并行處理大量相對簡單的計(jì)算。這種大規(guī)模并行架構(gòu)使GPU成為AI訓(xùn)練和推理的完美之選，這涉及以相對規(guī)則的計(jì)算模式（一次進(jìn)行數(shù)百萬次乘加運(yùn)算）處理大量數(shù)據(jù)集。這就是為什么GPU成為AI加速器的核心芯片。
內(nèi)存帶寬決定GPU速度
內(nèi)存帶寬是指內(nèi)存子系統(tǒng)每單位時(shí)間（通常為每秒）可以傳輸?shù)臄?shù)據(jù)總量。它直接測量處理器（如CPU或GPU）從連接的內(nèi)存（DRAM）讀取數(shù)據(jù)或?qū)⒔Y(jié)果寫入其的速度。
例如，如果內(nèi)存系統(tǒng)每秒可以可靠地傳輸100GB的數(shù)據(jù)，則其帶寬為100GB/s。您可以使用以下公式粗略估計(jì)帶寬：
內(nèi)存帶寬（GB/s）=[總線寬度（位）×有效傳輸速率（GT/s）]÷8
BusWidth（bit）（總線寬度（位））：內(nèi)存接口一次可以并行傳輸多少位數(shù)據(jù)。更寬的公交車就像在數(shù)據(jù)高速公路上擁有更多的車道。例如，HBM2E的接口寬度可以達(dá)到1024位或更高，遠(yuǎn)遠(yuǎn)超過GDDR6的32位。
有效傳輸速率（Hz/GT/s）：每秒數(shù)據(jù)傳輸作數(shù)?，F(xiàn)代高速內(nèi)存（如GDDR、HBM）通常使用雙倍數(shù)據(jù)速率（DDR）或四倍數(shù)據(jù)速率（QDR）技術(shù)，在時(shí)鐘信號的上升沿和下降沿傳輸數(shù)據(jù)。
為了實(shí)現(xiàn)更高的內(nèi)存帶寬，您需要高有效傳輸速率（數(shù)據(jù)“運(yùn)行速度快”）和寬總線寬度（許多“數(shù)據(jù)通道”）。
為什么HBM的Ultra-WideBus解決了內(nèi)存瓶頸
在AI應(yīng)用程序中，模型的參數(shù)可能為數(shù)百GB甚至TB。在計(jì)算過程中，GPU經(jīng)常與內(nèi)存交換大量參數(shù)和中間結(jié)果（激活、梯度）。
傳統(tǒng)系統(tǒng)將內(nèi)存分層到緩存（SRAM）→主內(nèi)存（DRAM）→存儲（SSD/HDD）中，但由于內(nèi)存壁問題和處理器利用率不足，當(dāng)今的AI和HPC工作負(fù)載暴露了這種層次結(jié)構(gòu)的限制。為了防止強(qiáng)大的GPU受到數(shù)據(jù)供應(yīng)的瓶頸（即避免“饑餓”的GPU），該行業(yè)正在重新劃分內(nèi)存堆棧：
封裝內(nèi)HBM：共同封裝的3D堆疊DRAM距離GPU芯片僅幾英寸。
CXL池內(nèi)存：跨加速器共享DDR池。
基于NAND的內(nèi)存：SLC優(yōu)化存儲和TLC/QLC，適用于較冷的數(shù)據(jù)層。
高帶寬內(nèi)存（HBM）具有更高的吞吐量，可以同時(shí)處理來自各個(gè)內(nèi)核的多個(gè)內(nèi)存請求。例如，HBM3E通過結(jié)合高速接口技術(shù)，將其數(shù)據(jù)“高速公路”（總線寬度）大幅擴(kuò)大到1,024甚至2,048位，從而使每個(gè)堆棧的速度達(dá)到1,225GB/s。
最新一代HBM3E使用帶有微凸塊和底部填充的熱壓縮來堆疊DRAM芯片，然而，SK海力士、三星和美光等制造商正在過渡到更先進(jìn)的封裝技術(shù)，例如HBM4及更高版本的銅-銅混合鍵合，以增加輸入/輸出、降低功耗、改善散熱、減小電極尺寸等。
視頻隨機(jī)存取存儲器（VRAM）的作用
專為GPU設(shè)計(jì)的高速內(nèi)存稱為VRAM（視頻隨機(jī)存取存儲器）。在當(dāng)今的高端AI和計(jì)算中，HBM是占主導(dǎo)地位的VRAM解決方案。
典型的顯卡（或AI加速器）由一個(gè)GPU芯片與VRAM模塊（通常是多個(gè)HBM堆棧）緊密耦合組成。
以下是GPU執(zhí)行計(jì)算時(shí)的典型數(shù)據(jù)流：
數(shù)據(jù)加載：用于計(jì)算的初始數(shù)據(jù)通過PCIe等接口從速度較慢、較大的CPU系統(tǒng)內(nèi)存（RAM）傳輸?shù)紾PU的專用高速VRAM（HBM）。
并行計(jì)算：GPU的眾多計(jì)算內(nèi)核從高速VRAM（HBM）讀取必要的數(shù)據(jù)段并執(zhí)行密集的并行計(jì)算（例如，矩陣乘法、卷積）。
結(jié)果暫存：計(jì)算的中間或最終結(jié)果快速寫回VRAM（HBM）進(jìn)行臨時(shí)存儲。
數(shù)據(jù)輸出/保存：處理后的數(shù)據(jù)最終從VRAM（HBM）傳輸回CPU系統(tǒng)內(nèi)存（RAM）進(jìn)行進(jìn)一步處理或存儲，或者在某些情況下（如圖形輸出），直接從VRAM輸出到顯示接口。
在圖像識別、自然語言處理（NLP）和大型語言模型（LLM）訓(xùn)練/推理等AI任務(wù)中，模型涉及數(shù)十億甚至數(shù)萬億個(gè)參數(shù)。計(jì)算在很大程度上依賴于GPU內(nèi)核和VRAM之間持續(xù)、高速的數(shù)據(jù)交換。
因此，VRAM的性能，尤其是其高速讀寫海量數(shù)據(jù)的能力，直接決定了GPU整體計(jì)算效率的上限。如果GPU核心急需的數(shù)據(jù)（指令、參數(shù)、中間結(jié)果）由于內(nèi)存帶寬不足或高延遲而無法按時(shí)交付，則計(jì)算單元將卡頓，浪費(fèi)寶貴的計(jì)算能力并妨礙最佳性能（形成“內(nèi)存墻”或內(nèi)存瓶頸）。
這就是為什么HBM憑借其出色的高帶寬（滿足數(shù)據(jù)吞吐量需求）和低延遲（減少內(nèi)核等待時(shí)間）已成為NVIDIAH100和AMDMI300X等高性能AI專用GPU不可替代的內(nèi)存解決方案。
近距離觀察HBM：3D結(jié)構(gòu)
HBM的核心創(chuàng)新在于其獨(dú)特的“3D”結(jié)構(gòu)。HBM不是傳統(tǒng)的平面存儲芯片，而是像摩天大樓一樣垂直堆疊多個(gè)標(biāo)準(zhǔn)DRAM芯片（稱為DRAM芯片）。然后，這些芯片通過密集的硅通孔（TSV）在垂直方向上電氣互連。
每個(gè)DRAM芯片都使用極薄的粘合劑材料進(jìn)行粘合，最初通過微凸塊在各層之間互連。
HBM高性能的關(guān)鍵在于三個(gè)相互關(guān)聯(lián)的核心技術(shù)要素：
堆棧：垂直堆疊多層DRAM芯片可實(shí)現(xiàn)單位面積存儲容量的指數(shù)級增長（例如，8層堆棧提供的容量是單個(gè)芯片的8倍），節(jié)省空間并實(shí)現(xiàn)更大的容量。
TSV（硅通孔）：在堆疊的DRAM芯片內(nèi)蝕刻小孔，并填充導(dǎo)電材料以形成垂直通道（直徑僅為5-10微米）。這種高密度、短距離的垂直布線直接連接上下層的信號、電源和接地線，實(shí)現(xiàn)了傳統(tǒng)平面布線無法實(shí)現(xiàn)的極寬總線寬度（超過1024位）。
中介層：一種精密的硅或有機(jī)襯底，可同時(shí)承載GPU芯片和HBM堆棧。它使用其表面和內(nèi)部高密度布線（走線寬度/間距低至微米級）在極短的距離內(nèi)將HBM堆棧的超寬接口與GPU芯片的高速I/O端口互連。
下圖說明了GDDR和HBM之間的基本結(jié)構(gòu)差異。
GDDR的工作原理是什么？
多個(gè)獨(dú)立的DRAM芯片（單個(gè)組件）在BGA封裝中平面排列，并安裝在PCB基板上的GPU芯片周圍。
每個(gè)DRAM組件都需要獨(dú)立、相對較長的PCB走線才能連接到GPU。這不僅會占用寶貴的PCB面積，增加電路板尺寸和成本，而且長走線會帶來顯著的信號傳輸延遲、信號完整性（SI）挑戰(zhàn)（如反射和串?dāng)_）和更高的驅(qū)動功耗。總線寬度受物理可路由通道數(shù)的限制（通常最大為256位或384位）。
HBM是如何工作的？
預(yù)先垂直堆疊的HBM模塊（包含多個(gè)DRAM芯片）與GPU芯片并排放置在相同的高密度中介層襯底上。
堆疊結(jié)構(gòu)本身大大節(jié)省了平面空間（利用Z軸）。因此，靠近GPU（在同一中介層上）導(dǎo)致極短的互連布線長度（毫米級甚至更短）和其他優(yōu)勢，包括：
超高空間利用率
海量存儲容量
超寬總線寬度（通過TSV和轉(zhuǎn)接板實(shí)現(xiàn)）
超低信號延遲
出色的信號完整性
顯著降低通信功耗
綜上所述，HBM通過3D堆疊DRAM封裝并與GPU在2.5D中介層上緊密集成，完美克服了傳統(tǒng)GDDR的物理限制，從而在帶寬和革命性的能效方面實(shí)現(xiàn)了數(shù)量級的提升。
硅通孔（TSV）技術(shù)在高帶寬存儲器（HBM）中的重要性
在高帶寬存儲器（HBM）的堆疊結(jié)構(gòu)中，硅通孔（TSV）技術(shù)在實(shí)現(xiàn)DRAM芯片之間的垂直互連方面發(fā)揮著至關(guān)重要的作用。
TSV是蝕刻在硅芯片中的微孔（通常直徑為5-50微米），并填充有銅等導(dǎo)電材料，形成垂直電通道。這些互連具有幾個(gè)關(guān)鍵優(yōu)勢：
超短互連：TSV允許信號、電源和接地線直接垂直穿透硅芯片，在相鄰DRAM層之間提供盡可能短的電氣連接路徑（約50-100微米）。這繞過了傳統(tǒng)上使用的較長的引線鍵合或倒裝芯片互連方法，這些方法需要圍繞芯片邊緣進(jìn)行布線。
高密度互連：芯片內(nèi)密集封裝了數(shù)千到數(shù)十萬個(gè)TSV，與平面封裝方法相比，HBM實(shí)現(xiàn)了更高的互連密度和并行通道數(shù)。這支持超寬總線寬度，例如1024位或2048位，這對于高帶寬至關(guān)重要。
高速、低功耗運(yùn)行：較短的垂直連接路徑可顯著降低信號傳輸延遲，最大限度地減少信號衰減和失真，并降低驅(qū)動互連所需的功率。與具有較長封裝引線或PCB走線的傳統(tǒng)DRAM芯片布置相比，基于TSV的垂直互連可提供更快、更高效和低功耗的信號傳輸。
這種先進(jìn)的垂直互連結(jié)構(gòu)是HBM能夠同時(shí)提供高存儲密度、超高帶寬和低功耗的基礎(chǔ)。
中介層在高帶寬存儲器（HBM）中的作用
HBM堆棧和GPU芯片不直接焊接到普通PCB上。相反，它們被共同集成到稱為中介層的精確中間襯底上。中介層本質(zhì)上是具有超精細(xì)布線能力（走線寬度/間距低至1微米或更?。┑臒o源硅襯底或高級有機(jī)襯底。
中介層在HBM系統(tǒng)中起著至關(guān)重要的作用：
BearingPlatform：它為GPU芯片和HBM堆棧芯片提供了一個(gè)物理安裝平臺。
超高密度互連：其核心價(jià)值在于能夠在其表面和內(nèi)部制造大量（數(shù)千到數(shù)萬個(gè)）非常窄間距（微米級）的金屬跡線（再分布層-RDL）。這些痕跡就像高架公路或密集的高速道路網(wǎng)絡(luò)。
連接橋：它使用這些超密集走線在非常短的距離（幾毫米到幾十毫米）內(nèi)以低損耗精確連接HBM堆棧的超寬接口（球柵陣列，通常包含數(shù)千個(gè)觸點(diǎn)）與GPU芯片的巨大高速I/O端口（微凸塊陣列）。
同樣，HBM實(shí)現(xiàn)超高帶寬的關(guān)鍵不僅僅是提高數(shù)據(jù)傳輸?shù)摹皢瓮ǖ浪俣取保〞r(shí)鐘頻率），而是通過使用TSV和中介層共同創(chuàng)建數(shù)量驚人的“并行數(shù)據(jù)通道”（即超寬總線寬度），從而能夠一次傳輸大量數(shù)據(jù)。
HBM設(shè)計(jì)面臨的主要挑戰(zhàn)是什么？
自第一代HBM以來，該技術(shù)已經(jīng)發(fā)展了六代，包括HBM2、HBM2E、HBM3、HBM3E和計(jì)劃中中的HBM4。隨著2025年HBM3E量產(chǎn)競爭的白熱化，下一代HBM4的競爭已經(jīng)開始。
在這種持續(xù)的技術(shù)升級中，封裝技術(shù)越來越成為競爭的焦點(diǎn)，尤其是在散熱瓶頸變得更加明顯的情況下。如果堆疊芯片的積熱不能得到有效控制，將直接導(dǎo)致性能下降、壽命縮短和功能異常。這使得熱管理以及容量和帶寬成為高級內(nèi)存開發(fā)的三個(gè)核心指標(biāo)之一。
作為HBM高速技術(shù)的基石，TSV（Through-SiliconVia）技術(shù)通過在DRAM芯片上蝕刻數(shù)千個(gè)微孔來構(gòu)建垂直電極通道，就像“HBM摩天大樓”中連接樓層的“高速電梯”一樣。
然而，隨著HBM3E中的堆疊層躍升至12層，散熱壓力和翹曲問題帶來了雙重挑戰(zhàn)。為了保持總厚度，DRAM芯片需要比8層HBM3薄40%，而減薄過程引入了與結(jié)構(gòu)變形相關(guān)的新技術(shù)障礙。
要突破堆疊超過12層的物理限制，混合鍵合技術(shù)可能成為必然選擇。雖然該解決方案可以實(shí)現(xiàn)微米級3D互連，但預(yù)計(jì)包裝成本會增加30%以上。
從HBM4到HBM8的長期路線圖
未來HBM的I/O數(shù)量將增加三倍，HBM5、HBM7和HBM8將增加三倍，同時(shí)堆棧層、單層容量和引腳速率也將得到改進(jìn)。此外，鍵合技術(shù)將從目前的微凸塊過渡到銅對銅直接鍵合方法（混合鍵合）。然而，隨著這種代際演變的發(fā)生，HBM堆棧產(chǎn)生的熱量將逐漸增加，需要增強(qiáng)的熱管理。
HBM4：集成LPDDR控制器
在傳統(tǒng)的HBM堆棧中，通常具有定制的DRAM芯片。
然而，在HBM4中，HBM基礎(chǔ)芯片有望集成一個(gè)LPDDR控制器，為HBM存儲系統(tǒng)增加一個(gè)額外的層，并有效利用傳統(tǒng)配置中未使用的容量和帶寬資源。
HBM5：面向AI工作負(fù)載的NMC簡介
遷移到HBM5后，內(nèi)存堆棧預(yù)計(jì)將包含NMC（Near-MemoryComputing）模塊。這種集成將降低HBM和AIxPU之間的帶寬要求，改善計(jì)算定位，并提高整體系統(tǒng)性能和能效。
HBM6：雙塔結(jié)構(gòu)和NMC集成
目前，每個(gè)HBM堆棧都由一個(gè)BaseDie和一個(gè)單塔結(jié)構(gòu)的DRAM堆棧組成。
然而，對于HBM6，預(yù)計(jì)一個(gè)大型BaseDie將支持兩個(gè)DRAM堆棧，形成雙塔物理設(shè)計(jì)。
此外，NMC單元將位于堆棧下方。這一代還將看到從當(dāng)前的硅中介層/SiliconBridge連接過渡到硅玻璃復(fù)合中介層，以促進(jìn)多個(gè)GPU模塊的集成。
HBM7：多層存儲系統(tǒng)和嵌入式冷卻
對于HBM7，預(yù)計(jì)有兩大發(fā)展：引入由HBM和HBF（高帶寬閃存）組成的多級存儲系統(tǒng)，以及在DRAM堆棧中集成多功能橋接，以提高信號質(zhì)量并增加更多功能。
此外，還將引入嵌入式冷卻系統(tǒng)，以解決這些系統(tǒng)的高性能功能產(chǎn)生的熱量。
HBM8：增強(qiáng)型芯片復(fù)合材料和集成冷卻
HBM8增加了一種復(fù)雜的芯片復(fù)合材料，它不僅利用了HBM內(nèi)存封裝的正面，而且還在背面集成了存儲擴(kuò)展。此外，熱管理將緊密集成到結(jié)構(gòu)中，以應(yīng)對日益增長的熱量挑戰(zhàn)。
展望未來：HBM在AI計(jì)算中的未來
盡管高帶寬內(nèi)存（HBM）在AI計(jì)算中發(fā)揮著不可替代的作用，但高成本仍然是廣泛采用的重大障礙。
為了克服這一挑戰(zhàn)，該行業(yè)可能會尋求兩條可能的途徑：
“HBM-Lite”的開發(fā)：此版本旨在通過簡化當(dāng)前的HBM架構(gòu)來優(yōu)化成本，而不會為要求較低的應(yīng)用犧牲關(guān)鍵性能。
混合存儲架構(gòu)：一種分層方法，在系統(tǒng)級別將HBM與傳統(tǒng)內(nèi)存類型（如DDR5和GDDR7）相結(jié)合。在這種設(shè)置中，HBM將管理“熱數(shù)據(jù)”——需要快速處理的高優(yōu)先級信息——而DDR5/GDDR7將處理“冷數(shù)據(jù)”，即不常訪問的信息。這種混合策略可以提供靈活的解決方案，從而有效滿足特定需求。對于高端AI訓(xùn)練，完整的HBM架構(gòu)將確保所需的吞吐量。對于邊緣推理，混合解決方案將優(yōu)化總擁有成本（TCO），平衡性能與經(jīng)濟(jì)性。
KAIST的長期路線圖強(qiáng)調(diào)了HBM令人興奮的未來，在內(nèi)存架構(gòu)、AI工作負(fù)載和散熱解決方案方面不斷進(jìn)步。隨著這些創(chuàng)新的展開，HBM將不斷發(fā)展以滿足高帶寬、低延遲應(yīng)用不斷增長的需求，確保其在下一代計(jì)算的前沿地位。
*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請聯(lián)系后臺。
想要獲取半導(dǎo)體產(chǎn)業(yè)的前沿洞見、技術(shù)速遞、趨勢解析，關(guān)注我們！
17號周年慶版本更新,四大白嫖皮膚活動開啟,地獄火低至一塊錢
17.地獄，賓夕法尼亞州的七座城門根據(jù)名字，就足以讓人浮想聯(lián)翩。這個(gè)地方位于賓夕法尼亞的約克縣|。據(jù)說這里是地獄七門，有傳說認(rèn)為，在一個(gè)樹木繁茂的地區(qū)有七個(gè)門，哪里就是地獄的大門，誰穿過哪里可以見到冥王哈迪斯本人。哈勒姆鄉(xiāng)，那里的門可以在樹林里找到，成立于1793。還有一個(gè)說法，哈勒姆那里的門可以在等會說。
17號周年慶版本更新,四大白嫖皮膚活動開啟,地獄火低至一塊錢
魯媒則深挖了一層，主帥帶著高詩巖，從關(guān)系到表現(xiàn)都受關(guān)注，旁人難免議論“裙帶關(guān)系”，到了場上高詩巖還真得靠自己證明_|。說到底，在整體形勢明明不錯(cuò)的時(shí)候，為啥后衛(wèi)線成了眾矢之的？真想來點(diǎn)自個(gè)的體會-。國內(nèi)外差距說起來土得掉渣，但只要走進(jìn)體育館，站在球員背后，感受到那份汗水和壓力后，還是會覺得這些后面會介紹-|。
俄猛攻,烏死守!中國取代俄成美國頭號敵人,白宮:中美關(guān)系不變
那個(gè)跟女主播發(fā)生關(guān)系，又被敲詐了320萬的和尚，身份已爆出誰能想到，那個(gè)在香火旺盛的寺廟里默默念誦經(jīng)文的住持，竟然會在塵世的誘惑下迷失自己。面對紅塵的誘惑，他陷入了溫柔的陷阱，更讓人感到荒誕可笑的是，這位出家人竟然在與一名已婚主播的房間里，被她的丈夫當(dāng)場“抓奸在床”。最終，他選擇向警方自首，這個(gè)希望你能滿意|。
免責(zé)聲明：本文內(nèi)容由開放的智能模型自動生成，僅供參考。
網(wǎng)站信息
