作者：周源/華爾街見聞

7月28日，智譜AI發(fā)布旗艦模型GLM-4.5并開源。GLM-4.5是一款專為智能體應用研發(fā)的基礎模型，在性能、成本控制與多能力融合等方面均有出色表現。

在這些技術突破的背后，哪些因素起了支撐作用？

智譜AI核心團隊主要來自清華大學KEG（知識工程）實驗室：董事長劉德兵、CEO張鵬和總裁王紹蘭均為KEG實驗室核心成員，張鵬和王紹蘭同為清華創(chuàng)新領軍工程博士，首席科學家唐杰曾任清華大學計算機系教授。

從GLM-1到GLM-4.5經歷四年多迭代。

早期（2021年）GLM模型（10B）就已探索了Transformer架構的優(yōu)化，2022年推出參數規(guī)模達130B的GLM-130B，2023年推出的GLM-3嘗試了混合專家（MoE）架構的輕量化設計，為后續(xù)參數效率提升奠定基礎，其小步快跑的迭代模式，讓團隊對模型架構的理解不斷深化。

GLM系列的LLM（大語言模型：LargeLanguageModel）基于Transformer架構構建。

GLM-130B采用DeepNorm（一種用于穩(wěn)定深層Transformer模型訓練的歸一化方法）作為層歸一化（LayerNormalization）策略，并在前饋網絡（FFN）中使用旋轉位置嵌入（RoPE），以及配備GeLU激活函數的門控線性單元（GLU：GatedLinearUnit，常用于增強模型對特征的選擇性和處理）。

這些都表明早期GLM模型對Transformer架構做了探索與優(yōu)化。

之后的GLM-3，采用獨創(chuàng)的多階段增強預訓練方法，基于當時最新的高效動態(tài)推理和顯存優(yōu)化技術，其推理框架在相同硬件和模型條件下，相較于當時最佳的開源實現，推理速度提升2-3倍，推理成本降低1倍。

這說明GLM-3在模型架構優(yōu)化等方面有顯著進展，為后續(xù)參數效率提升奠定了基礎，也有助于對不同任務的特征分布，形成長期數據積累。

業(yè)界有些團隊或成立時間較短，或中途轉向大模型研發(fā)，缺乏這種持續(xù)的技術沉淀，難以在架構細節(jié)上實現精細化優(yōu)化。

多數團隊在大模型研發(fā)中更傾向于堆參數量的密集型架構，認為參數量與性能呈正相關。2023年到2024年底，“百模大戰(zhàn)”期間，眾多企業(yè)將參數量、評測分數作為核心指標，試圖通過擴大模型規(guī)模來提升模型能力。

大模型中激活參數占比與模型架構、稀疏激活技術等相關，若企業(yè)過于追求參數量而未優(yōu)化架構和技術，可能導致激活參數占比低。

智譜AI做法與眾不同，從GLM-2開始，堅持“高效參數”路線：不去盲目擴大總參數量，而是通過優(yōu)化專家模塊的協同機制提升效率。

比如GLM-4.5的3550億總參數中，激活參數320億，占比約9%，每個專家模塊僅負責特定領域任務（如代碼模塊專注Python與JavaScript，推理模塊專注數學與邏輯），模塊間通過輕量化路由層銜接，避免密集型架構中參數冗余的問題。

同時發(fā)布的還有GLM-4.5-Air，總參數1060億，激活參數120億，激活占比約11%。

這種路徑需要更細致的拆解任務類型，而部分團隊因擔心架構復雜度上升導致研發(fā)周期延長，仍選擇更穩(wěn)妥的密集型架構。

至于參數激活占比，這個關系到調用推理的商業(yè)成本：相同參數量下，激活參數占比低意味著更多參數未有效參與推理計算，造成算力浪費，導致推理成本上升。

GLM-4.5之所以能做到“參數效率翻倍，API價格僅為Claude（美國人工智能初創(chuàng)公司Anthropic發(fā)布的大模型家族）的1/10（輸入0.8元/百萬tokens、輸出2元/百萬tokens），速度超100tokens/秒”，就因為激活參數占比較高。

GLM-4.5的訓練數據采用“通用+垂直”的雙層結構：底層是15萬億token的通用文本（與多數團隊類似），上層是8萬億token的垂直領域數據，且按“推理-代碼-智能體”三類任務單獨標注。

插一句：在深度學習尤其是自然語言處理（NLP）領域，token是指文本中的最小有意義的邏輯單元，也是模型用來表示自然語言文本的基本單位，還是模型計費單元，類似于計算存儲和處理二進制數據的基本單位——字節(jié)（byte）。

GLM-4.5的標注方法并非簡單分類，而是為每個任務設計專屬的訓練目標，比如推理任務側重邏輯鏈完整性，代碼任務側重語法正確性。

智譜AI是國內首批推進大模型開源的企業(yè)之一，2023年GLM-2開源后積累規(guī)模龐大的開發(fā)者社區(qū)。這些開發(fā)者不僅反饋bug，更貢獻了大量輕量化部署方案。GLM-4.5的“思考/非思考模式”切換功能，底層調度算法很可能來自社區(qū)開發(fā)者的優(yōu)化建議。

智譜AI的官方通稿稱，“首次實現推理、代碼、Agent等多能力原生融合”，那么多能力融合的技術壁壘是什么？為什么此前業(yè)界沒有同類模型能力？

多能力融合需解決模塊協同難題：推理模塊的邏輯思維與代碼模塊的語法規(guī)則分屬不同認知范式，強行融合易導致能力稀釋。

此前業(yè)界有些團隊嘗試通過“拼接式”融合（在推理模型后嫁接代碼模塊）實現，但模塊間缺乏共享參數，導致響應速度大幅下降。

GLM-4.5采用了統一底層架構，需要從模型設計初期就規(guī)劃參數共享機制，這對架構設計能力要求極高，多數團隊暫未突破這一技術瓶頸。

若以此說業(yè)界有些團隊技術能力較差，也有失偏頗；多數情況下，很多技術團隊受商業(yè)化的壓力較大，因此更傾向于快速推出閉源商業(yè)模型意圖變現，導致研發(fā)周期被壓縮，測試時間有限，在推動多能力融合時出現穩(wěn)定性問題，可感知的這類問題，比如連續(xù)調用工具時概率性崩潰。

自2019年成立以來，智譜AI經歷了至少11輪融資，故而資金壓力應當不是很大，看上去在優(yōu)化架構時顯得很有耐心，能用較長時間做多能力協同的專項優(yōu)化，這種耐心在當前追求短期回報的行業(yè)環(huán)境中較為稀缺。

智譜GLM-4.5的突破，本質是技術積累、路徑選擇與生態(tài)協同的綜合結果。

這個多能力融合大模型的推出，表明大模型競爭已從單點參數規(guī)模轉向系統效率與生態(tài)活力，這或許為行業(yè)提供了新的發(fā)展參照和性能評價標準。

如何選擇正規(guī)物聯卡:樂訊通物聯網卡的優(yōu)勢解析

1.2. 【選擇樂訊通物聯網卡】在繁雜的物聯卡市場中，樂訊通物聯網卡以其卓越品質和周到服務贏得了眾多用戶的青睞||。其產品線豐富，涵蓋了3G/4G/5G等多種類型的物聯網卡，能夠靈活應對各種通信場景_。卓越的服務質量樂訊通物聯網卡以其出色的服務體驗脫穎而出|_。它提供了多樣化的套餐選擇、便捷的短信和流量池服務，能夠靈活滿足用戶 一、物聯卡定義物聯卡是采用物聯網專用的號碼，以13位或11位號碼作為通訊接入事務，經過專用網元設備支撐短信和流量等根底通訊服務，并供給通訊狀況辦理和通訊鑒權等智能通道服務，默許開通物聯網專用的短信接入服務號和物聯網專用APN 二、移動物聯卡功用1.根底通訊才能：流量通訊才能和短信通訊才能，短信可供給不還有呢？

物聯網卡是什么意思

物聯網卡是三大運營商供給的滿足智能硬件聯網需求和物聯網職業(yè)對設備聯網的辦理需求的流量卡。現在，中國的物聯網正在從硬件設備（如硬件、傳感）升級到軟件平臺和垂直行業(yè)使用-|。物聯網卡，是指經過射頻辨認（RFID）、紅外感應器、全球定位體系、激光掃描器等信息傳感設備，按約定的協議，把物品與互聯網連接起來，進行等會說-。
移動物聯卡也分不相同的種類，物聯網技術上網卡就僅有流量包，語音物聯卡包括語音談天作用和流量包，..