袁緯萍
技術創(chuàng)新守護社交:SoulAppAI識別系統(tǒng)筑牢安全防線
貝殼財經(jīng)
近日,SoulApp正式發(fā)布《2025生態(tài)安全半年報》(以下簡稱“報告”)。報告全面展現(xiàn)SoulApp積極響應國家“清朗”系列專項行動號召的堅定決心,通過大量具體數(shù)據(jù)和創(chuàng)新舉措,詮釋了平臺如何通過技術創(chuàng)新、警企協(xié)作、社區(qū)共治等多維度策略,持續(xù)升級其生態(tài)安全體系,并取得顯著成效。
當前,社交平臺已成為人們?nèi)粘贤ā⒈磉_自我、建立連接的重要場域。然而,在享受其帶來巨大便利的同時,社交平臺也面臨著日益嚴峻的挑戰(zhàn),如網(wǎng)絡詐騙、低俗內(nèi)容泛濫、網(wǎng)絡暴力侵擾等問題層出不窮,對用戶體驗和社會秩序構成了潛在威脅。在這樣的背景下,平臺治理的深度和廣度顯得尤為關鍵。
SoulApp深刻認識到生態(tài)安全對于平臺可持續(xù)發(fā)展和用戶福祉的基石作用,因此始終將其置于戰(zhàn)略發(fā)展的核心位置。通過持續(xù)不斷的技術模型升級和一系列專項治理行動,SoulApp致力于從根本上優(yōu)化平臺環(huán)境,確保每一位用戶都能在清朗、健康的氛圍中安心交流。
AI反詐體系升級全鏈條守護用戶安全
在當前網(wǎng)絡詐騙手段日益隱蔽和多樣化的背景下,SoulApp持續(xù)加碼AI技術投入,對反詐防護體系進行了全方位、深層次的升級,成功構建了一套高效、智能的“識別-預警-攔截”全鏈條防御機制。這一體系旨在從源頭發(fā)現(xiàn)、及時預警、果斷攔截各類詐騙行為,最大限度地保障用戶的財產(chǎn)和信息安全。兩大核心技術模型——“圖片/文本反作弊大模型”和“殺豬盤發(fā)帖文案識別大模型”在安全鏈條中,發(fā)揮巨大作用。
兩大模型的協(xié)同投入使用,極大地提升了SoulApp在面對文本變體、圖像偽裝等復雜多變場景下的識別精度。它們使得黑產(chǎn)分子想要繞過平臺風控識別的對抗成本顯著提高,從而有效遏制了詐騙行為的蔓延;同時,反詐官號接入AI反詐助手大模型,部分用戶回復交由大模型進行智能回復,提示用戶相關風險。
得益于這一系列的反詐舉措,SoulApp平臺整體涉詐人群數(shù)量較此前實現(xiàn)了約20%的顯著下降。除了技術防線,SoulApp還積極構建了與公安機關的緊密協(xié)作機制,形成了線上線下聯(lián)動的打擊網(wǎng)絡犯罪網(wǎng)絡。報告顯示,在過去半年中,SoulApp與警方協(xié)同配合,取得了豐碩的成果:
?網(wǎng)絡謠言線索推送:發(fā)現(xiàn)并推送網(wǎng)絡謠言線索50個。針對可能誤導公眾或損害他人名譽的謠言,平臺迅速識別并向警方報告,共同維護網(wǎng)絡信息真實性。
?黑灰產(chǎn)線索推送:累計推送各類黑灰產(chǎn)線索25個,包括但不限于非法刷量、惡意營銷等黑色產(chǎn)業(yè)鏈線索,從源頭上打擊網(wǎng)絡犯罪。
?協(xié)助警方查明案件:協(xié)助警方查明盜用照片、侵犯用戶權益的案件20余次。通過提供技術支持,幫助警方迅速鎖定違法分子,維護用戶合法權益。
?處理警方調(diào)證協(xié)作需求:共計處理警方調(diào)證協(xié)作需求80余次。建立高效的響應機制,積極配合警方依法調(diào)取證據(jù),確保案件偵辦的順利進行。
這些數(shù)據(jù)充分表明,SoulApp不僅在技術層面筑牢了安全防線,更通過與執(zhí)法機關的深度協(xié)作,形成了強大的社會協(xié)同治理合力,共同打擊網(wǎng)絡違法犯罪,為用戶打造了一個真正安全可靠的社交生態(tài)。
社交治理持續(xù)優(yōu)化,共建清朗網(wǎng)絡空間
為了給廣大用戶營造一個文明、友善、積極向上的社交環(huán)境,SoulApp持續(xù)在社交治理體系上發(fā)力,不斷完善其治理策略和技術手段。報告顯示,平臺新增了可以識別色情交易變體等違規(guī)行為的反作弊大模型,進一步提升了對新型違規(guī)行為的識別能力。同時,SoulApp從用戶騷擾管制、群聊治理、低質(zhì)內(nèi)容管控、正能量內(nèi)容推薦等多個方向,全方位、系統(tǒng)性地持續(xù)建設社交禮儀體系,致力于為廣大用戶提供一個輕松無壓力的社區(qū)場景氛圍。
在違規(guī)行為及低質(zhì)內(nèi)容治理方面,SoulApp采取多管齊下的策略,并取得顯著成效:
?違規(guī)內(nèi)容機審攔截量級932萬:平臺通過AI技術對海量內(nèi)容進行實時監(jiān)測和識別,能夠在違規(guī)內(nèi)容發(fā)布的第一時間進行自動化攔截,有效阻止不良信息的傳播;
?累計拉黑同設備下存在多個違規(guī)賬號2.1萬個:針對“小號”泛濫、惡意注冊等行為,SoulApp通過設備識別技術,對同一設備下存在的多個違規(guī)賬號進行批量拉黑,從源頭上打擊黑灰產(chǎn)團伙的作惡空間。
?教育用戶文明發(fā)言,累計觸達33.7萬用戶:對于網(wǎng)絡社交規(guī)范,平臺注重“疏”和“導”——通過系統(tǒng)消息、彈窗提醒、社區(qū)公告等多種形式,積極引導用戶遵守社區(qū)規(guī)范,提升網(wǎng)絡文明素養(yǎng)。
?增加違規(guī)貼提示功能,引導用戶行為符合平臺規(guī)范:平臺不僅告知用戶違規(guī),還會附帶違規(guī)理由和站內(nèi)用戶行為規(guī)則的解讀,幫助用戶理解并改正。
在群聊治理方面,SoulApp針對群聊場景的特點,采取了精細化管理:
?日均中斷語音違規(guī)消息條數(shù)4萬+:語音群聊是社交的重要形式,平臺通過語音識別技術,對違規(guī)語音消息進行實時中斷,并對發(fā)布此類內(nèi)容的用戶進行專項處置。
?日均攔截違規(guī)文字消息條數(shù)2.7萬+:文字消息同樣受到嚴格監(jiān)控,確保群聊內(nèi)容的合規(guī)性。
?日均梯度處罰違規(guī)用戶數(shù)1.7萬+:針對群聊中的違規(guī)用戶,平臺會根據(jù)違規(guī)程度進行不同梯度的處罰,從輕微警告到永久封禁。
在私聊社交生態(tài)建設方面,SoulApp的舉措旨在提升用戶私密交流的安全性與舒適度:
?季度上線/迭代策略36+:平臺在私聊安全方面持續(xù)進行策略的更新和優(yōu)化,以應對不斷變化的風險。
?騷擾消息自見策略日均保護2.3萬+用戶:主動識別并處理騷擾消息,減少用戶被騷擾的困擾。
?消息盒子輔助用戶日均收納消息5k+:幫助用戶更好地管理和過濾不重要的消息,提升私聊體驗。
重拳整治網(wǎng)絡暴力,超八成用戶感受環(huán)境改善
網(wǎng)絡暴力作為數(shù)字時代的一大社會公害,其隱蔽性、擴散性和傷害性日益凸顯。SoulApp對此高度重視,建立“技術識別+人工審核+用戶教育”三位一體的全方位治理體系,旨在從源頭預防、過程中干預、事后懲戒和引導等多維度,全面遏制網(wǎng)絡暴力行為。
在技術識別層面,SoulApp部署了AI內(nèi)容識別系統(tǒng)。系統(tǒng)能夠?qū)τ脩舭l(fā)布的文字、圖片、語音等內(nèi)容進行實時、精準地掃描和分析,自動識別出包含侮辱、誹謗、人身攻擊等網(wǎng)絡暴力傾向的內(nèi)容。從而實現(xiàn)對涉網(wǎng)暴內(nèi)容的快速預警和標記。
同時,SoulApp完善用戶舉報機制,建立了便捷高效的舉報通道,鼓勵用戶積極參與到網(wǎng)絡暴力的監(jiān)督和治理中來。用戶一旦發(fā)現(xiàn)網(wǎng)絡暴力行為,可以迅速通過舉報功能向平臺反饋;在用戶教育層面,SoulApp深知“防患于未然”的重要性。平臺通過多種形式開展網(wǎng)絡文明宣傳,提升用戶的網(wǎng)絡素養(yǎng)和對網(wǎng)絡暴力的認知,包括:
?典型案例公示:定期公布處理的網(wǎng)絡暴力典型案例,以案示警,讓用戶清晰了解平臺對此類行為的零容忍態(tài)度。
?防網(wǎng)暴指南推送:推送實用的防網(wǎng)絡暴力指南,教授用戶如何識別、應對和舉報網(wǎng)絡暴力,及如何保護個人信息。
?社區(qū)共識推動:通過線上活動、話題討論、官方賬號宣導等方式,積極推動形成“人人抵制網(wǎng)暴”的社區(qū)共識,營造互助友愛的社區(qū)氛圍。
綜合性措施的實施帶來了顯著的治理成效:
?日均保護用戶免遭網(wǎng)暴騷擾3956人:平臺的主動防御和干預機制,日均有效阻止近4000名用戶免受網(wǎng)絡暴力和惡意騷擾的侵害。
?日均處理私聊不文明行為用戶2146人:私聊是網(wǎng)絡暴力的隱蔽發(fā)生地,平臺對此類行為的精準識別和處理,有效凈化了私密交流空間。
?日均提醒引導私聊文明發(fā)言211710次:大量的善意提醒和引導,有助于培養(yǎng)用戶在私聊中的文明習慣,從源頭減少不文明行為的發(fā)生。
?累計433199人簽署友善互動聲明:簽署友善互動聲明是用戶對文明社交的承諾,這一數(shù)據(jù)的持續(xù)增長,體現(xiàn)了用戶對平臺倡導的友善文化的積極響應和認同。
相關舉措的有效實施,不僅顯著凈化了網(wǎng)絡空間,更重要的是,超過八成的用戶在問卷調(diào)查中表示,他們明顯感受到了平臺環(huán)境的改善,社交體驗更加安全和愉悅。這正是SoulApp致力于構建清朗網(wǎng)絡空間的最佳反饋。
AI護航未成年人,筑牢成長防護網(wǎng)
未成年人是互聯(lián)網(wǎng)的原住民,也是最需要重點保護的群體。SoulApp始終將未成年人網(wǎng)絡安全保護視為平臺義不容辭的社會責任。平臺明確規(guī)定,不允許未成年人在平臺上注冊賬戶,從源頭上杜絕未成年人接觸不適宜內(nèi)容。同時,對于極少數(shù)已經(jīng)注冊的未成年用戶,平臺會自動識別并將其賬戶切換到青少年模式,提供專屬的保護環(huán)境。
為了更精確、更全面地識別和保護未成年用戶,SoulApp構建了一套包括身份認證、年齡識別、18歲以下年齡限制、防沉迷系統(tǒng)、正能量內(nèi)容池、隱私保護等在內(nèi)的全方位未成年保護體系。本季度,平臺在這一體系中再次實現(xiàn)了重大突破——首次在識別鏈路中引入了AI大模型,以顯著提升識別精度與覆蓋廣度。
本次新引入的AI大模型,具備高度智能化的判斷能力,能夠有效判斷用戶的人設是否為未成年人,并進一步識別是否存在成年人“開玩笑偽裝”成未成年人的情況,從而極大減少了未成年人“漏放”帶來的風險。同時,它也有效避免了對成年用戶的誤封誤判,提升了整體識別準確率與用戶體驗,確保了保護措施的精準性和有效性。
報告中列舉的關鍵數(shù)據(jù)顯示了這一體系的強大效能:
?未成年識別和未成年保護策略共51條:體現(xiàn)SoulApp在未成年人保護方面投入的精力和細致程度,涵蓋了從注冊、內(nèi)容瀏覽、互動交流到時間管理等各個環(huán)節(jié)。
?策略識別假成年人貢獻率高達99%:這一數(shù)據(jù)是新AI大模型在未成年保護領域取得的里程碑式成就。高達99%的貢獻率意味著絕大多數(shù)試圖偽裝成未成年人的成年用戶都能被精準識別,從而有效阻止了他們進入未成年人專屬的保護空間,極大地提升了未成年人模式的純凈度和安全性。
SoulApp通過持續(xù)的技術創(chuàng)新和嚴格的策略執(zhí)行,為未成年人筑起了一道堅實的網(wǎng)絡安全防護網(wǎng),確保他們在平臺上的每一次互動都安全、健康、積極。
持續(xù)深耕生態(tài)安全,共創(chuàng)美好社交未來
《2025生態(tài)安全半年報》的發(fā)布,不僅是對平臺過去半年努力成果的總結(jié),更是對未來責任的再次承諾。SoulApp深知,網(wǎng)絡生態(tài)安全建設是一項長期而艱巨的任務,需要平臺持續(xù)投入、不斷創(chuàng)新。未來,SoulApp將繼續(xù)秉持“用戶第一”的原則,將用戶安全和體驗放在首位。
持續(xù)加大在技術研發(fā)方面的投入,特別是深化AI、大數(shù)據(jù)等前沿技術在生態(tài)安全領域的應用,不斷提升風險識別和治理能力,與廣大用戶攜手,共同努力,不斷完善生態(tài)安全體系,為構建清朗、健康、有愛的網(wǎng)絡社交空間貢獻更多力量。
來源:紅網(wǎng)
作者:瞿莉莉
編輯:谷炫明
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個人觀點,不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。