本文探討了AI對話中常見的生硬和準確率低的問題,并提出引入專家系統(tǒng)作為解決方案。專家系統(tǒng)通過對大模型結(jié)果進行校驗或兜底處理,提升AI在復(fù)雜場景中的準確性和實用性。文章以醫(yī)療診斷和財務(wù)報銷為例,展示了專家系統(tǒng)如何通過規(guī)則校準和數(shù)據(jù)反哺,解決AI應(yīng)用中的實際問題。
最近持續(xù)在為一些企業(yè)做AI培訓(xùn),公司這邊會有很多問題,其中最常見的有兩個:
AI聊得不像人,最常見案例就是生硬,就算上RAG或知識庫也不好使;
AI準確率不高,最常見就是AI能覆蓋80%的場景,但業(yè)務(wù)的及格線是95%;
要解決這兩個問題,都會進入AI應(yīng)用開發(fā)的深水區(qū),一般的解決方法都是要引入專家系統(tǒng)了:
其實這里的所謂專家系統(tǒng)也沒那么神秘,簡單來說就是一套算法,他要么對大模型的結(jié)果進行一次校驗,要么是對大模型給出結(jié)果進行兜底性處理。
從這個角度來說,專家系統(tǒng)其實是比較簡單的,但真實使用場景又是巨復(fù)雜的,這里涉及了很多技術(shù)密度,所以這里做簡單介紹即可,大家能領(lǐng)悟多少算多少。
AI聊得不像人,很蠢的問題我們之前討論過,后續(xù)還會有專門的章節(jié),這里首先說下準確率問題:
專家系統(tǒng)與準確率
舉個例子,有以下醫(yī)患對話,模型需要判斷患者到底是什么疾?。?/p>
以上是我用一個真實病歷進行簡化的聊天記錄,當時檢查后的診斷是社區(qū)獲得性肺炎,但只看這個對話,模型下的癥狀是:急性病毒性上呼吸道-支氣管炎。
所以,這里模型診斷錯了,并且這是不被接受的!
在這個基礎(chǔ)上專家系統(tǒng)就出現(xiàn)了,要構(gòu)建這個系統(tǒng)會需要一些基本數(shù)據(jù),比如:
社區(qū)獲得性肺炎:
咳嗽±痰+氣促或胸痛+發(fā)熱>38℃/寒戰(zhàn)
精神食欲輕-中度受影響;發(fā)熱常>38℃,夜間盜汗
急性病毒性上呼吸道:
流清涕/鼻塞/噴嚏/咽痛+咳嗽常為刺激性、無痰或少痰
低熱或無熱;可伴乏力、肌肉酸痛但一般活動如常
專家系統(tǒng)需要拿著這些基礎(chǔ)數(shù)據(jù),在上下文對話中一一對照,對模型的回答進行校準,他實際的過程可能如下:
這里專家系統(tǒng)的工作是緊盯關(guān)鍵決策點,給出可解釋的yes/no/再問一句;
最終兩者互補,就能把診斷正確率從80%拉升到可接受的95%+,同時保持人性化的交流體驗。
以上只是一個非常簡單的場景,接下來再說一個場景。
規(guī)則兜底與飛輪系統(tǒng)
還是以醫(yī)療行為為例,比如現(xiàn)在已經(jīng)做了診斷給了藥物方案,但卻在用藥禁忌和用法用量上有些問題:
社區(qū)獲得性肺炎,給出的治療方案:
阿奇霉素500mg口服,1次/日,共3天
同時服用布地奈德福莫特羅吸入劑(慢阻肺合并哮喘患者常用)
PRN對乙酰氨基酚退熱
在這個場景下實際存在三個問題:
療程不足:標準門診療程常為「首日500mg,隨后250mg/日,再服4天」,或「500mg/日×5天」;3天有復(fù)燃風險
潛在禁忌:患者67歲,已在用胺碘酮(抗心律失常藥)。阿奇霉素有顯著QTc延長風險,聯(lián)合胺碘酮可觸發(fā)尖端扭轉(zhuǎn)型室速
用藥沖突:若無哮喘/慢阻肺史,布地奈德福莫特羅屬于多余治療
這里專業(yè)術(shù)語過多,可能大家看著頭疼,只不過所有的AI應(yīng)用一到深水區(qū)全部是這種術(shù)語…
類似于這種漏洞不能期待模型100%給出,所以需要有詳細的規(guī)則,這個規(guī)則可以來源于藥品說明書。
只不過這里的藥品說明書是需要結(jié)構(gòu)化到系統(tǒng)中的,而且真實的錯誤也未必是單一的藥品說明書能夠涵蓋,那么就會有個根據(jù)真實數(shù)據(jù)不停補足的過程!
比如,上述真實問題有3個,如果系統(tǒng)記錄了2個漏了1個,那么在系統(tǒng)中補足剩下的一個就是我們所謂的飛輪系統(tǒng)了。
與之前一致,這里只是個非常簡單的場景,具體實現(xiàn)難度會難非常多,而就我實際AI項目過程中,只要是深水區(qū)用戶都是這么玩的。
結(jié)語
今天,我們蜻蜓點水的介紹了下AI的深水區(qū)技術(shù)專家系統(tǒng),細細看來好像也并不是什么很難的技術(shù),但是各行各業(yè)卻切實的在使用,比如之前做的一個財務(wù)場景:
報銷差旅費:北京-上海高鐵票553,住宿費800(附發(fā)票),打車費150
類似上述審核任務(wù),表面看,合理合規(guī),但專家系統(tǒng)介入校驗后,就可以發(fā)現(xiàn)之前忽略了問題:
一、發(fā)票合規(guī)性
住宿發(fā)票為“增值稅普通發(fā)票”,但該酒店是一般納稅人,且員工選擇了開具專票(系統(tǒng)記錄偏好)。
按規(guī)定,一般納稅人應(yīng)提供增值稅專用發(fā)票用于抵扣。普通發(fā)票入賬可能導(dǎo)致公司進項稅損失。
二、費用標準超標
公司上海地區(qū)住宿標準:普通員工600/晚。800超標33%。
AI不止要識別發(fā)票真?zhèn)魏突A(chǔ)信息就放行,還必須符合內(nèi)部政策,比如這里不注意看可能大家不會發(fā)現(xiàn)這個員工打的是專車!
以上,都需要專家系統(tǒng)兜底,否則公司體系下會存在很多漏水點。
所以,無論是醫(yī)療、HR、財務(wù)還是銷售等部門,當AI應(yīng)用觸及核心業(yè)務(wù)時,單純依賴大模型的能力,就像讓一個博覽群書但毫無臨床經(jīng)驗的醫(yī)學生直接主刀,這種行為風險極高。
如何用專家系統(tǒng)對AI應(yīng)用進行兜底,如何用日常產(chǎn)生的業(yè)務(wù)數(shù)據(jù)反哺系統(tǒng)形成飛輪系統(tǒng),這是每個進入AI深水區(qū)的同學需要思考的問題。
免責聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。