本文探討了AI對(duì)話中常見的生硬和準(zhǔn)確率低的問(wèn)題,并提出引入專家系統(tǒng)作為解決方案。專家系統(tǒng)通過(guò)對(duì)大模型結(jié)果進(jìn)行校驗(yàn)或兜底處理,提升AI在復(fù)雜場(chǎng)景中的準(zhǔn)確性和實(shí)用性。文章以醫(yī)療診斷和財(cái)務(wù)報(bào)銷為例,展示了專家系統(tǒng)如何通過(guò)規(guī)則校準(zhǔn)和數(shù)據(jù)反哺,解決AI應(yīng)用中的實(shí)際問(wèn)題。
最近持續(xù)在為一些企業(yè)做AI培訓(xùn),公司這邊會(huì)有很多問(wèn)題,其中最常見的有兩個(gè):
AI聊得不像人,最常見案例就是生硬,就算上RAG或知識(shí)庫(kù)也不好使;
AI準(zhǔn)確率不高,最常見就是AI能覆蓋80%的場(chǎng)景,但業(yè)務(wù)的及格線是95%;
要解決這兩個(gè)問(wèn)題,都會(huì)進(jìn)入AI應(yīng)用開發(fā)的深水區(qū),一般的解決方法都是要引入專家系統(tǒng)了:
其實(shí)這里的所謂專家系統(tǒng)也沒那么神秘,簡(jiǎn)單來(lái)說(shuō)就是一套算法,他要么對(duì)大模型的結(jié)果進(jìn)行一次校驗(yàn),要么是對(duì)大模型給出結(jié)果進(jìn)行兜底性處理。
從這個(gè)角度來(lái)說(shuō),專家系統(tǒng)其實(shí)是比較簡(jiǎn)單的,但真實(shí)使用場(chǎng)景又是巨復(fù)雜的,這里涉及了很多技術(shù)密度,所以這里做簡(jiǎn)單介紹即可,大家能領(lǐng)悟多少算多少。
AI聊得不像人,很蠢的問(wèn)題我們之前討論過(guò),后續(xù)還會(huì)有專門的章節(jié),這里首先說(shuō)下準(zhǔn)確率問(wèn)題:
專家系統(tǒng)與準(zhǔn)確率
舉個(gè)例子,有以下醫(yī)患對(duì)話,模型需要判斷患者到底是什么疾?。?/p>
以上是我用一個(gè)真實(shí)病歷進(jìn)行簡(jiǎn)化的聊天記錄,當(dāng)時(shí)檢查后的診斷是社區(qū)獲得性肺炎,但只看這個(gè)對(duì)話,模型下的癥狀是:急性病毒性上呼吸道-支氣管炎。
所以,這里模型診斷錯(cuò)了,并且這是不被接受的!
在這個(gè)基礎(chǔ)上專家系統(tǒng)就出現(xiàn)了,要構(gòu)建這個(gè)系統(tǒng)會(huì)需要一些基本數(shù)據(jù),比如:
社區(qū)獲得性肺炎:
咳嗽±痰+氣促或胸痛+發(fā)熱>38℃/寒戰(zhàn)
精神食欲輕-中度受影響;發(fā)熱常>38℃,夜間盜汗
急性病毒性上呼吸道:
流清涕/鼻塞/噴嚏/咽痛+咳嗽常為刺激性、無(wú)痰或少痰
低熱或無(wú)熱;可伴乏力、肌肉酸痛但一般活動(dòng)如常
專家系統(tǒng)需要拿著這些基礎(chǔ)數(shù)據(jù),在上下文對(duì)話中一一對(duì)照,對(duì)模型的回答進(jìn)行校準(zhǔn),他實(shí)際的過(guò)程可能如下:
這里專家系統(tǒng)的工作是緊盯關(guān)鍵決策點(diǎn),給出可解釋的yes/no/再問(wèn)一句;
最終兩者互補(bǔ),就能把診斷正確率從80%拉升到可接受的95%+,同時(shí)保持人性化的交流體驗(yàn)。
以上只是一個(gè)非常簡(jiǎn)單的場(chǎng)景,接下來(lái)再說(shuō)一個(gè)場(chǎng)景。
規(guī)則兜底與飛輪系統(tǒng)
還是以醫(yī)療行為為例,比如現(xiàn)在已經(jīng)做了診斷給了藥物方案,但卻在用藥禁忌和用法用量上有些問(wèn)題:
社區(qū)獲得性肺炎,給出的治療方案:
阿奇霉素500mg口服,1次/日,共3天
同時(shí)服用布地奈德福莫特羅吸入劑(慢阻肺合并哮喘患者常用)
PRN對(duì)乙酰氨基酚退熱
在這個(gè)場(chǎng)景下實(shí)際存在三個(gè)問(wèn)題:
療程不足:標(biāo)準(zhǔn)門診療程常為「首日500mg,隨后250mg/日,再服4天」,或「500mg/日×5天」;3天有復(fù)燃風(fēng)險(xiǎn)
潛在禁忌:患者67歲,已在用胺碘酮(抗心律失常藥)。阿奇霉素有顯著QTc延長(zhǎng)風(fēng)險(xiǎn),聯(lián)合胺碘酮可觸發(fā)尖端扭轉(zhuǎn)型室速
用藥沖突:若無(wú)哮喘/慢阻肺史,布地奈德福莫特羅屬于多余治療
這里專業(yè)術(shù)語(yǔ)過(guò)多,可能大家看著頭疼,只不過(guò)所有的AI應(yīng)用一到深水區(qū)全部是這種術(shù)語(yǔ)…
類似于這種漏洞不能期待模型100%給出,所以需要有詳細(xì)的規(guī)則,這個(gè)規(guī)則可以來(lái)源于藥品說(shuō)明書。
只不過(guò)這里的藥品說(shuō)明書是需要結(jié)構(gòu)化到系統(tǒng)中的,而且真實(shí)的錯(cuò)誤也未必是單一的藥品說(shuō)明書能夠涵蓋,那么就會(huì)有個(gè)根據(jù)真實(shí)數(shù)據(jù)不停補(bǔ)足的過(guò)程!
比如,上述真實(shí)問(wèn)題有3個(gè),如果系統(tǒng)記錄了2個(gè)漏了1個(gè),那么在系統(tǒng)中補(bǔ)足剩下的一個(gè)就是我們所謂的飛輪系統(tǒng)了。
與之前一致,這里只是個(gè)非常簡(jiǎn)單的場(chǎng)景,具體實(shí)現(xiàn)難度會(huì)難非常多,而就我實(shí)際AI項(xiàng)目過(guò)程中,只要是深水區(qū)用戶都是這么玩的。
結(jié)語(yǔ)
今天,我們蜻蜓點(diǎn)水的介紹了下AI的深水區(qū)技術(shù)專家系統(tǒng),細(xì)細(xì)看來(lái)好像也并不是什么很難的技術(shù),但是各行各業(yè)卻切實(shí)的在使用,比如之前做的一個(gè)財(cái)務(wù)場(chǎng)景:
報(bào)銷差旅費(fèi):北京-上海高鐵票553,住宿費(fèi)800(附發(fā)票),打車費(fèi)150
類似上述審核任務(wù),表面看,合理合規(guī),但專家系統(tǒng)介入校驗(yàn)后,就可以發(fā)現(xiàn)之前忽略了問(wèn)題:
一、發(fā)票合規(guī)性
住宿發(fā)票為“增值稅普通發(fā)票”,但該酒店是一般納稅人,且員工選擇了開具專票(系統(tǒng)記錄偏好)。
按規(guī)定,一般納稅人應(yīng)提供增值稅專用發(fā)票用于抵扣。普通發(fā)票入賬可能導(dǎo)致公司進(jìn)項(xiàng)稅損失。
二、費(fèi)用標(biāo)準(zhǔn)超標(biāo)
公司上海地區(qū)住宿標(biāo)準(zhǔn):普通員工600/晚。800超標(biāo)33%。
AI不止要識(shí)別發(fā)票真?zhèn)魏突A(chǔ)信息就放行,還必須符合內(nèi)部政策,比如這里不注意看可能大家不會(huì)發(fā)現(xiàn)這個(gè)員工打的是專車!
以上,都需要專家系統(tǒng)兜底,否則公司體系下會(huì)存在很多漏水點(diǎn)。
所以,無(wú)論是醫(yī)療、HR、財(cái)務(wù)還是銷售等部門,當(dāng)AI應(yīng)用觸及核心業(yè)務(wù)時(shí),單純依賴大模型的能力,就像讓一個(gè)博覽群書但毫無(wú)臨床經(jīng)驗(yàn)的醫(yī)學(xué)生直接主刀,這種行為風(fēng)險(xiǎn)極高。
如何用專家系統(tǒng)對(duì)AI應(yīng)用進(jìn)行兜底,如何用日常產(chǎn)生的業(yè)務(wù)數(shù)據(jù)反哺系統(tǒng)形成飛輪系統(tǒng),這是每個(gè)進(jìn)入AI深水區(qū)的同學(xué)需要思考的問(wèn)題。
為什么主力資金大量流出,股票卻仍在上漲?細(xì)看之后才知道套路
A股:大A不太對(duì)勁?會(huì)上演一場(chǎng)新的“大暴雨”?股民多留意吧
中國(guó)股市:拿50萬(wàn)投資2-3元低價(jià)股,只買不賣1年會(huì)怎樣?會(huì)更好?
免責(zé)聲明:本文內(nèi)容由開放的智能模型自動(dòng)生成,僅供參考。