本文探討了AI對話中常見的生硬和準確率低的問題,并提出引入專家系統(tǒng)作為解決方案。專家系統(tǒng)通過對大模型結果進行校驗或兜底處理,提升AI在復雜場景中的準確性和實用性。文章以醫(yī)療診斷和財務報銷為例,展示了專家系統(tǒng)如何通過規(guī)則校準和數據反哺,解決AI應用中的實際問題。
最近持續(xù)在為一些企業(yè)做AI培訓,公司這邊會有很多問題,其中最常見的有兩個:
AI聊得不像人,最常見案例就是生硬,就算上RAG或知識庫也不好使;
AI準確率不高,最常見就是AI能覆蓋80%的場景,但業(yè)務的及格線是95%;
要解決這兩個問題,都會進入AI應用開發(fā)的深水區(qū),一般的解決方法都是要引入專家系統(tǒng)了:
其實這里的所謂專家系統(tǒng)也沒那么神秘,簡單來說就是一套算法,他要么對大模型的結果進行一次校驗,要么是對大模型給出結果進行兜底性處理。
從這個角度來說,專家系統(tǒng)其實是比較簡單的,但真實使用場景又是巨復雜的,這里涉及了很多技術密度,所以這里做簡單介紹即可,大家能領悟多少算多少。
AI聊得不像人,很蠢的問題我們之前討論過,后續(xù)還會有專門的章節(jié),這里首先說下準確率問題:
專家系統(tǒng)與準確率
舉個例子,有以下醫(yī)患對話,模型需要判斷患者到底是什么疾病:
以上是我用一個真實病歷進行簡化的聊天記錄,當時檢查后的診斷是社區(qū)獲得性肺炎,但只看這個對話,模型下的癥狀是:急性病毒性上呼吸道-支氣管炎。
所以,這里模型診斷錯了,并且這是不被接受的!
在這個基礎上專家系統(tǒng)就出現了,要構建這個系統(tǒng)會需要一些基本數據,比如:
社區(qū)獲得性肺炎:
咳嗽±痰+氣促或胸痛+發(fā)熱>38℃/寒戰(zhàn)
精神食欲輕-中度受影響;發(fā)熱常>38℃,夜間盜汗
急性病毒性上呼吸道:
流清涕/鼻塞/噴嚏/咽痛+咳嗽常為刺激性、無痰或少痰
低熱或無熱;可伴乏力、肌肉酸痛但一般活動如常
專家系統(tǒng)需要拿著這些基礎數據,在上下文對話中一一對照,對模型的回答進行校準,他實際的過程可能如下:
這里專家系統(tǒng)的工作是緊盯關鍵決策點,給出可解釋的yes/no/再問一句;
最終兩者互補,就能把診斷正確率從80%拉升到可接受的95%+,同時保持人性化的交流體驗。
以上只是一個非常簡單的場景,接下來再說一個場景。
規(guī)則兜底與飛輪系統(tǒng)
還是以醫(yī)療行為為例,比如現在已經做了診斷給了藥物方案,但卻在用藥禁忌和用法用量上有些問題:
社區(qū)獲得性肺炎,給出的治療方案:
阿奇霉素500mg口服,1次/日,共3天
同時服用布地奈德福莫特羅吸入劑(慢阻肺合并哮喘患者常用)
PRN對乙酰氨基酚退熱
在這個場景下實際存在三個問題:
療程不足:標準門診療程常為「首日500mg,隨后250mg/日,再服4天」,或「500mg/日×5天」;3天有復燃風險
潛在禁忌:患者67歲,已在用胺碘酮(抗心律失常藥)。阿奇霉素有顯著QTc延長風險,聯(lián)合胺碘酮可觸發(fā)尖端扭轉型室速
用藥沖突:若無哮喘/慢阻肺史,布地奈德福莫特羅屬于多余治療
這里專業(yè)術語過多,可能大家看著頭疼,只不過所有的AI應用一到深水區(qū)全部是這種術語…
類似于這種漏洞不能期待模型100%給出,所以需要有詳細的規(guī)則,這個規(guī)則可以來源于藥品說明書。
只不過這里的藥品說明書是需要結構化到系統(tǒng)中的,而且真實的錯誤也未必是單一的藥品說明書能夠涵蓋,那么就會有個根據真實數據不停補足的過程!
比如,上述真實問題有3個,如果系統(tǒng)記錄了2個漏了1個,那么在系統(tǒng)中補足剩下的一個就是我們所謂的飛輪系統(tǒng)了。
與之前一致,這里只是個非常簡單的場景,具體實現難度會難非常多,而就我實際AI項目過程中,只要是深水區(qū)用戶都是這么玩的。
結語
今天,我們蜻蜓點水的介紹了下AI的深水區(qū)技術專家系統(tǒng),細細看來好像也并不是什么很難的技術,但是各行各業(yè)卻切實的在使用,比如之前做的一個財務場景:
報銷差旅費:北京-上海高鐵票553,住宿費800(附發(fā)票),打車費150
類似上述審核任務,表面看,合理合規(guī),但專家系統(tǒng)介入校驗后,就可以發(fā)現之前忽略了問題:
一、發(fā)票合規(guī)性
住宿發(fā)票為“增值稅普通發(fā)票”,但該酒店是一般納稅人,且員工選擇了開具專票(系統(tǒng)記錄偏好)。
按規(guī)定,一般納稅人應提供增值稅專用發(fā)票用于抵扣。普通發(fā)票入賬可能導致公司進項稅損失。
二、費用標準超標
公司上海地區(qū)住宿標準:普通員工600/晚。800超標33%。
AI不止要識別發(fā)票真?zhèn)魏突A信息就放行,還必須符合內部政策,比如這里不注意看可能大家不會發(fā)現這個員工打的是專車!
以上,都需要專家系統(tǒng)兜底,否則公司體系下會存在很多漏水點。
所以,無論是醫(yī)療、HR、財務還是銷售等部門,當AI應用觸及核心業(yè)務時,單純依賴大模型的能力,就像讓一個博覽群書但毫無臨床經驗的醫(yī)學生直接主刀,這種行為風險極高。
如何用專家系統(tǒng)對AI應用進行兜底,如何用日常產生的業(yè)務數據反哺系統(tǒng)形成飛輪系統(tǒng),這是每個進入AI深水區(qū)的同學需要思考的問題。
富養(yǎng)女孩 不僅要讓女孩擁有豐富的學識 寬闊的眼界、 高雅的氣質, 更要培養(yǎng)女孩自尊、 自愛、 自強的精神品質 本書詳述了富養(yǎng)女孩的全部細節(jié), 并給出了父母在教育女孩過程中的方法和建議。 希望我們的女孩子, 都能成長為優(yōu)雅惹人愛的婷婷淑女。