從軟件工程和網(wǎng)絡(luò)安全的角度來看，當(dāng)前的AI落地前景如何？「可解釋性」方面的研究，真的能讓AI拜托「黑箱」屬性嗎？
2024年11月，萊斯特德蒙福特大學(xué)網(wǎng)絡(luò)安全教授Eerke Boiten發(fā)表了一篇警示文章，題為「當(dāng)前的AI是一條死胡同嗎」。
在這篇文章中，Boiten教授從軟件工程的角度出發(fā)，分析了當(dāng)前AI技術(shù)在管理和控制方面的重大缺陷。
他表示，AI系統(tǒng)的本質(zhì)問題在于它們無法與已有的軟件工程實(shí)踐有效結(jié)合，尤其是在復(fù)雜性管理和規(guī)?？刂品矫?。盡管AI在諸如自動(dòng)化、醫(yī)療、金融等領(lǐng)域取得了顯著成就，但其核心問題在于無法確保系統(tǒng)在規(guī)?；瘧?yīng)用中的可控性與可靠性。
AI的復(fù)雜性管理問題
Boiten指出，目前的AI系統(tǒng)與傳統(tǒng)軟件開發(fā)標(biāo)準(zhǔn)存在嚴(yán)重的不匹配。
軟件工程的基本原則之一是，關(guān)鍵系統(tǒng)必須具備可管理性、透明性和問責(zé)制，而AI技術(shù)恰恰在這些方面存在缺陷。
例如，許多現(xiàn)代AI系統(tǒng)，尤其是基于深度學(xué)習(xí)的模型，在訓(xùn)練和應(yīng)用過程中缺乏透明的決策過程，且很難追溯和解釋其決策依據(jù)。
這種「黑箱」性質(zhì)讓AI系統(tǒng)在關(guān)鍵任務(wù)中的應(yīng)用充滿風(fēng)險(xiǎn)。尤其是在涉及人類生命健康、金融交易、網(wǎng)絡(luò)安全等領(lǐng)域時(shí)，無法控制的系統(tǒng)可能帶來災(zāi)難性的后果。
正因如此，Boiten認(rèn)為，當(dāng)前AI的不可管理性本質(zhì)上讓它無法在這些領(lǐng)域擔(dān)任核心角色。
缺少可靠性
此外，Boiten還強(qiáng)調(diào)了AI系統(tǒng)在可靠性方面的不足。
雖然AI的表現(xiàn)常常令人驚嘆，但其本身的可靠性依然遠(yuǎn)未達(dá)到理想的水平。在進(jìn)行高風(fēng)險(xiǎn)決策時(shí)，尤其是在醫(yī)療、司法、金融等領(lǐng)域，AI的錯(cuò)誤率仍然不可忽視。
例如，AI在圖像識(shí)別中的誤差率可能較低，但在醫(yī)學(xué)診斷中，哪怕是極小的錯(cuò)誤也可能帶來致命后果。
AI的在可靠性上的缺陷不僅僅體現(xiàn)在其技術(shù)能力上，更體現(xiàn)在其系統(tǒng)架構(gòu)的可管理性上。
由于缺乏有效的監(jiān)管和透明的設(shè)計(jì)，AI系統(tǒng)往往難以在嚴(yán)格的工程標(biāo)準(zhǔn)下工作。在面對(duì)不斷變化的現(xiàn)實(shí)情況時(shí)，AI的決策過程可能會(huì)出現(xiàn)不穩(wěn)定和不可預(yù)測的情況，這就增加了在關(guān)鍵領(lǐng)域應(yīng)用它們的風(fēng)險(xiǎn)。
「可解釋AI」并非終極答案
為了應(yīng)對(duì)AI的復(fù)雜性問題，業(yè)界提出了「可解釋AI」的概念，試圖使AI的決策過程更加透明和易于理解。
這種方法看似解決了長久以來被詬病的「黑箱」問題，但Boiten指出，這一解決方案并不能根除問題。
他認(rèn)為，「可解釋AI」并沒有改變AI在復(fù)雜應(yīng)用場景中的根本缺陷，它只是嘗試解釋現(xiàn)有模型的內(nèi)部工作方式來減少不確定性。然而，這并不意味著AI能夠在所有領(lǐng)域都能高效且可靠地運(yùn)行。
因此，AI技術(shù)的進(jìn)一步發(fā)展不能單純依賴于「可解釋性」，而應(yīng)該更多地關(guān)注如何提升AI系統(tǒng)的可控性和安全性。對(duì)于AI的監(jiān)管和標(biāo)準(zhǔn)化，目前還沒有形成統(tǒng)一且有效的行業(yè)規(guī)范，而這一缺失將導(dǎo)致其在未來面臨更大的挑戰(zhàn)。
數(shù)據(jù)責(zé)任：難以跨越的障礙
除了「可解釋性」和「可靠性」，Boiten還指出，AI技術(shù)面臨的另一個(gè)巨大挑戰(zhàn)是數(shù)據(jù)責(zé)任問題。
AI系統(tǒng)的決策質(zhì)量，高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量，但目前很難有效保證數(shù)據(jù)的公正性、完整性和代表性。
由于數(shù)據(jù)存在偏差，AI模型可能會(huì)產(chǎn)生帶有偏見的判斷，這在一些敏感領(lǐng)域尤為嚴(yán)重，如司法審判、招聘決策等。
盡管業(yè)界推出了多種方案來減少數(shù)據(jù)偏見，但Boiten稱，這些方案僅僅是隔靴搔癢，并未觸及問題的根本。
隨著AI技術(shù)的發(fā)展和應(yīng)用場景的擴(kuò)大，數(shù)據(jù)偏見和隱私問題將變得更加嚴(yán)重。如果得不到有效解決，我們將不可避免地面臨倫理和法律風(fēng)險(xiǎn)。
未來展望：潛力與挑戰(zhàn)并存
Boiten教授的警示并不是對(duì)AI技術(shù)的全盤否定，而是對(duì)其在關(guān)鍵應(yīng)用中的風(fēng)險(xiǎn)進(jìn)行了深刻反思。
他承認(rèn)，AI在許多領(lǐng)域已經(jīng)展現(xiàn)出了巨大的潛力，尤其是自動(dòng)化和數(shù)據(jù)處理等方面。然而，更廣泛的應(yīng)用必須在更加嚴(yán)格的工程標(biāo)準(zhǔn)下進(jìn)行。對(duì)于那些影響人類安全和生活質(zhì)量的領(lǐng)域，AI的使用需要更加謹(jǐn)慎和透明。
文章的最后，Boiten回答了開頭拋出的問題——AI的未來并非一條死路，但當(dāng)前的技術(shù)瓶頸和管理難題確實(shí)需要引起足夠的重視。
如果業(yè)界能在提升可控性、透明度和可靠性方面取得突破，AI將能在更廣泛的領(lǐng)域內(nèi)發(fā)揮其潛力。否則，上述這些挑戰(zhàn)足以限制AI在關(guān)鍵領(lǐng)域的落地，甚至讓我們走進(jìn)「死胡同」。