近日，科技部會(huì)同教育部、工業(yè)和信息化部、國(guó)家衛(wèi)健委等十部門聯(lián)合印發(fā)《科技倫理審查辦法（試行）》（以下簡(jiǎn)稱《審查辦法》）。《審查辦法》體現(xiàn)了科技向

善的總體愿景，特別強(qiáng)調(diào)“遵循增進(jìn)人類福祉、尊重生命權(quán)利、堅(jiān)持公平公正、合理控制風(fēng)險(xiǎn)、保持公開透明”，反映出了科技促進(jìn)人類繁榮的理念。

　　人工智能賦能人類繁榮與社會(huì)發(fā)展，涉及到人的科技活動(dòng)是人工智能倫理審查的重點(diǎn)。《審查辦法》指出，涉及以人為研究參與者的科技活動(dòng)，包括以人為測(cè)試、

調(diào)查、觀察等研究活動(dòng)的對(duì)象，以及利用人類生物樣本、個(gè)人信息數(shù)據(jù)等的科技活動(dòng)，都需要按照《審查辦法》給出的指引進(jìn)行科技倫理審查，以確保人的基本權(quán)利，

個(gè)人信息得到充分保護(hù)，在必要情況下以知情同意為基礎(chǔ)合法合規(guī)地收集、分析與使用。《審查辦法》指出，在生命健康、生態(tài)環(huán)境、公共秩序、可持續(xù)發(fā)展等方面，

可能帶來倫理風(fēng)險(xiǎn)挑戰(zhàn)的科技活動(dòng)也需要進(jìn)行科技倫理審查，這些領(lǐng)域正是人工智能賦能社會(huì)發(fā)展的核心及關(guān)鍵領(lǐng)域，需要秉承促進(jìn)人類、社會(huì)、生態(tài)可持續(xù)發(fā)展的理

念避免風(fēng)險(xiǎn)，促進(jìn)創(chuàng)新。

　　科技倫理審查由一般程序、簡(jiǎn)易程序、專家復(fù)核構(gòu)成相對(duì)完善的科技倫理審查體系。在一般程序、簡(jiǎn)易程序的基礎(chǔ)上，專家復(fù)核相關(guān)領(lǐng)域可能存在科技倫理風(fēng)險(xiǎn)，

因此需重點(diǎn)關(guān)注。

　　針對(duì)需要開展專家復(fù)核的科技活動(dòng)，《審查辦法》拉出清單，對(duì)人類主觀行為、心理情緒和生命健康等具有較強(qiáng)影響的人機(jī)融合系統(tǒng)的研發(fā)需要進(jìn)行專家復(fù)核。人

機(jī)融合系統(tǒng)是人類智能與人工智能融合的復(fù)合智能體。其構(gòu)建目的一般是為了輔助和增強(qiáng)人類智能。人機(jī)融合系統(tǒng)雖然有輔助或增強(qiáng)人類執(zhí)行認(rèn)知任務(wù)的能力，但是也

可能影響人類的自主性，從而影響到人類主觀行為，倫理審查中要特別關(guān)注人機(jī)融合系統(tǒng)對(duì)人類能動(dòng)性、主觀行為產(chǎn)生的負(fù)面影響。人機(jī)融合系統(tǒng)還有可能對(duì)人類心理

造成負(fù)面影響，例如影響人類情緒，使人產(chǎn)生對(duì)系統(tǒng)的依賴等。針對(duì)腦機(jī)接口等融合智能系統(tǒng)，倫理審查特別要注意其對(duì)人的心理或身體造成嚴(yán)重不良影響的可能性，

如侵入式腦機(jī)接口技術(shù)的物理安全風(fēng)險(xiǎn)，對(duì)腦組織的潛在負(fù)面影響等。此外，受限于目前人工智能模型的能力，侵入式、非侵入式腦機(jī)接口難以完全避免編解碼錯(cuò)誤；

模型涉及的個(gè)人數(shù)據(jù)安全、可解釋性、可靠性；對(duì)人類能動(dòng)性與自由意志的負(fù)面影響；應(yīng)用層面是否會(huì)對(duì)社會(huì)公平帶來挑戰(zhàn)等倫理風(fēng)險(xiǎn)均需在專家復(fù)核階段開展進(jìn)一

步審查。

　　該清單同時(shí)指出，具有輿論社會(huì)動(dòng)員能力和社會(huì)意識(shí)引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的研發(fā)需進(jìn)行專家復(fù)核。原因在于具有輿論社會(huì)動(dòng)員能力和社會(huì)意識(shí)

引導(dǎo)能力的算法模型與服務(wù)可能會(huì)被用于歪曲或形成負(fù)面價(jià)值導(dǎo)向，擾亂社會(huì)安全與社會(huì)秩序，帶來不良社會(huì)影響。這類研發(fā)任務(wù)需要按照國(guó)家互聯(lián)網(wǎng)信息辦公室等

四部門聯(lián)合發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等相關(guān)要求實(shí)施分級(jí)分類安全管理，特別是需要防止相關(guān)算法、應(yīng)用程序與系統(tǒng)在沒有合理安全監(jiān)管情況下

的擴(kuò)散和潛在濫用與惡意使用。

　　針對(duì)人工智能領(lǐng)域，該清單同時(shí)指出，面向存在安全、人身健康風(fēng)險(xiǎn)等場(chǎng)景的具有高度自主能力的自動(dòng)化決策系統(tǒng)的研發(fā)需要進(jìn)行專家復(fù)核。具有高度自主能力

的自動(dòng)化決策系統(tǒng)指基本或完全不需要人類干預(yù)的自動(dòng)化智能決策系統(tǒng)。由于目前的人工智能系統(tǒng)仍然是看似智能的信息處理系統(tǒng)，并不具備人類水平的理解能力，

因此在關(guān)鍵和高風(fēng)險(xiǎn)等領(lǐng)域不能代替人類決策，且必須確保充分、有效的人類控制，人類是最終的責(zé)任主體，這是國(guó)際共識(shí)。如聯(lián)合國(guó)教科文組織發(fā)布的《人工智能

倫理建議書》中規(guī)定，在某些情況下，出于效率性的考慮，人類有時(shí)選擇依賴人工智能系統(tǒng)，但是否在有限情形下出讓控制權(quán)依然要由人類來決定，這是由于人類在

決策和行動(dòng)上可以借助人工智能系統(tǒng)，但人工智能系統(tǒng)無法取代人類承擔(dān)最終責(zé)任。總體而言，涉及生死抉擇的情況，不應(yīng)任由人工智能系統(tǒng)決定。脫離充分和有效

人類控制的高度自主、自動(dòng)化決策系統(tǒng)既導(dǎo)致人類失去決策自主性，又剝奪了人機(jī)協(xié)同系統(tǒng)中人類應(yīng)當(dāng)承擔(dān)的責(zé)任與義務(wù)，最終極有可能對(duì)人類身心健康乃至生命造

成重大傷害，此類風(fēng)險(xiǎn)都是要在專家復(fù)核階段進(jìn)行嚴(yán)格審查與研判的。對(duì)于可能給身心健康、生命帶來安全隱患的高度自主人工智能系統(tǒng)應(yīng)不予通過并明令禁止。

　　人工智能科技倫理審查，相關(guān)法律是底線，《審查辦法》是指導(dǎo)原則和依據(jù)。然而，隨著人工智能技術(shù)的發(fā)展，有可能在科技倫理方面出現(xiàn)新情況、新挑戰(zhàn)。相

關(guān)管理、審查部門、執(zhí)行部門應(yīng)與科研工作者等相關(guān)方深度協(xié)同，與時(shí)俱進(jìn)，適時(shí)完善《審查辦法》，真正實(shí)現(xiàn)人工智能科學(xué)與技術(shù)的可持續(xù)、向善發(fā)展，打造以人

為本，負(fù)責(zé)任的、對(duì)人類和生態(tài)有益的人工智能。

　　（作者曾毅 系中國(guó)科學(xué)院自動(dòng)化研究所人工智能倫理與治理中心主任、中國(guó)科學(xué)院科技倫理委員會(huì)信息技術(shù)與人工智能分委會(huì)主任）