科學(xué)家們列出了清單，著眼于潛在的長(zhǎng)期問(wèn)題，包括未來(lái)發(fā)展這一重要技術(shù)平衡資源分配，但要規(guī)劃和減輕人工智能系統(tǒng)可能會(huì)面對(duì)的風(fēng)險(xiǎn)，特別是災(zāi)難性的或存在的風(fēng)險(xiǎn)。
為此，安全控制措施應(yīng)適用于AI，可以改善自身技術(shù)，阻止劇本里世界末日的發(fā)生，而在一般情況下，“超智只應(yīng)服務(wù)于廣泛共享的倫理理想的發(fā)展，并為全人類(lèi)利益而不是一個(gè)國(guó)家或組織的利益。”
阿西洛馬人工智能原則
科研問(wèn)題
1）研究目的：人工智能研究的目標(biāo)，應(yīng)該是創(chuàng)造有益（于人類(lèi)）而不是不受（人類(lèi)）控制的智能。
2）研究經(jīng)費(fèi)：投資人工智能應(yīng)該有部份經(jīng)費(fèi)用于研究如何確保有益地使用人工智能，包括計(jì)算機(jī)科學(xué)、經(jīng)濟(jì)學(xué)、法律、倫理以及社會(huì)研究中的棘手問(wèn)題，比如：
• 如何使未來(lái)的人工智能系統(tǒng)高度健全（“魯棒性”），讓系統(tǒng)按我們的要求運(yùn)行，而不會(huì)發(fā)生故障或遭黑客入侵？
•如何通過(guò)自動(dòng)化提升我們的繁榮程度，同時(shí)維持人類(lèi)的資源和意志？
•如何改進(jìn)法制體系使其更公平和高效，能夠跟得上人工智能的發(fā)展速度，并且能夠控制人工智能帶來(lái)的風(fēng)險(xiǎn)？
•人工智能應(yīng)該歸屬于什么樣的價(jià)值體系？它該具有何種法律和倫理地位？
3）科學(xué)與政策的聯(lián)系：在人工智能研究者和政策制定者之間應(yīng)該有建設(shè)性的、有益的交流。
4） 科研文化：在人工智能研究者和開(kāi)發(fā)者中應(yīng)該培養(yǎng)一種合作、信任與透明的人文文化。
5）避免競(jìng)爭(zhēng)：人工智能系統(tǒng)開(kāi)發(fā)團(tuán)隊(duì)之間應(yīng)該積極合作，以避免安全標(biāo)準(zhǔn)上的有機(jī)可乘。
倫理和價(jià)值
6） 安全性：人工智能系統(tǒng)在它們整個(gè)運(yùn)行過(guò)程中應(yīng)該是安全和可靠的，而且其可應(yīng)用性的和可行性應(yīng)當(dāng)接受驗(yàn)證。
7） 故障透明性：如果一個(gè)人工智能系統(tǒng)造成了損害，那么造成損害的原因要能被確定。
8）司法透明性：任何自動(dòng)系統(tǒng)參與的司法判決都應(yīng)提供令人滿意的司法解釋以被相關(guān)領(lǐng)域的專家接受。
9）責(zé)任：高級(jí)人工智能系統(tǒng)的設(shè)計(jì)者和建造者，是人工智能使用、誤用和行為所產(chǎn)生的道德影響的參與者，有責(zé)任和機(jī)會(huì)去塑造那些道德影響。
10）價(jià)值歸屬：高度自主的人工智能系統(tǒng)的設(shè)計(jì)，應(yīng)該確保它們的目標(biāo)和行為在整個(gè)運(yùn)行中與人類(lèi)的價(jià)值觀相一致。
11）人類(lèi)價(jià)值觀：人工智能系統(tǒng)應(yīng)該被設(shè)計(jì)和操作，以使其和人類(lèi)尊嚴(yán)、權(quán)力、自由和文化多樣性的理想相一致。
12）個(gè)人隱私：在給予人工智能系統(tǒng)以分析和使用數(shù)據(jù)的能力時(shí)，人們應(yīng)該擁有權(quán)力去訪問(wèn)、管理和控制他們產(chǎn)生的數(shù)據(jù)。
13）自由和隱私：人工智能在個(gè)人數(shù)據(jù)上的應(yīng)用不能允許無(wú)理由地剝奪人們真實(shí)的或人們能感受到的自由。
14）分享利益：人工智能科技應(yīng)該惠及和服務(wù)盡可能多的人。
15） 共同繁榮：由人工智能創(chuàng)造的經(jīng)濟(jì)繁榮應(yīng)該被廣泛地分享，惠及全人類(lèi)。
16）人類(lèi)控制：人類(lèi)應(yīng)該來(lái)選擇如何和決定是否讓人工智能系統(tǒng)去完成人類(lèi)選擇的目標(biāo)。
17）非顛覆：高級(jí)人工智能被授予的權(quán)力應(yīng)該尊重和改進(jìn)健康的社會(huì)所依賴的社會(huì)和公民秩序，而不是顛覆。
18）人工智能軍備競(jìng)賽：致命的自動(dòng)化武器的裝備競(jìng)賽應(yīng)該被避免。
更長(zhǎng)期的問(wèn)題
19）能力警惕：我們應(yīng)該避免關(guān)于未來(lái)人工智能能力上限的過(guò)高假設(shè)，但這一點(diǎn)還沒(méi)有達(dá)成共識(shí)。
20）重要性：高級(jí)人工智能能夠代表地球生命歷史的一個(gè)深刻變化，人類(lèi)應(yīng)該有相應(yīng)的關(guān)切和資源來(lái)進(jìn)行計(jì)劃和管理。
21）風(fēng)險(xiǎn)：人工智能系統(tǒng)造成的風(fēng)險(xiǎn)，特別是災(zāi)難性的或有關(guān)人類(lèi)存亡的風(fēng)險(xiǎn)，必須有針對(duì)性地計(jì)劃和努力減輕可預(yù)見(jiàn)的沖擊。
22）遞歸的自我提升：被設(shè)計(jì)成可以迅速提升質(zhì)量和數(shù)量的方式進(jìn)行遞歸自我升級(jí)或自我復(fù)制人工智能系統(tǒng)，必須受制于嚴(yán)格的安全和控制標(biāo)準(zhǔn)。
23）公共利益：超級(jí)智能的開(kāi)發(fā)是為了服務(wù)廣泛認(rèn)可的倫理觀念，并且是為了全人類(lèi)的利益而不是一個(gè)國(guó)家和組織的利益。
