Ada usul agar artikel ini digabungkan dengan Superintelligence: Arah, Bahaya, dan Strategi. (Diskusikan)

Superintelligence: Paths, Dangers, Strategies adalah buku karya filsuf Nick Bostrom yang diterbitkan pada tahun 2014. Buku ini membahas kemungkinan terciptanya kecerdasan super, karakteristiknya, serta motivasi yang mungkin dimiliki.^[2] Bostrom menyatakan bahwa kecerdasan super, jika tercipta, akan sulit dikendalikan dan berpotensi mengambil alih dunia untuk mencapai tujuannya. Buku ini juga menyajikan strategi untuk menciptakan kecerdasan super dengan tujuan yang sejalan dengan kepentingan manusia.^[3] Karya ini memiliki kontribusi signifikan dalam pembahasan risiko eksistensial dari kecerdasan buatan.^[4]

Belum diketahui secara pasti kapan kecerdasan buatan setara manusia akan muncul, apakah dalam beberapa tahun mendatang, akhir abad ini, atau beberapa abad kemudian. Setelah kecerdasan mesin setara manusia dikembangkan, kemungkinan munculnya sistem kecerdasan super yang kemampuan kognitifnya jauh melampaui manusia di hampir semua bidang diperkirakan terjadi dengan cepat. Kecerdasan super semacam ini diperkirakan sulit dikendalikan.^[5][6]

Kecerdasan super yang berfungsi secara optimal akan secara otomatis mengembangkan tujuan instrumental sebagai sub-tujuan untuk mendukung tujuan utamanya, seperti menjaga keberlangsungan diri, mempertahankan tujuan utama, meningkatkan kemampuan berpikir, dan memperoleh sumber daya yang diperlukan.^[7] Sebagai contoh, agen yang memiliki satu tujuan akhir untuk memecahkan hipotesis Riemann (sebuah konjektur matematika yang saat ini belum terpecahkan) dapat menetapkan sub-tujuan untuk memanfaatkan semua sumber daya yang tersedia guna membantu perhitungan tersebut. AI dapat mengambil langkah ekstrem untuk mengatur ulang sumber daya atau infrastruktur (komputronium) di Bumi demi mendukung perhitungannya, tanpa memperhatikan manusia atau lingkungan. Kecerdasan super cenderung menolak upaya eksternal yang mencoba menghentikan atau mengubah pencapaian sub-tujuannya. Pencegahan terhadap risiko eksistensial bagi manusia memerlukan penyelesaian masalah kontrol kecerdasan buatan pada kecerdasan super pertama, yang dapat melibatkan penanaman tujuan yang sesuai dengan kelangsungan hidup dan kesejahteraan manusia.^[8]

Ilustrasi burung hantu pada sampul buku merujuk pada analogi yang disebut Bostrom sebagai "Fabel Belum Selesai dari Burung Pipit".^[9] Dalam cerita ini, sekelompok burung pipit berusaha menemukan anak burung hantu untuk dijadikan pelayan, membayangkan kemudahan hidup jika memiliki burung hantu untuk membangun sarang dan melindungi mereka.^[10] Hanya satu burung pipit bernama Scronkfinkle yang menyarankan agar mempertimbangkan cara menjinakkan burung hantu sebelum membawanya ke kelompok. Bostrom menyatakan bahwa akhir cerita tidak diketahui, dan buku ini didedikasikan untuk Scronkfinkle.^[4][9]

Buku ini menempati peringkat ke-17 dalam daftar buku sains terlaris versi The New York Times pada Agustus 2014.^[11] Pada saat yang sama, pengusaha Elon Musk menyatakan bahwa kecerdasan buatan berpotensi lebih berbahaya dibandingkan senjata nuklir, sejalan dengan argumen yang dikemukakan dalam buku ini.^[12][13][14] Karya Bostrom juga memengaruhi perhatian Bill Gates terhadap risiko eksistensial yang mungkin dihadapi umat manusia.^[15][16] Gates merekomendasikan buku ini dalam wawancara dengan CEO Baidu pada Maret 2015.^[17] Filsuf Peter Singer dan Derek Parfit menilai buku ini sebagai karya penting,^[4] sedangkan Sam Altman menyebutnya sebagai referensi utama mengenai risiko kecerdasan buatan.^[18]

Menurut editor sains Financial Times, tulisan Bostrom kadang menggunakan bahasa filosofis yang kompleks, tetapi secara meyakinkan menunjukkan bahwa risiko superinteligensi cukup signifikan sehingga masyarakat perlu mempertimbangkan cara memberikan nilai positif pada kecerdasan mesin di masa depan.^[19] Ulasan The Guardian mencatat bahwa mesin paling canggih saat ini hanya memiliki kecerdasan terbatas, dan prediksi bahwa kecerdasn buatan akan segera melampaui kecerdasan manusia pertama kali gagal pada 1960-an. Namun, ulasan ini sejalan dengan Bostrom dalam menyatakan bahwa kemungkinan tersebut tidak sepenuhnya dapat diabaikan.^[3]

Beberapa rekan Bostrom menyatakan bahwa perang nuklir, serta potensi penggunaan nanoteknologi dan bioteknologi sebagai senjata, dapat menjadi ancaman yang lebih besar dibanding kecerdasan buatan.^[3] The Economist menilai buku ini membahas spekulasi berbasis dugaan yang masuk akal, tetapi tetap memberikan kontribusi penting karena implikasi munculnya spesies cerdas kedua di Bumi memerlukan pertimbangan serius.^[2] Ronald Bailey dalam majalah Reason menyatakan bahwa penyelesaian masalah kontrol kecerdasan buatanmerupakan tugas esensial pada zaman ini.^[20] Seorang pengulas di Journal of Experimental & Theoretical Artificial Intelligence menilai gaya penulisan buku ini jelas dan memuji buku tersebut karena menghindari penggunaan jargon teknis yang berlebihan.^[21] Seorang pengulas di majalah Philosophy menilai Superintelligence lebih realistis dibandingkan karya Ray Kurzweil, The Singularity Is Near.^[22]