pria - dan negara - berperang
Napoleon bisa belajar dari masa lalu. lukisan oleh Adolph Northen/wikipedia

Adalah klise bahwa tidak mengetahui sejarah membuat seseorang mengulanginya. Seperti yang juga telah ditunjukkan oleh banyak orang, satu-satunya hal yang kita pelajari dari sejarah adalah bahwa kita jarang belajar sesuatu dari sejarah. Orang-orang terlibat perang darat di Asia lagi dan lagi. Mereka juga mengulangi kesalahan kencan yang sama, lagi dan lagi. Tetapi mengapa ini terjadi? Dan apakah teknologi akan mengakhirinya?

Satu masalah adalah kelupaan dan “lamur”: kami tidak melihat bagaimana peristiwa masa lalu relevan dengan peristiwa saat ini, mengabaikan pola yang sedang berlangsung. Napoleon seharusnya memperhatikan kesamaan antara pawai di Moskow dan raja Swedia Upaya gagal Charles XII untuk melakukan hal yang sama kira-kira satu abad sebelum dia.

Kita juga buruk dalam belajar ketika ada yang salah. Alih-alih menentukan mengapa suatu keputusan salah dan bagaimana menghindarinya terjadi lagi, kita sering mencoba mengabaikan kejadian yang memalukan. Itu berarti bahwa lain kali situasi serupa muncul, kita tidak melihat kesamaannya – dan mengulangi kesalahannya.

Keduanya mengungkapkan masalah dengan informasi. Dalam kasus pertama, kita gagal mengingat informasi pribadi atau sejarah. Yang kedua, kami gagal menyandikan informasi saat tersedia.


grafis berlangganan batin


Yang mengatakan, kami juga membuat kesalahan ketika kami tidak dapat menyimpulkan secara efisien apa yang akan terjadi. Mungkin situasinya terlalu rumit atau terlalu memakan waktu untuk dipikirkan. Atau kita bias salah menafsirkan apa yang sedang terjadi.

Kekuatan teknologi yang mengganggu

Tapi tentunya teknologi bisa membantu kita? Kita sekarang dapat menyimpan informasi di luar otak kita, dan menggunakan komputer untuk mengambilnya kembali. Itu seharusnya membuat belajar dan mengingat menjadi mudah, bukan?

Menyimpan informasi berguna ketika dapat diambil dengan baik. Namun mengingat bukanlah hal yang sama dengan mengambil file dari lokasi atau tanggal yang diketahui. Mengingat melibatkan menemukan kesamaan dan membawa hal-hal ke dalam pikiran.

Kecerdasan buatan (AI) juga harus mampu secara spontan membawa kesamaan ke dalam pikiran kita – seringkali kesamaan yang tidak diinginkan. Tetapi jika pandai melihat kemungkinan kesamaan (toh, itu bisa mencari semua internet dan semua data pribadi kita) itu juga akan sering melihat yang salah.

Untuk kencan yang gagal, mungkin dicatat bahwa semuanya melibatkan makan malam. Tapi bukan makan yang menjadi masalah. Dan kebetulan saja ada bunga tulip di atas meja – tidak ada alasan untuk menghindarinya. Kami sering mengulangi kesalahan kencan. 

Artinya, itu akan memperingatkan kita tentang hal-hal yang tidak kita pedulikan, mungkin dengan cara yang mengganggu. Menurunkan sensitivitasnya berarti meningkatkan risiko tidak mendapat peringatan saat dibutuhkan.

Ini adalah masalah mendasar dan berlaku sama untuk penasihat mana pun: penasihat yang berhati-hati akan terlalu sering menangis, penasihat yang optimis akan kehilangan risiko.

Penasihat yang baik adalah seseorang yang kita percayai. Mereka memiliki tingkat kehati-hatian yang sama seperti kita, dan kita tahu mereka tahu apa yang kita inginkan. Ini sulit ditemukan pada penasihat manusia, dan terlebih lagi pada AI.

Di mana teknologi menghentikan kesalahan? Pekerjaan pemeriksaan idiot. Mesin pemotong mengharuskan Anda menahan tombol, menjauhkan tangan dari mata pisau. Sebuah "sakelar orang mati" menghentikan mesin jika operator menjadi tidak mampu.

Oven microwave mematikan radiasi saat pintu dibuka. Untuk meluncurkan rudal, dua orang perlu memutar kunci secara bersamaan di sebuah ruangan. Di sini, desain yang cermat membuat kesalahan sulit dilakukan. Tapi kami tidak cukup peduli dengan situasi yang kurang penting, membuat desain di sana jauh lebih tidak tahan terhadap kebodohan.

Ketika teknologi bekerja dengan baik, kita sering terlalu mempercayainya. Pilot maskapai memiliki jam terbang yang sebenarnya lebih sedikit hari ini daripada di masa lalu karena efisiensi sistem autopilot yang luar biasa. Ini adalah berita buruk ketika autopilot gagal, dan pilot memiliki sedikit pengalaman untuk memperbaiki situasi.

Yang pertama dari a anjungan minyak jenis baru (Sleipnir A) tenggelam karena para insinyur mempercayai perhitungan perangkat lunak dari gaya yang bekerja padanya. Modelnya salah, tetapi hasilnya disajikan dengan cara yang begitu meyakinkan sehingga terlihat dapat diandalkan.

Sebagian besar teknologi kami sangat andal. Misalnya, kami tidak memperhatikan bagaimana paket data yang hilang di internet terus-menerus ditemukan di belakang layar, bagaimana kode koreksi kesalahan menghilangkan kebisingan atau bagaimana sekering dan redundansi membuat peralatan aman.

Tetapi ketika kita menumpuk pada tingkat demi tingkat kerumitan, itu terlihat sangat tidak dapat diandalkan. Kami memperhatikan saat video Zoom lambat, program AI salah menjawab, atau komputer mogok. Namun tanyakan kepada siapa saja yang menggunakan komputer atau mobil 50 tahun yang lalu bagaimana sebenarnya cara kerjanya, dan Anda akan melihat bahwa keduanya kurang mampu dan kurang dapat diandalkan.

Kami membuat teknologi lebih rumit hingga menjadi terlalu mengganggu atau tidak aman untuk digunakan. Saat bagian menjadi lebih baik dan lebih andal, kami sering memilih untuk menambahkan fitur baru yang menarik dan berguna daripada bertahan dengan apa yang berhasil. Ini pada akhirnya membuat teknologi kurang dapat diandalkan daripada yang seharusnya.

Kesalahan akan dibuat

Ini juga mengapa AI adalah pedang bermata dua untuk menghindari kesalahan. Otomasi sering membuat segalanya lebih aman dan lebih efisien saat berfungsi, tetapi saat gagal, masalah menjadi jauh lebih besar. Otonomi berarti bahwa perangkat lunak pintar dapat melengkapi pemikiran kita dan membebani kita, tetapi jika tidak berpikir seperti yang kita inginkan, itu dapat berperilaku buruk.

Semakin kompleks, semakin fantastis kesalahannya. Siapa pun yang telah berurusan dengan para sarjana yang sangat cerdas tahu seberapa baik mereka dapat mengacaukan banyak hal dengan kecerdikan yang luar biasa ketika akal sehat mereka mengecewakan mereka – dan AI memiliki akal sehat manusia yang sangat sedikit.

Ini juga merupakan alasan mendalam untuk khawatir tentang AI yang memandu pengambilan keputusan: mereka membuat jenis kesalahan baru. Kita manusia tahu kesalahan manusia, artinya kita bisa mewaspadainya. Tetapi mesin pintar bisa membuat kesalahan yang tidak pernah kita bayangkan.

Terlebih lagi, sistem AI diprogram dan dilatih oleh manusia. Dan ada banyak contoh sistem seperti itu menjadi bias dan bahkan fanatik. Mereka meniru bias dan mengulangi kesalahan dari dunia manusia, bahkan ketika orang yang terlibat secara eksplisit mencoba menghindarinya.

Pada akhirnya, kesalahan akan terus terjadi. Ada alasan mendasar mengapa kita salah tentang dunia, mengapa kita tidak mengingat semua yang seharusnya kita ingat, dan mengapa teknologi kita tidak dapat membantu kita menghindari masalah dengan sempurna.

Tapi kita bisa bekerja untuk mengurangi konsekuensi dari kesalahan. Tombol urungkan dan simpan otomatis telah menyimpan banyak sekali dokumen di komputer kita. Monumen di London, batu tsunami di Jepang dan monumen lainnya bertindak untuk mengingatkan kita tentang risiko tertentu. Praktik desain yang baik membuat hidup kita lebih aman.

Pada akhirnya, adalah mungkin untuk belajar sesuatu dari sejarah. Tujuan kita seharusnya untuk bertahan dan belajar dari kesalahan kita, bukan mencegahnya terjadi. Teknologi dapat membantu kita dalam hal ini, tetapi kita perlu memikirkan dengan hati-hati tentang apa yang sebenarnya kita inginkan darinya – dan merancangnya sesuai dengan itu.

Tentang Penulis

Anders Sandberg, Rekan Riset James Martin, Institut Kemanusiaan Masa Depan & Sekolah Oxford Martin, University of Oxford

Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.