Para ahli salah paham, menurut Dominic Cummings, mantan kepala penasihat Perdana Menteri Inggris Boris Johnson. Cummings berpendapat bahwa nasihat ilmiah resmi pemerintah Inggris pada Maret 2020 sangat salah memahami bagaimana pandemi akan terjadi, yang menyebabkan penundaan penguncian yang merenggut ribuan nyawa.

Menurut Cummings, itu adalah spesialis tertentu dengan pengetahuan yang kurang tentang pandemi atau pengobatan - seperti ilmuwan data Ben Warner, peneliti kecerdasan buatan Demis Hassabis dari DeepMind, dan ahli matematika Tim Gowers - yang memberikan perkiraan yang lebih akurat pada saat ini.

Cummings juga dikenal sebagai kipas of Superforecasting oleh Philip Tetlock, sebuah buku tentang orang-orang yang memprediksi peristiwa masa depan lebih andal daripada kebanyakan orang. Beberapa superforecaster telah dipuji untuk prediksi mereka tentang pandemi, sementara yang lain juga demikian kritis terhadap para ahli record.

Jadi, haruskah pemerintah lebih memanfaatkan superforecaster daripada mengandalkan pakar ilmiah? Buktinya tidak begitu jelas. Tetapi tampaknya ada hal-hal yang dapat dipelajari oleh pemerintah dari superforecasting.

Di sebuah studi Amerika yang terkenal pada peramal super yang diterbitkan pada tahun 2014, mereka adalah kru elit. Hanya 2% pesaing teratas yang tampil cukup baik dalam turnamen prakiraan geopolitik untuk memenangkan gelar. Tugas mereka adalah menetapkan probabilitas untuk kemungkinan jawaban atas lusinan pertanyaan.

Para peneliti memberikan beberapa contoh ilustrasi. Siapa yang akan menjadi presiden Rusia pada 2012? Akankah Korea Utara meledakkan senjata nuklir lain dalam tiga bulan ke depan? Berapa banyak pengungsi yang akan melarikan diri dari Suriah tahun depan?

Tentu saja, hanya karena seseorang berhasil dalam satu tahun tidak membuktikan bahwa mereka lebih terampil daripada orang lain. Mungkin mereka beruntung. Kita harus melihat seberapa baik mereka melakukannya di tahun-tahun berikutnya untuk mengevaluasi seberapa "super" mereka sebenarnya.

Secara mengesankan, para peramal super ini mempertahankan keunggulan mereka saat turnamen berlangsung selama tiga tahun lagi. Faktanya, setelah digabungkan menjadi "tim superforecasting" yang hanya berisi pemain top lainnya, kinerja mereka meningkat dengan margin yang substansial. Para peneliti juga menemukan bahwa bekerja dalam tim dan mengikuti pelatihan yang relevan meningkatkan kinerja peramal lain, dibandingkan dengan peramal dalam kondisi kontrol.

Tim dan pelatihan

Apakah kita mengambil Cummings pada kata-katanya bahwa perencanaan pandemi Inggris menderita dari "gelembung pemikiran kelompok klasik", kita tahu bahwa tim tidak selalu membuat keputusan yang bijaksana. Apa yang membuat tim lebih sukses dalam studi AS?

Sulit untuk mengatakan dengan pasti, tetapi para peneliti secara khusus mendorong tim untuk mengajukan pertanyaan yang tepat untuk mendorong pemikiran yang lebih jelas tentang bukti yang mendukung perkiraan tertentu, untuk "mencari bukti yang bertentangan dengan prediksi Anda saat ini", dan untuk secara konstruktif memperkenalkan sudut pandang alternatif .

Perdebatan seperti itu mungkin saja meningkatkan penilaian kolektif dan waspada terhadap pemikiran kelompok. Anggota tim juga tidak diharuskan untuk mencapai konsensus. Meskipun mereka berbagi informasi dan opini, mereka tetap membuat prediksi individu yang digabungkan dengan algoritma. Tim peramal super pada khususnya adalah sangat terlibat, sering berbagi informasi dengan dan mengajukan pertanyaan kepada anggota tim lainnya.

Studi lain melihat lebih dekat teknik pelatihan khusus mana yang tampaknya paling membantu. Tiga teknik secara khusus dikaitkan dengan akurasi yang lebih tinggi. Yang pertama adalah penggunaan apa yang disebut kelas perbandingan.

Misalnya, jika saya mencoba memprediksi kemungkinan Benedict Cumberbatch dan Sophie Hunter akan tetap bersama dalam lima tahun, akan sangat membantu untuk memikirkan "kelas" lain yang relevan — katakanlah, kelas pernikahan selebriti, atau bahkan perkawinan pada umumnya. Ini memungkinkan saya untuk melihat ke sejarah untuk menginformasikan prediksi saya: Berapa persentase pernikahan selebriti yang berakhir dalam periode lima tahun tertentu?

Yang kedua adalah memanfaatkan model matematika dan statistik, jika tersedia, untuk membantu menginformasikan pandangan seseorang. Yang ketiga adalah "memilih pertanyaan yang tepat" - rekomendasi untuk menghabiskan lebih banyak waktu memprediksi jawaban atas pertanyaan yang Anda tahu lebih banyak daripada orang lain tentang topik tersebut, atau penelitian tambahan mana yang kemungkinan besar akan membuahkan hasil. Namun, para peneliti menekankan bahwa semua komponen itu pelatihan mungkin telah berkontribusi secara holistik untuk kinerja yang lebih baik.

Penelitian juga menunjukkan hal itu akurasi meningkat ketika kami melacak kinerja kami sebelumnya - tapi jenis umpan balik itu penting. Apakah hasil yang Anda pikir akan terjadi 20% dari waktu benar-benar terjadi 20% dari waktu? Bagaimana dengan hasil yang menurut Anda akan terjadi 90% dari waktu ke waktu? Kinerja meningkat bagi mereka yang menerima informasi semacam ini.

Bisakah pemerintah berbuat lebih baik?

Bisakah pemerintah Inggris melakukan lebih baik pada COVID-19 dengan meminta masukan dari tim peramal super? Itu mungkin. Superforecaster di Good Judgment Open dan peramal yang dipraktekkan di Metakulus (di mana saya telah berpartisipasi) masing-masing tampaknya berhasil dengan baik pada COVID-19, dengan Metaculus mengklaim telah mengungguli para ahli pada bulan Juni 2020. Yang mengatakan, dalam seri terbaru dari prediksi terkait COVID-19, peramal terlatih tidak selalu lebih akurat daripada para ahli. Para peneliti di balik survei sedang bereksperimen dengan cara menggabungkan prediksi dari pakar domain dan peramal terlatih menjadi "perkiraan konsensus".

Tampaknya juga masuk akal bahwa bahkan pelatihan yang membantu orang-orang non-super membuat ramalan yang lebih baik akan berguna. Misalnya, Cummings mengklaim bahwa meskipun ada banyak perhatian pada model epidemiologi, bukti yang bertentangan dengan asumsi model - seperti data yang dilaporkan oleh unit perawatan intensif - diabaikan. Tampaknya masuk akal bahwa seseorang yang terlatih untuk "mencari bukti yang bertentangan dengan prediksi Anda saat ini" mungkin telah melihat ini sebelumnya.

Tentu saja, tidak semua rekomendasi dari literatur praktis dalam pengaturan pemerintah. Secara teori, pemerintah dapat menguji rekomendasi semacam itu untuk diri mereka sendiri, mengadopsi apa pun yang tampaknya bermanfaat. Sayangnya, Anda tidak dapat meningkatkan apa yang tidak Anda ukur.

In Superforecasting, Tetlock menekankan bahwa setiap organisasi yang serius untuk meningkatkan prakiraannya harus menyertakan angka-angka konkret, setidaknya secara internal. Ungkapan seperti "kemungkinan serius" dapat berarti peluang 20% ​​untuk satu orang dan peluang 80% untuk orang lain.

Ini hampir pasti yang dimaksud Cummings ketika ia berkata: "Seorang pria bernama Phil Tetlock menulis sebuah buku dan di dalam buku itu dia berkata bahwa Anda tidak boleh menggunakan kata-kata seperti yang masuk akal dan mungkin dan mungkin, karena itu membingungkan semua orang." Mungkin kita tidak perlu heran jika organisasi yang tidak membuat prakiraan sedemikian rupa sehingga mereka dapat dievaluasi tidak dilengkapi untuk mempelajari cara membuatnya lebih baik. Untuk meningkatkan, Anda harus mencoba terlebih dahulu.