Chatbot AI sudah banyak digunakan oleh bisnis untuk menyapa pelanggan dan menjawab pertanyaan mereka – baik melalui telepon atau di situs web. Beberapa perusahaan telah menyadari bahwa mereka, sampai batas tertentu, dapat menggantikan manusia dengan mesin yang berperan sebagai pusat panggilan.
Namun, bukti yang ada menunjukkan bahwa ada sektor-sektor – seperti layanan kesehatan dan sumber daya manusia – yang memerlukan kehati-hatian ekstrem dalam penggunaan alat-alat garis depan ini, dan pengawasan etika mungkin diperlukan.
Contoh yang baru-baru ini dan banyak dipublikasikan adalah a chatbot bernama Tessa, yang digunakan oleh Asosiasi Gangguan Makan Nasional (NEDA) di Amerika. Organisasi ini awalnya memiliki saluran bantuan yang dioperasikan oleh kombinasi karyawan bergaji dan sukarelawan. Hal ini bertujuan untuk membantu orang-orang rentan yang menderita gangguan makan.
Namun, tahun ini, organisasi tersebut membubarkan staf saluran bantuannya, mengumumkan bahwa mereka akan menggantikannya dengan chatbot Tessa. Alasannya masih diperdebatkan. Mantan pekerja mengklaim bahwa peralihan tersebut terjadi setelah staf saluran bantuan memutuskan untuk membentuk serikat pekerja. Itu wakil presiden NEDA dikutip peningkatan jumlah panggilan telepon dan waktu tunggu, serta tanggung jawab hukum terkait penggunaan staf sukarelawan.
Apapun masalahnya, setelah periode operasi yang sangat singkat, Tessa menjadi offline karena laporan bahwa chatbot telah mengeluarkan saran bermasalah yang dapat memperburuk gejala orang yang mencari bantuan untuk gangguan makan.
Dilaporkan juga bahwa Dr Ellen Fitzsimmons-Craft dan Dr C Barr Taylor, dua peneliti berkualifikasi tinggi yang membantu pembuatan Tessa, telah menetapkan bahwa chatbot tidak pernah dimaksudkan sebagai pengganti saluran bantuan yang sudah ada atau untuk memberikan bantuan segera kepada mereka yang mengalami gejala gangguan makan yang parah.
Peningkatan yang signifikan
Jadi untuk apa Tessa dirancang? Para peneliti, bersama rekan-rekannya, telah menghasilkan sebuah studi observasional menyoroti tantangan yang mereka hadapi dalam merancang chatbot berbasis aturan untuk berinteraksi dengan pengguna yang peduli dengan gangguan makan. Ini adalah bacaan yang cukup menarik, menggambarkan pilihan desain, pengoperasian, kendala, dan amandemen.
Versi asli Tessa adalah versi tradisional, chatbot berbasis aturan, meskipun sangat halus, yaitu mengikuti struktur yang telah ditentukan sebelumnya berdasarkan logika. Ia tidak boleh menyimpang dari tanggapan standar yang telah diprogram dan dikalibrasi oleh penciptanya.
Kesimpulan mereka mencakup poin berikut: “Chatbot berbasis aturan memiliki potensi untuk menjangkau populasi besar dengan biaya rendah dalam memberikan informasi dan interaksi sederhana namun terbatas dalam pemahaman dan respons yang tepat terhadap respons pengguna yang tidak terduga”.
Hal ini mungkin tampak membatasi penggunaan Tessa yang cocok. Jadi bagaimana cara mereka menggantikan saluran bantuan yang sebelumnya digunakan oleh NEDA? Rangkaian peristiwa sebenarnya sedang didiskusikan di antara akun-akun yang berbeda, namun, menurut NPR, perusahaan hosting chatbot tersebut mengubah Tessa dari chatbot berbasis aturan dengan respons terprogram menjadi chatbot dengan respons yang telah diprogram. “fitur pertanyaan dan jawaban yang ditingkatkan”.
Versi Tessa yang lebih baru adalah yang menggunakan AI generatif, seperti ChatGPT dan produk serupa. Chatbot AI canggih ini dirancang untuk mensimulasikan pola percakapan manusia dengan tujuan memberikan respons yang lebih realistis dan berguna. Menghasilkan jawaban yang disesuaikan ini bergantung pada database informasi yang besar, yang mana model AI dilatih untuk “memahaminya” melalui berbagai proses teknologi: Mesin belajar, belajar mendalam dan pemrosesan bahasa alami.
Belajar pelajaran
Pada akhirnya, chatbot menghasilkan apa yang digambarkan sebagai jawaban yang berpotensi membahayakan terhadap beberapa pertanyaan pengguna. Diskusi yang terjadi selanjutnya telah mengalihkan kesalahan dari satu institusi ke institusi lainnya. Namun, intinya tetap bahwa keadaan yang terjadi selanjutnya berpotensi dapat dihindari jika ada badan yang memberikan pengawasan etis, “manusia yang terlibat” dan kepatuhan terhadap tujuan yang jelas dari desain asli Tessa.
Penting untuk mengambil pelajaran dari kasus-kasus seperti ini di tengah terburu-burunya integrasi AI ke dalam berbagai sistem. Meskipun peristiwa ini terjadi di AS, peristiwa ini mengandung pelajaran bagi mereka yang ingin melakukan hal serupa di negara lain.
Inggris tampaknya memiliki pendekatan yang agak terfragmentasi terhadap masalah ini. Dewan penasihat Pusat Etika dan Inovasi Data (CDEI) baru-baru ini dibubarkan dan kursinya di meja diambil alih oleh Gugus Tugas Frontier AI yang baru dibentuk. Ada juga laporan bahwa sistem AI telah diujicobakan di London sebagai alat untuk membantu pekerja – meskipun bukan sebagai pengganti saluran bantuan.
Kedua contoh ini menyoroti potensi ketegangan antara pertimbangan etis dan kepentingan bisnis. Kita harus berharap bahwa keduanya pada akhirnya akan selaras, menyeimbangkan kesejahteraan individu dengan efisiensi dan manfaat yang dapat diberikan oleh AI.
Namun, di beberapa bidang di mana organisasi berinteraksi dengan masyarakat, respons yang dihasilkan oleh AI dan simulasi empati mungkin tidak akan pernah cukup untuk menggantikan rasa kemanusiaan dan kasih sayang yang tulus – khususnya di bidang kedokteran dan kesehatan mental.
Tandai Tsagas, Dosen, Hukum Pidana, University of East London
Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.
