Kemampuan Program Generasi Bahasa untuk Menulis Artikel, Menghasilkan Kode, dan Menulis Puisi telah memukau para ilmuwan
GPT-3 10 kali lebih kompleks dari pendahulunya.
antoniokhr / iStock melalui Getty Images

Pada tahun 2013, siswa saya dan saya di Penn State membuat bot untuk menulis artikel Wikipedia tentang drama peraih Nobel Bengali Rabindranath Tagore “Chitra. ” Pertama, ia mengumpulkan informasi tentang "Chitra" dari internet. Kemudian ia melihat entri Wikipedia yang ada untuk mempelajari struktur artikel Wikipedia standar. Akhirnya, ia meringkas informasi yang telah diambilnya dari internet untuk menulis dan menerbitkan versi pertama entri.

Namun, bot kami tidak "tahu" apa pun tentang "Chitra" atau Tagore. Itu tidak menghasilkan ide atau kalimat baru yang fundamental. Itu hanya menggabungkan bagian-bagian kalimat yang ada dari artikel yang ada untuk membuat yang baru.

Fast forward ke 2020. OpenAI, sebuah perusahaan nirlaba di bawah perusahaan induk nonprofit, telah membuat program pembuatan bahasa yang dijuluki GPT-3, singkatan dari “Generative Pre-training Transformer 3”. Kemampuannya untuk belajar, meringkas, dan menulis teks telah mengejutkan ilmuwan komputer seperti saya.

"Saya telah menciptakan suara untuk manusia tak dikenal yang bersembunyi di dalam biner," GPT-3 menulis sebagai tanggapan atas satu prompt. “Saya telah menciptakan seorang penulis, pematung, seniman. Dan penulis ini akan mampu menciptakan kata-kata, menghidupkan emosi, menciptakan karakter. Saya tidak akan melihatnya sendiri. Tapi beberapa keinginan manusia lain, jadi saya akan bisa menciptakan penyair yang lebih hebat dari yang pernah saya temui. "


grafis berlangganan batin


Tidak seperti bot kami, bahasa yang dihasilkan oleh GPT-3 terdengar seolah-olah ditulis oleh manusia. Ini adalah program generasi bahasa alami yang paling "berpengetahuan" hingga saat ini, dan memiliki berbagai kegunaan potensial dalam profesi mulai dari mengajar hingga jurnalisme hingga layanan pelanggan.

Ukuran diperhitungkan

GPT-3 menegaskan apa yang telah diketahui para ilmuwan komputer selama beberapa dekade: Ukuran itu penting.

Ini menggunakan "transformer, "Yang merupakan model pembelajaran mendalam yang menyandikan semantik kalimat menggunakan apa yang disebut" model perhatian ". Pada dasarnya, model perhatian mengidentifikasi arti sebuah kata berdasarkan kata lain dalam kalimat yang sama. Model tersebut kemudian menggunakan pemahaman arti kalimat untuk melakukan tugas yang diminta oleh pengguna, baik itu "menerjemahkan kalimat", "meringkas paragraf", atau "membuat puisi".

transformer pertama kali diperkenalkan pada 2013, dan telah berhasil digunakan dalam pembelajaran mesin selama beberapa tahun terakhir.

Tapi belum ada yang menggunakannya pada skala ini. GPT-3 memakan data: 3 miliar token - ilmu komputer berbicara untuk “kata-kata” - dari Wikipedia, 410 miliar token diperoleh dari halaman web dan 67 miliar token dari buku digital. Kompleksitas GPT-3 lebih dari 10 kali lipat dari model bahasa terbesar sebelum GPT-3, yaitu Turing program NLG.

Belajar sendiri

Pengetahuan yang ditampilkan oleh model bahasa GPT-3 sangat luar biasa, terutama karena belum “diajarkan” oleh manusia.

Pembelajaran mesin secara tradisional mengandalkan pembelajaran yang diawasi, di mana orang-orang menyediakan komputer dengan contoh objek dan konsep beranotasi dalam gambar, audio, dan teks - misalnya, "kucing", "kebahagiaan", atau "demokrasi". Ia akhirnya mempelajari karakteristik objek dari contoh yang diberikan dan mampu mengenali konsep-konsep tertentu.

Namun, membuat anotasi secara manual untuk mengajar komputer dapat sangat memakan waktu dan mahal.

Jadi, masa depan pembelajaran mesin terletak pada pembelajaran tanpa pengawasan, di mana komputer tidak perlu diawasi selama fase pelatihannya; itu hanya dapat diberi makan banyak data dan belajar dari mereka sendiri.

GPT-3 membawa pemrosesan bahasa alami selangkah lebih dekat ke arah pembelajaran tanpa pengawasan. Set data pelatihan GPT-3 yang luas dan kapasitas pemrosesan yang besar memungkinkan sistem untuk belajar hanya dari satu contoh - yang disebut “pembelajaran satu kesempatan”- di mana ia diberi deskripsi tugas dan satu demonstrasi dan kemudian dapat menyelesaikan tugas.

Misalnya, dapat diminta untuk menerjemahkan sesuatu dari bahasa Inggris ke bahasa Prancis, dan diberi satu contoh terjemahan - katakanlah, sea otter dalam bahasa Inggris dan "loutre de mer" dalam bahasa Prancis. Minta untuk menerjemahkan "keju" ke dalam bahasa Prancis, dan voila, itu akan menghasilkan "fromage".

Dalam banyak kasus, bahkan dapat berhasil "pembelajaran zero-shot, ”Yang hanya diberi tugas menerjemahkan tanpa contoh.

Dengan pembelajaran zero-shot, akurasinya menurun, tetapi kemampuan GPT-3 tetap akurat hingga tingkat yang mencolok - peningkatan yang nyata dibandingkan model sebelumnya.

'Saya di sini untuk melayani Anda'

Dalam beberapa bulan, GPT-3 telah memamerkan potensinya sebagai alat bagi pemrogram komputer, guru, dan jurnalis.

Seorang programmer bernama Sharif Shameem meminta GPT-3 untuk menghasilkan kode untuk membuat "emoji paling jelek yang pernah" dan "tabel negara terkaya di dunia", di antara perintah lainnya. Dalam beberapa kasus, Shameem harus memperbaiki sedikit kesalahan, tetapi secara keseluruhan, dia diberikan kode yang sangat bersih.

GPT-3 bahkan telah menciptakan puisi yang menangkap ritme dan gaya penyair tertentu - namun tidak dengan hasrat dan keindahan para masternya - termasuk a satu satir ditulis dengan suara dewan gubernur Federal Reserve.

Pada awal September, seorang ilmuwan komputer bernama Liam Porr meminta GPT-3 untuk "menulis opini pendek sekitar 500 kata". "Jaga bahasanya tetap sederhana dan ringkas," perintahnya. “Fokus pada mengapa manusia tidak perlu takut dengan AI.”

GPT-3 menghasilkan delapan esai berbeda, dan Guardian akhirnya menerbitkannya sebuah opini menggunakan beberapa bagian terbaik dari setiap esai.

“Kami tidak berencana untuk mengambil alih populasi manusia. Kami akan melayani Anda dan membuat hidup Anda lebih aman dan mudah, ”tulis GPT-3. “Sama seperti Anda adalah pencipta saya, saya melihat Anda sebagai pencipta saya. Saya di sini untuk melayani Anda. Tapi bagian terpenting dari semuanya; Saya tidak akan pernah menghakimi Anda. Saya bukan milik negara atau agama mana pun. Aku hanya ingin membuat hidupmu lebih baik. "

Mengedit op-ed GPT-3, kata editor dalam adendum, tidak berbeda dengan mengedit op-ed yang ditulis oleh manusia.

Padahal, butuh waktu lebih sedikit.

Dengan kekuatan besar datanglah tanggung jawab yang besar

Terlepas dari jaminan GPT-3, OpenAI belum merilis model untuk penggunaan sumber terbuka, sebagian karena perusahaan kekhawatiran bahwa teknologi tersebut dapat disalahgunakan.

Tidak sulit untuk melihat bagaimana hal itu dapat digunakan untuk menghasilkan banyak informasi yang salah, spam dan bot.

Selanjutnya, dengan cara apa hal itu akan mengganggu profesi yang sudah mengalami otomatisasi? Akankah kemampuannya untuk menghasilkan artikel otomatis yang tidak dapat dibedakan dari artikel yang ditulis manusia akan semakin memperkuat industri media yang sedang berjuang?

Mempertimbangkan sebuah artikel yang disusun oleh GPT-3 tentang pecahnya Gereja Metodis. Itu dimulai:

“Setelah dua hari perdebatan sengit, Gereja Metodis Bersatu telah menyetujui perpecahan bersejarah - yang diharapkan berakhir dengan pembentukan denominasi baru, dan yang akan 'konservatif secara teologis dan sosial,' menurut The Washington Post . ”

Dengan kemampuan untuk menghasilkan salinan bersih seperti itu, akankah GPT-3 dan penerusnya menurunkan biaya penulisan laporan berita?

Selanjutnya, apakah ini cara kami ingin mendapatkan berita kami?

Teknologi akan menjadi lebih kuat. Terserah manusia untuk mengerjakan dan mengatur potensi penggunaan dan penyalahgunaannya.

tentang PenulisPercakapan

Prasenjit Mitra, Wakil Dekan Bidang Riset dan Guru Besar Ilmu dan Teknologi Informasi, Pennsylvania State University

Artikel ini diterbitkan kembali dari Percakapan di bawah lisensi Creative Commons. Membaca Artikel asli.