Apa Video Deepfake Dan Mendeteksi Mereka Mengedipkan Mata

Bentuk baru dari informasi yang salah siap disebarkan melalui komunitas online ketika kampanye pemilihan paruh waktu 2018 memanas. Disebut "deepfakes" setelah akun online pseudonymous yang mempopulerkan teknik ini - yang mungkin telah memilih namanya karena prosesnya menggunakan metode teknis yang disebut "pembelajaran mendalam" - video palsu ini terlihat sangat realistis.

Sejauh ini, orang telah menggunakan video deepfake di pornografi dan sindiran untuk membuatnya tampak bahwa orang terkenal melakukan hal-hal yang biasanya tidak mereka lakukan.

Tapi hampir pasti deepfakes akan muncul selama musim kampanye, mengaku untuk menggambarkan kandidat mengatakan hal-hal atau pergi ke tempat-tempat kandidat yang sebenarnya tidak akan melakukannya.

Ini Barack Obama - atau apakah itu?

{youtube}cQ54GDm1eL0{/youtube}

Karena teknik ini sangat baru, orang-orang mengalami kesulitan untuk mengatakan perbedaan antara video nyata dan video deepfake. Pekerjaan saya, dengan kolega saya, Ming-Ching Chang dan Ph.D. mahasiswa Yuezun Li, telah menemukan cara untuk dengan andal menceritakan video nyata dari video deepfake. Ini bukan solusi permanen, karena teknologi akan meningkat. Tapi ini adalah awal, dan menawarkan harapan bahwa komputer akan dapat membantu orang mengatakan kebenaran dari fiksi.


grafis berlangganan batin


Apa itu 'deepfake'?

Membuat video deepfake sangat mirip menerjemahkan antar bahasa. Layanan seperti penerjemah Google gunakan pembelajaran mesin - analisis komputer dari puluhan ribu teks dalam beberapa bahasa - untuk mendeteksi pola penggunaan kata yang mereka gunakan untuk membuat terjemahan.

Algoritma deepfake bekerja dengan cara yang sama: Mereka menggunakan jenis sistem pembelajaran mesin yang disebut a jaringan saraf yang dalam untuk memeriksa gerakan wajah satu orang. Kemudian mereka mensintesis gambar wajah orang lain yang membuat gerakan analog. Melakukannya dengan efektif membuat video dari orang target yang muncul untuk melakukan atau mengatakan hal-hal yang dilakukan oleh orang sumber.

Bagaimana video deepfake dibuat.

{youtube}8LhI-e2B8Lg{/youtube}

Sebelum dapat berfungsi dengan baik, jaringan saraf dalam memerlukan banyak informasi sumber, seperti foto orang-orang yang menjadi sumber atau target peniruan identitas. Semakin banyak gambar yang digunakan untuk melatih algoritme deepfake, semakin realistis peniruan digital.

Mendeteksi berkedip

Masih ada kekurangan dalam jenis algoritma baru ini. Salah satunya ada hubungannya dengan bagaimana wajah simulasi berkedip - atau tidak. Manusia dewasa sehat berkedip di suatu tempat di antara setiap 2 dan 10 detik, dan satu kedipan pun dibutuhkan antara sepersepuluh dan empat persepuluh detik. Itulah yang biasa dilihat dalam video seseorang yang berbicara. Tapi bukan itu yang terjadi di banyak video deepfake.

Seseorang sungguhan berkedip saat berbicara.

{youtube}https://www.youtube.com/watch?v=-MMXXEA3UaM{/youtube}

Wajah yang disimulasikan tidak berkedip seperti yang dilakukan orang sungguhan.

{youtube}EttSA9-YIuI{/youtube}

Ketika algoritma deepfake dilatih pada gambar wajah seseorang, itu tergantung pada foto-foto yang tersedia di internet yang dapat digunakan sebagai data pelatihan. Bahkan untuk orang-orang yang sering memotret, beberapa gambar tersedia secara online yang menunjukkan mata mereka tertutup. Tidak hanya foto seperti itu langka - karena mata orang-orang terbuka sebagian besar waktu - tetapi fotografer biasanya tidak mempublikasikan gambar di mana mata subyek utama ditutup.

Tanpa melatih gambar orang yang berkedip-kedip, algoritma deepfake cenderung tidak membuat wajah yang berkedip normal. Saat kami menghitung tingkat kedipan keseluruhan, dan membandingkannya dengan rentang alami, kami menemukan bahwa karakter dalam video deepfake berkedip jauh lebih jarang dibandingkan dengan orang sungguhan. Penelitian kami menggunakan pembelajaran mesin periksa pembukaan dan penutupan mata dalam video.

Ini memberi kita inspirasi untuk mendeteksi video deepfake. Selanjutnya, kami mengembangkan metode untuk mendeteksi ketika orang dalam video itu berkedip. Untuk lebih spesifik, ia memindai setiap frame dari video yang bersangkutan, mendeteksi wajah di dalamnya dan kemudian menempatkan mata secara otomatis. Kemudian menggunakan jaringan saraf lain untuk menentukan apakah mata yang terdeteksi terbuka atau tertutup, menggunakan tampilan mata, fitur geometris dan gerakan.

Kami tahu bahwa pekerjaan kami memanfaatkan kekurangan dalam jenis data yang tersedia untuk melatih algoritma deepfake. Untuk menghindari jatuh korban cacat yang sama, kami telah melatih sistem kami di perpustakaan besar gambar mata terbuka dan tertutup. Metode ini tampaknya berfungsi dengan baik, dan sebagai hasilnya, kami telah mencapai tingkat deteksi 95 persen lebih tinggi.

Ini bukan kata akhir dalam mendeteksi deepfakes, tentu saja. Teknologi ini meningkat pesat, dan persaingan antara menghasilkan dan mendeteksi video palsu analog dengan permainan catur. Secara khusus, berkedip dapat ditambahkan ke deepfake video dengan menyertakan gambar wajah dengan mata tertutup atau menggunakan urutan video untuk pelatihan. Orang yang ingin membingungkan publik akan menjadi lebih baik dalam membuat video palsu - dan kami dan orang lain di komunitas teknologi akan perlu terus menemukan cara untuk mendeteksi mereka.Percakapan

Tentang Penulis

Siwei Lyu, Associate Professor of Computer Science; Direktur, Visi Komputer, dan Lab Pembelajaran Mesin, Universitas di Albany, Universitas Negeri New York

Artikel ini awalnya diterbitkan pada Percakapan. Membaca Artikel asli.

Buku terkait

at Pasar InnerSelf dan Amazon