Tahun lalu, sekelompok ilmuwan komputer Jerman membuat gelombang dengan mendemonstrasikan algoritma komputer baru yang dapat mengubah gambar digital apa pun menjadi karya seni yang meniru gaya pelukis master seperti Vincent van Gogh, Pablo Picasso, dan Edvard Munch. Meskipun prestasi yang mengesankan, menerapkan teknik yang sama untuk memindahkan gambar tampak keterlaluan pada saat itu. Tetapi sekarang, sekelompok peneliti lain telah menemukan jawabannya, dengan cepat dan mulus menghasilkan karya digital bergerak, Carl Engelking menulis untuk Discover .
Konten terkait
- Film Animasi Ini Tentang Van Gogh Terbuat Sepenuhnya Dari Lukisan Minyak
- Jaringan Saraf Tiruan Ini Menghasilkan Garis Penjemputan yang Absurd
Dalam demonstrasi video, para programmer memamerkan kemampuan artistik algoritma mereka dengan mengubah adegan dari film dan acara televisi seperti Ice Age dan Miss Marple menjadi animasi seperti lukisan dengan mengklik mouse. Tetapi mengembangkan algoritma itu bukan prestasi kecil.
Untuk membuat transformasi terperinci seperti itu, ilmuwan komputer Leon Gatys dan rekan-rekannya di Universitas Tübingen mengembangkan algoritma pembelajaran mendalam yang menggunakan jaringan saraf tiruan. Dengan meniru cara neuron di otak manusia membuat koneksi, sistem pembelajaran mesin ini dapat melakukan tugas yang jauh lebih rumit daripada laptop lama mana pun.
Begini cara kerjanya: ketika Anda melihat gambar lukisan atau menonton film di laptop Anda, Anda menyaksikan komputer Anda memecahkan kode informasi dalam file dan menyajikannya dengan cara yang tepat. Tetapi ketika gambar-gambar ini diproses melalui jaringan saraf, komputer dapat mengambil berbagai lapisan informasi yang terkandung dalam file-file ini dan memisahkannya satu per satu.
Sebagai contoh, satu lapisan mungkin berisi informasi untuk warna-warna dasar dalam Starry Night karya van Gogh, sedangkan lapisan berikutnya menambahkan lebih banyak detail dan tekstur, dan seterusnya, menurut MIT Technology Review . Sistem kemudian dapat mengubah setiap lapisan yang berbeda secara individual sebelum menyatukannya kembali untuk membuat gambar yang sama sekali baru.
"Kami dapat memanipulasi kedua representasi secara independen untuk menghasilkan gambar baru yang bermakna perseptual, " tulis Gatys dalam sebuah penelitian yang dipublikasikan ke server prepress arXiv.
Dengan menerapkan sistem pembelajaran berbasis lapisan ini pada lukisan karya Picasso dan van Gogh, untuk beberapa nama, para peneliti dapat mengembangkan algoritma yang "mengajarkan" komputer untuk menginterpretasikan semua informasi ini dengan cara yang memisahkan konten dari suatu melukis dari gayanya. Setelah mengerti bagaimana van Gogh menggunakan sapuan kuas dan warna, itu kemudian dapat menerapkan gaya seperti filter Photoshop ke gambar dan secara efektif membuatnya kembali dalam gaya ikoniknya, Matt McFarland menulis untuk Washington Post . Tetapi menerapkan teknik ini ke video menghadirkan satu set masalah yang sama sekali baru.
"Di masa lalu, menggambar ulang gambar secara manual dalam gaya artistik tertentu secara manual membutuhkan seniman profesional dan waktu yang lama, " tulis Manuel Ruder dan timnya dari Universitas Freiburg dalam studi baru mereka, yang juga diterbitkan di arXiv. "Melakukan ini untuk urutan video seorang diri tidak bisa dibayangkan."
Ketika Ruder dan rekan-rekannya pertama kali mencoba menerapkan algoritme ke video, komputer mengeluarkan gobbledygook. Akhirnya, mereka menyadari bahwa program memperlakukan setiap frame video sebagai gambar diam yang terpisah, yang menyebabkan video berkedip secara tidak menentu. Untuk mengatasi masalah ini, para peneliti menempatkan kendala pada algoritma yang membuat komputer tidak menyimpang terlalu banyak di antara frame, Engelking menulis. Itu memungkinkan program untuk tenang dan menerapkan gaya yang konsisten di seluruh video.
Algoritma tidak sempurna dan sering mengalami kesulitan menangani gerakan yang lebih besar dan lebih cepat. Namun, ini masih merupakan langkah maju yang penting dalam cara komputer dapat membuat dan mengubah video. Meskipun masih dalam tahap awal, algoritme mendatang mungkin dapat menerapkan efek ini pada video yang diambil melalui aplikasi ponsel cerdas, atau bahkan menjadikan versi realitas virtual dari lukisan favorit Anda, MIT Technology Review melaporkan.
Gagasan mendidihkan gaya seorang seniman ke sejumlah titik data mungkin membuat orang gusar, itu juga membuka pintu bagi semua jenis seni baru yang sebelumnya tidak pernah diyakini mungkin.
