Dengan kamera di setiap saku dan perangkat lunak pengenal wajah yang tertanam dalam ponsel cerdas dan jejaring sosial kami, terkadang mudah untuk lupa bahwa mengambil foto dan mengidentifikasi wajah di dalamnya tidak selalu sesederhana itu. Apakah hilang, rusak atau tidak berlabel, proses mengidentifikasi orang-orang di foto lama bisa membosankan. Tapi, seperti yang diketahui Kurt Luther, asisten profesor ilmu komputer di Virginia Tech, pengalaman itu juga bisa sangat mengharukan.
Luther berada di pameran "Perang Saudara Pennsylvania" di Pusat Senator Pittsburgh John Heinz History Center pada 2013 ketika ia menemukan foto paman buyutnya, Oliver Croxton. Dia menggambarkan melihat foto itu, yang merupakan foto keluarga tertua yang pernah dilihatnya, bepergian melalui waktu.
Sudah penggemar sejarah dengan minat dalam Perang Sipil Amerika, saat terjebak dengan Luther dan dia mulai bertanya-tanya bagaimana membawa pengalaman yang sama kepada ribuan penggemar sejarah lainnya.
"Saya mulai belajar lebih banyak tentang fotografi Perang Sipil, " kata Luther, "dan tentang bagaimana mengidentifikasi [orang] menggunakan petunjuk visual yang berbeda, seperti seragam, lencana atau informasi studio fotografer. Sementara itu, saya melakukan banyak penelitian di bidang crowdsourcing sebagai profesor ilmu komputer, dan berpikir mungkin ada cara untuk menyatukan kedua hal ini. ”
Luther menemukan foto paman buyutnya, Oliver Croxton. (Atas perkenan Ken Turner Collection) Hasilnya adalah perangkat lunak online gratis bernama Civil War Photo Sleuth yang menggunakan crowdsourcing dan pengenalan wajah untuk membantu pengguna mengidentifikasi subjek yang tidak dikenal dalam foto-foto era Perang Sipil. Tepat sebelum rilis resminya pada tahun 2018, teknologi ini memenangkan hadiah tertinggi sebesar $ 25.000 dalam Cloud AI Research Challenge Microsoft untuk penggunaannya atas perangkat lunak pengenalan wajah Microsoft dan Penghargaan Demo Terbaik di konferensi Komputasi Manusia dan Crowdsourcing 2018. Minggu ini, Luther hadir di konferensi untuk Konferensi Antarmuka Pengguna Cerdas Mesin Komputasi di Los Angeles.
Dirancang dengan bantuan mahasiswa doktoral dan sarjana di Virginia Tech, termasuk pimpinan proyek Vikram Mohanty, dan bekerja sama dengan departemen sejarah Virginia Tech, Photo Sleuth menggunakan pendekatan multi-cabang untuk menyarankan identifikasi yang paling akurat.
Langkah penting pertama dalam proses ini adalah membangun database besar foto yang sudah diidentifikasi. Hingga saat ini, Photo Sleuth memiliki sekitar 17.000 foto yang diidentifikasi, dari arsip nasional seperti US Military History Institute dan juga koleksi pribadi, yang mencakup tidak hanya prajurit Perang Sipil tetapi juga warga sipil dan personel militer lainnya pada zaman itu.
Luther mengatakan bahwa mereka beruntung mendapat dukungan dari komunitas yang sudah antusias dari para sejarawan perang saudara dengan akses ke foto-foto ini, karena tanpa dasar yang kuat dari foto-foto yang sudah diidentifikasi, hampir tidak mungkin perangkat lunak menjadi berguna.
"Ini tidak seperti di Field of Dreams, " kata Luther, "Jika kami meluncurkan situs tanpa gambar dan hanya berharap bahwa pengguna akan menambahkan semuanya, kami akan menghadapi masalah mulai dingin di mana Anda hanya tidak memiliki konten apa pun. ”
Basis data foto yang diidentifikasi memiliki peran penting dalam membantu pengguna mengidentifikasi foto yang mereka unggah sendiri. Pengguna secara manual menandai ciri-ciri visual khusus, seperti warna mantel, rambut wajah atau lencana pangkat militer, dan foto melewati algoritma pengenalan wajah untuk menganalisis dan mencatat rasio wajah yang unik, seperti jarak antara landmark wajah seperti hidung dan mata. Photo Sleuth membandingkan data visual dari foto yang tidak dikenal dengan foto yang sudah diidentifikasi dalam database dan menyajikan kepada pengguna apa yang dianggapnya paling cocok berdasarkan kesamaan wajah dan informasi yang berasal dari metadata lain, seperti tentara yang tampaknya berada dalam unit yang sama berdasarkan lencana seragam mereka. Sementara perangkat lunak mengambil langkah-langkah yang disengaja untuk membatasi kemungkinan identifikasi yang salah, Luther mengatakan bahwa pada akhirnya adalah terserah kepada pengguna untuk membuat identifikasi akhir ketika dihadapkan dengan tebakan terbaik perangkat lunak tersebut.
"Kami sangat prihatin untuk mencegah identifikasi palsu, " kata Luther, "karena ketika Anda berbicara tentang internet, begitu Anda menaruh informasi yang salah di luar sana, sangat sulit untuk menghilangkannya atau mengubahnya."
Untuk memastikan bahwa perangkat lunak mereka memberikan pengguna dengan identifikasi yang disarankan sebaik mungkin, Luther melakukan analisis pada bulan pertama perangkat lunak dari identifikasi yang diusulkan menggunakan metode yang diuraikan dalam kolom ia telah berkontribusi pada majalah sejarah Perang Sipil Gambar Militer . Berikan peringkat pada identifikasi dari 'jelas bukan yang cocok, ' 'mungkin bukan yang cocok, ' 'mungkin yang cocok, ' dan 'pasti cocok, ' analisis menemukan bahwa 85 persen dari identifikasi yang diusulkan mungkin atau pasti cocok. Pada konferensi minggu ini, Luther mengatakan dia berencana untuk menyoroti temuan-temuan penelitian tim terbaru tentang Foto Sleuth, termasuk penemuan yang dibuat oleh Dave Morin, seorang kolektor gambar-gambar Perang Sipil New Hampshire, tentang potret seorang letnan kedua Union yang tidak teridentifikasi. . Foto Sleuth menyarankan pria dalam potret itu adalah William H. Baldwin dari Insinyur New York Pertama. Morin, yang mengonfirmasi bahwa Baldwin adalah penduduk asli New Hampshire, mengatakan bahwa ia tidak akan pernah menemukan insinyur Negara Granit tersebut tanpa bantuan dari Foto Sleuth.
Kurt Luther adalah asisten profesor ilmu komputer di Virginia Tech. (Amy Loeffler) Penelitian ini juga menekankan kekuatan pelengkap sejarawan manusia dan perangkat lunak itu sendiri. Terlepas dari upaya terbaik mereka, Luther mengatakan bahwa perangkat lunak hanya bisa sejauh ini ketika mengidentifikasi kecocokan yang tepat dan bergantung pada pengguna untuk membantu mengidentifikasi petunjuk yang ada di titik-titik buta algoritma wajah.
"[Algoritma] dilatih untuk pengenalan wajah umum [pada] sebagian besar gambar modern, " kata Luther. “AI memiliki waktu yang sulit ketika sebuah wajah diputar ke samping [dalam profil]. Ini semacam potret yang tidak biasa menurut standar saat ini, tetapi pada pertengahan abad ke-19 itu adalah hal biasa. ”
Tim juga menemukan bahwa pengguna jauh lebih sukses daripada algoritma saja dalam mengidentifikasi pembuat unik lainnya seperti jenggot dan bekas luka.
Patrick Lewis, seorang sejarawan perang saudara dan redaktur pelaksana sumber daya ilmiah dan publikasi di Kentucky Historical Society yang belum menjadi bagian dari pengembangan Photo Sleuth, mengatakan bahwa Foto Perang Sipil Sleuth akan menjadi alat yang hebat untuk tidak hanya membawa kisah-kisah yang terlupakan ini ke hidup tetapi untuk membantu terus membangun jaringan kolaboratif sejarawan perang saudara di seluruh negeri.
"Saya suka masuk dan melihat foto-foto baru bertanda Kentucky, " kata Lewis. “[Dan tanyakan] siapa orang-orang yang ada di luar sana yang mengumpulkan? Apakah pengumpul individual mereka harus saya waspadai, dan haruskah saya menghubungi mereka untuk mengetahui apakah mereka memiliki bahan lain yang mungkin menarik bagi penelitian? ”
Sementara dia belum terhubung dengan kolektor individu melalui Photo Sleuth, Lewis mengatakan bahwa Kentucky Historical Society sendiri telah bekerja untuk membuat catatan arsip online yang dikenal dan bahwa perangkat lunak seperti Photo Sleuth akan secara dramatis meningkatkan kemampuan mereka untuk melanjutkan pekerjaan itu.
Ke depan, Luther mengatakan mereka mencari untuk "menggandakan kekuatan manusia" dari perangkat lunak, termasuk menambahkan opsi "Pendapat Kedua" yang akan memungkinkan banyak pengguna berkolaborasi pada identifikasi akhir foto, serta bekerja pada perluasan jangkauan fisik dan manajemen komunitas untuk menumbuhkan basis pengguna Foto Sleuth. Perangkat lunak ini juga akan melihat beberapa pengangkatan wajah, termasuk fungsi baru yang akan memungkinkan pengguna untuk mengunggah dan mengidentifikasi orang dalam foto grup.
"Tujuan utama kami adalah mengidentifikasi setiap foto Perang Sipil yang tidak diketahui, " kata Luther, "dan menjadikan [Photo Sleuth] lebih besar dan lebih baik, karena 25.000 gambar hanya setetes dalam ember."
