Selama beberapa dekade terakhir, para peneliti telah secara teratur mengembangkan perangkat yang dimaksudkan untuk menerjemahkan Bahasa Isyarat Amerika (ASL) ke bahasa Inggris, dengan harapan memudahkan komunikasi antara orang-orang yang tuli dan sulit mendengar dan dunia pendengaran. Banyak dari teknologi ini menggunakan sarung tangan untuk menangkap gerakan penandatanganan, yang bisa jadi besar dan canggung.
Sekarang, sekelompok peneliti di Michigan State University (MSU) telah mengembangkan perangkat tanpa sarung tangan seukuran tabung Chapstick yang mereka harapkan akan meningkatkan terjemahan ASL-Inggris.
Teknologi ini, yang disebut DeepASL, menggunakan perangkat kamera untuk menangkap gerakan tangan, kemudian memberi makan data melalui algoritma pembelajaran yang mendalam, yang mencocokkannya dengan tanda-tanda ASL. Tidak seperti banyak perangkat sebelumnya, DeepASL dapat menerjemahkan seluruh kalimat daripada kata-kata tunggal, dan tidak mengharuskan pengguna untuk berhenti di antara tanda-tanda.
"Ini adalah teknologi yang benar-benar tidak mengganggu, " kata Mi Zhang, seorang profesor teknik listrik dan komputer yang memimpin penelitian.
Zhang dan timnya berharap DeepASL dapat membantu orang yang tuli dan sulit mendengar dengan menjadi penerjemah waktu nyata. Ini bisa sangat berguna dalam situasi darurat, kata Zhang, ketika menunggu penerjemah bisa menghabiskan waktu beberapa menit. Perangkat, yang dapat diintegrasikan dengan telepon, tablet atau komputer, juga dapat membantu mengajar ASL, kata Zhang. Karena lebih dari 90 persen anak tuli dilahirkan oleh orang tua yang mendengar, ada komunitas besar orang dewasa yang perlu belajar ASL dengan cepat. DeepASL dapat berfungsi sebagai tutor digital, memberikan umpan balik apakah peserta didik menandatangani dengan benar.
Zhang telah mengajukan permohonan paten dan berharap memiliki perangkat di pasar dalam waktu satu tahun. Karena didasarkan pada teknologi yang terjangkau — sistem penangkapan gerak Leap Motion dijual seharga $ 78 — itu bisa lebih mudah diakses daripada upaya sebelumnya.
Peneliti Biyi Fang dan Mi Zhang mendemonstrasikan DeepASL. (Universitas Negeri Michigan) Tetapi Christian Vogler, seorang profesor studi komunikasi di Universitas Gallaudet, sebuah universitas untuk orang-orang tuli atau tuli, skeptis terhadap perangkat yang dirancang untuk menerjemahkan ASL, dan skeptisismenya juga dimiliki oleh banyak orang dalam komunitas tuna rungu.
Perangkat umumnya tidak benar-benar 'menerjemahkan' ASL, hanya mengenali tanda tangan dan mengubahnya menjadi kata bahasa Inggris per tanda, kata Vogler. Ini berarti informasi tata bahasa utama hilang, informasi tentang apakah frasa adalah pertanyaan, negasi, klausa relatif dan sebagainya. Sementara DeepASL menerjemahkan kalimat penuh, beberapa fitur tata bahasa ASL melampaui tanda tangan — ekspresi wajah sering digunakan sebagai pengubah, pengangkatan alis dapat mengubah frasa menjadi pertanyaan, penentuan posisi tubuh dapat menunjukkan kapan pengguna ASL mengutip orang lain.
Sejauh ini, "tidak ada sistem yang bahkan jauh berguna bagi orang yang menandatangani, " kata Vogler, menambahkan bahwa para peneliti sering tampaknya memiliki "sangat sedikit kontak dengan komunitas [Tuna Rungu dan Tuli] dan sangat sedikit gagasan mereka yang sebenarnya. kebutuhan."
Tim Zhang tidak menguji perangkat pada orang-orang yang tuli dan tuli, tetapi pada siswa dalam program terjemahan bahasa isyarat. Zhang menekankan bahwa DeepASL dirancang untuk memungkinkan hanya komunikasi dasar pada titik ini, dan bahwa ini hanyalah tempat awal. Dia mengatakan timnya berharap untuk memperluas kemampuan DeepASL di masa depan untuk menangkap ekspresi wajah juga.
"Itu akan menjadi tonggak penting berikutnya bagi kita untuk mencapai, " katanya.
Vogler mengatakan positif bahwa teknologi MSU menggunakan metode pembelajaran yang mendalam, yang telah sukses dengan bahasa lisan. Tetapi, meskipun tidak memerlukan sarung tangan, perangkat ini kemungkinan memiliki jebakan yang sama dari sistem sebelumnya, karena tidak menangkap gerakan wajah dan tubuh.
Vogler berpikir para peneliti harus menjauh dari gagasan bahwa perangkat pengenalan bahasa isyarat dapat benar-benar memenuhi kebutuhan komunikasi langsung.
“Kami memiliki banyak pilihan untuk memfasilitasi komunikasi langsung, dan sampai kami memiliki sesuatu yang benar-benar menghormati sifat-sifat linguistik dari bahasa yang ditandatangani dan perilaku komunikasi yang sebenarnya dari para penandatangan, upaya-upaya ini tidak akan mendekati menggantikan atau menggantikannya, ” katanya. "Sebaliknya, orang perlu bekerja dengan anggota masyarakat yang sebenarnya, dan dengan orang-orang yang memahami kompleksitas bahasa yang ditandatangani."
Vogler mengatakan itu akan berguna untuk teknologi pengenalan bahasa isyarat seperti MSU untuk bekerja dengan antarmuka suara seperti Alexa. Pertumbuhan antarmuka ini merupakan tantangan aksesibilitas bagi orang yang tuli dan sulit mendengar, katanya, seperti halnya internet — media yang sebagian besar visualnya — telah menghadirkan tantangan besar bagi orang-orang yang buta selama bertahun-tahun.
"Kami saat ini tidak memiliki cara yang efektif dan efisien untuk berinteraksi dengan antarmuka suara ini jika kami tidak dapat, atau tidak ingin, menggunakan suara kami, " katanya. "Pengenalan bahasa isyarat adalah pasangan yang cocok untuk situasi ini, dan yang benar-benar bisa berguna dan digunakan."
