Dengan kemajuan dalam elektronik dan ilmu saraf, para peneliti telah mampu mencapai hal-hal luar biasa dengan perangkat implan otak, seperti mengembalikan kemiripan penglihatan kepada orang buta. Selain memulihkan indera fisik, para ilmuwan juga mencari cara-cara inovatif untuk memfasilitasi komunikasi bagi mereka yang kehilangan kemampuan untuk berbicara. "Dekoder" baru yang menerima data dari elektroda yang ditanamkan di dalam tengkorak, misalnya, dapat membantu pasien yang lumpuh berbicara hanya dengan menggunakan pikiran mereka.
Peneliti dari University of California, San Francisco (UCSF) mengembangkan metode dua tahap untuk mengubah sinyal otak menjadi ucapan yang disintesis komputer. Hasilnya, yang diterbitkan minggu ini di jurnal ilmiah Nature, memberikan jalan yang mungkin menuju komunikasi yang lebih lancar bagi orang-orang yang kehilangan kemampuan untuk berbicara.
Selama bertahun-tahun, para ilmuwan telah berusaha untuk memanfaatkan input saraf untuk memberikan suara kembali kepada orang-orang yang kerusakan neurologisnya mencegah mereka berbicara — seperti penderita stroke atau penderita ALS. Sampai sekarang, banyak dari antarmuka otak-komputer ini telah menampilkan pendekatan huruf per huruf, di mana pasien menggerakkan mata atau otot wajah untuk mengutarakan pikiran mereka. (Stephen Hawking terkenal mengarahkan synthesizer pidatonya melalui gerakan kecil di pipinya.)
Tetapi jenis antarmuka ini lamban — sebagian besar menghasilkan 10 kata per menit, sebagian kecil dari kecepatan bicara rata-rata manusia 150 kata per menit. Untuk komunikasi yang lebih cepat dan lebih lancar, peneliti UCSF menggunakan algoritma pembelajaran yang mendalam untuk mengubah sinyal saraf menjadi kalimat yang diucapkan.
“Otak masih utuh pada pasien-pasien ini, tetapi neuron — jalur yang mengarah ke lengan Anda, atau mulut Anda, atau kaki Anda — hancur. Orang-orang ini memiliki fungsi dan kemampuan kognitif yang tinggi, tetapi mereka tidak dapat menyelesaikan tugas-tugas sehari-hari seperti bergerak atau mengatakan sesuatu, ”kata Gopala Anumanchipalli, penulis utama studi baru ini dan rekan peneliti yang berspesialisasi dalam bedah saraf di UCSF. "Kami pada dasarnya melewati jalur yang rusak."
Para peneliti mulai dengan data aktivitas otak resolusi tinggi yang dikumpulkan dari lima sukarelawan selama beberapa tahun. Para peserta ini - semuanya memiliki fungsi bicara normal - sudah menjalani proses pemantauan untuk pengobatan epilepsi yang melibatkan penanaman elektroda langsung ke otak mereka. Tim Chang menggunakan elektroda-elektroda ini untuk melacak aktivitas di area otak yang berhubungan dengan bicara ketika pasien membacakan ratusan kalimat.
Dari sana, tim UCSF mengerjakan proses dua tahap untuk menciptakan kembali kalimat yang diucapkan. Pertama, mereka menciptakan dekoder untuk menginterpretasikan pola aktivitas otak yang direkam sebagai instruksi untuk memindahkan bagian-bagian dari saluran vokal virtual (termasuk bibir, lidah, rahang, dan laring). Mereka kemudian mengembangkan synthesizer yang menggunakan gerakan virtual untuk menghasilkan bahasa.
Penelitian lain telah mencoba memecahkan kode kata-kata dan suara langsung dari sinyal saraf, melewatkan langkah tengah dari gerakan decoding. Namun, sebuah penelitian yang diterbitkan oleh para peneliti UCSF tahun lalu menunjukkan bahwa pusat bicara otak Anda berfokus pada cara menggerakkan saluran vokal untuk menghasilkan suara, dan bukan seperti apa suara yang dihasilkan nantinya.
"Pola-pola aktivitas otak di pusat-pusat bicara secara khusus diarahkan untuk mengoordinasikan pergerakan saluran vokal, dan hanya secara tidak langsung terkait dengan suara yang terdengar sendiri, " Edward Chang, seorang profesor bedah saraf di UCSF dan rekan penulis makalah baru, kata dalam jumpa pers minggu ini. "Kami secara eksplisit mencoba men-decode gerakan untuk membuat suara, yang bertentangan dengan langsung mendekode suara."
Contoh susunan implan otak dari elektroda intrakranial dari jenis yang digunakan untuk merekam aktivitas otak. (UCSF) Dengan menggunakan metode ini, para peneliti berhasil membalikkan kata-kata dan kalimat rekayasa dari aktivitas otak yang secara kasar cocok dengan rekaman audio dari pidato partisipan. Ketika mereka bertanya kepada sukarelawan di platform crowdsourcing online untuk mencoba mengidentifikasi kata-kata dan menuliskan kalimat menggunakan bank kata, banyak dari mereka yang bisa memahami pidato yang disimulasikan, meskipun akurasi mereka jauh dari sempurna. Dari 101 kalimat yang disintesis, sekitar 80 persen ditranskrip dengan sempurna oleh setidaknya satu pendengar menggunakan bank 25 kata (angka itu turun menjadi sekitar 60 persen ketika ukuran kata bank berlipat dua).
Sulit untuk mengatakan bagaimana hasil ini dibandingkan dengan ujicoba ujaran yang disintesis lainnya, Marc Slutzky, ahli saraf Northwestern yang tidak terlibat dalam penelitian baru, kata dalam email. Slutzky baru-baru ini bekerja pada penelitian serupa yang menghasilkan kata-kata yang disintesis langsung dari sinyal korteks serebral, tanpa mendekode gerakan saluran vokal, dan dia percaya kualitas suara yang dihasilkannya sama — walaupun perbedaan dalam metrik kinerja membuatnya sulit untuk dibandingkan secara langsung.
Salah satu aspek menarik dari studi UCSF, bagaimanapun, adalah bahwa decoder dapat menggeneralisasi beberapa hasil di seluruh peserta, kata Slutzky. Tantangan utama untuk jenis penelitian ini adalah bahwa pelatihan algoritma decoder biasanya mengharuskan peserta untuk berbicara, tetapi teknologi ini ditujukan untuk pasien yang tidak dapat lagi berbicara. Mampu menggeneralisasi beberapa pelatihan algoritma dapat memungkinkan pekerjaan lebih lanjut dengan pasien lumpuh.
Untuk mengatasi tantangan ini, para peneliti juga menguji perangkat dengan peserta yang diam-diam meniru kalimat alih-alih mengucapkannya dengan keras. Meskipun kalimat yang dihasilkan tidak seakurat, penulis mengatakan fakta bahwa sintesis itu mungkin bahkan tanpa pidato suara memiliki implikasi yang menarik.
"Sungguh luar biasa menemukan bahwa kita masih bisa menghasilkan sinyal audio dari suatu tindakan yang tidak menghasilkan audio sama sekali, " Josh Chartier, penulis utama studi dan mahasiswa pascasarjana bioteknologi di UCSF, mengatakan dalam jumpa pers .
Gambar penulis penelitian Gopala Anumanchipalli, PhD, memegang contoh array elektroda intrakranial dari jenis yang digunakan untuk merekam aktivitas otak dalam penelitian ini. (UCSF) Tujuan lain untuk penelitian di masa depan adalah untuk mengejar demonstrasi real-time decoder, kata Anumanchipalli. Penelitian saat ini dimaksudkan sebagai bukti konsep - dekoder dikembangkan secara terpisah dari proses pengumpulan data, dan tim tidak menguji kecepatan real-time menerjemahkan aktivitas otak ke sintesis suara, meskipun ini akan menjadi tujuan akhir dari perangkat klinis.
Sintesis waktu nyata itu adalah sesuatu yang perlu perbaikan agar alat semacam itu berguna di masa depan, kata Jaimie Henderson, ahli bedah saraf Stanford yang tidak terlibat dalam penelitian ini. Namun, ia mengatakan metode dua tahap penulis adalah pendekatan baru yang menarik, dan penggunaan teknologi pembelajaran yang mendalam dapat memberikan wawasan baru tentang bagaimana pidato benar-benar bekerja.
"Bagi saya, hanya gagasan untuk mulai menyelidiki dasar yang mendasari bagaimana pidato diproduksi pada orang sangat menarik, " kata Henderson. "[Studi ini] mulai mengeksplorasi salah satu kemampuan kami yang paling manusiawi pada tingkat dasar."
