Sulit untuk membantah kekuatan sains. Dari penelitian yang mengevaluasi tren makanan terbaru hingga eksperimen yang menerangi prediktor kebahagiaan, orang semakin melihat hasil ilmiah sebagai fakta konkret, andal yang dapat mengatur cara kita berpikir dan bertindak.
Konten terkait
- Ilmuwan Replikasi 100 Studi Psikologi, dan Lebih Sedikit Dari Setengah Mendapat Hasil yang Sama
Tetapi selama beberapa tahun terakhir, kontingen ilmuwan yang semakin berkembang mulai mempertanyakan kebenaran yang diterima dari penelitian yang diterbitkan — bahkan setelah itu membersihkan rintangan dari tinjauan sejawat dan muncul dalam jurnal yang sangat dihormati. Masalahnya adalah ketidakmampuan luas untuk mereplikasi sebagian besar hasil di berbagai disiplin ilmu.
Pada tahun 2005, misalnya, John Ioannidis, seorang profesor kedokteran di Stanford University, menggunakan beberapa simulasi untuk menunjukkan bahwa klaim ilmiah lebih cenderung salah daripada benar. Dan musim panas yang lalu, Brian Nosek, seorang profesor psikologi di University of Virginia, berusaha mereplikasi temuan dari 100 studi psikologi dan menemukan bahwa hanya 39 persen dari hasil yang bertahan dalam pengujian ulang yang ketat.
"Ada beberapa baris bukti, baik teoretis dan empiris, yang telah mulai membawa reproduksibilitas sebagian besar literatur ilmiah, " kata Ioannidis. "Kami mendapatkan jutaan surat kabar yang tidak ke mana-mana."
Temuan awal ini telah melahirkan penciptaan bidang yang sama sekali baru yang disebut meta-penelitian-studi ilmiah sains.
Minggu ini, cabang biologi dari Public Library of Science (PLOS), sebuah organisasi penerbit dan advokasi nirlaba, meluncurkan bagian baru yang didedikasikan khusus untuk meta-research. Bagian ini akan mengeksplorasi isu-isu seperti transparansi dalam penelitian, standar metodologis, sumber bias, berbagi data, pendanaan dan struktur insentif.
Untuk memulai, Ioannidis dan rekan-rekannya mengevaluasi sampel acak dari 441 artikel biomedis yang diterbitkan antara tahun 2000 dan 2014. Mereka memeriksa apakah makalah ini memberikan akses publik ke data mentah dan protokol eksperimental, direplikasi dalam penelitian berikutnya, hasilnya diintegrasikan ke dalam sistematika. ulasan tentang bidang studi dan termasuk dokumentasi sumber pendanaan dan potensi konflik kepentingan lainnya.
Hasil mereka sulit untuk sedikitnya. Misalnya, hanya satu studi yang menyediakan protokol eksperimental penuh, dan nol studi menyediakan data mentah yang tersedia secara langsung.
"Ini adalah dua pilar dasar reproduksibilitas, " kata Ioannidis. "Kecuali jika data dan protokol lengkap tersedia, seseorang tidak dapat mereproduksi apa pun." Lagi pula, tanpa informasi kunci itu, bagaimana tim lain dapat mengetahui dengan tepat apa yang harus dilakukan dan bagaimana hasil mereka berbeda dari yang ada dalam percobaan asli?
Tim juga menemukan bahwa klaim hanya delapan artikel yang disurvei kemudian dikonfirmasi oleh penelitian selanjutnya. Dan meskipun banyak penelitian mengklaim memiliki temuan baru, hasil hanya 16 artikel dimasukkan dalam artikel review kemudian, yang berfungsi sebagai tes lakmus untuk dampak sebenarnya dari studi pada subjek tertentu.
"Angka-angka yang kami dapatkan sangat menakutkan, " kata Ioannidis. "Tetapi Anda dapat melihat itu sebagai garis dasar di mana kita berada sekarang, dan ada banyak ruang untuk perbaikan."
Namun, tidak semua hasilnya mengecewakan. Persentase artikel tanpa pernyataan konflik kepentingan menurun dari 94, 4 persen pada tahun 2000 menjadi 34, 6 persen pada tahun 2014 — kemungkinan merupakan hasil dari kesadaran yang semakin besar akan efek buruk bias pada hasil penelitian.
Dalam studi meta-penelitian kedua, tim Jerman menganalisis bagaimana hilangnya subyek hewan selama percobaan pra-klinis dapat berkontribusi pada ketidakmampuan luas untuk menerjemahkan temuan laboratorium menjadi obat klinis yang berguna.
Hewan penelitian mungkin menghilang dari penelitian secara acak — misalnya, karena hewan itu mati — atau melalui tindakan yang bias, seperti dikeluarkan dari percobaan untuk menghilangkan data yang merusak hasil yang diharapkan. Tim tersebut mendemonstrasikan bahwa penghapusan subyek hewan secara bias dapat memunculkan hasil dan secara signifikan meningkatkan kemungkinan positif palsu - ketika obat baru dianggap bekerja tetapi sebenarnya tidak.
Dalam analisis terpisah dari studi pra-klinis pada stroke dan kanker, para peneliti yang sama menemukan bahwa sebagian besar makalah tidak secara memadai melaporkan hilangnya subyek hewan, dan bahwa efek positif dari banyak obat yang diuji mungkin sangat ditaksir terlalu tinggi.
Jadi mengapa krisis transparansi dan reproduktifitas ini terjadi?
Sementara beberapa masalah mungkin terletak pada bias penelitian sadar atau tidak sadar, kemungkinan bahwa sebagian besar studi yang mencapai publikasi adalah salah satu dari jenis karena struktur insentif saat ini dalam sains.
Dalam dunia akademis yang kejam, ukuran utama kesuksesan adalah jumlah studi yang diperoleh peneliti dalam jurnal bergengsi. Akibatnya, para ilmuwan berada di bawah tekanan untuk menghabiskan sebagian besar waktu mereka untuk mendapatkan jenis hasil terobosan yang paling mungkin untuk dipublikasikan.
“Meskipun kami menghargai reproduksibilitas dalam konsep, kami tidak benar-benar menghargai itu dalam praktik, ” kata Nosek, yang juga co-direktur Center for Open Science, sebuah startup teknologi nirlaba yang bekerja untuk mendorong transparansi dan reproduktifitas dalam penelitian ilmiah.
“Insentif nyata yang mendorong perilaku saya sebagai ilmuwan adalah berinovasi, membuat penemuan baru, dan membuka jalan baru — bukan mengulangi apa yang telah dilakukan orang lain. Itu bagian membosankan dari sains. ”
Para ilmuwan juga melihat sedikit insentif untuk memberikan informasi yang diperlukan bagi orang lain untuk mereplikasi pekerjaan mereka, yang merupakan salah satu alasan utama mengapa klaim dari begitu banyak penelitian tetap tidak diverifikasi.
“Saya tidak dihargai karena membuat data saya tersedia atau menguraikan metodologi saya secara lebih mendalam dari apa yang diperlukan untuk masuk ke publikasi, ” kata Nosek.
Banyak jurnal meminta ilmuwan untuk memberikan penjelasan terperinci tentang metode mereka dan untuk berbagi data, tetapi kebijakan ini jarang ditegakkan dan tidak ada standar publikasi universal.
“Jika saya tahu tidak akan ada polisi di jalan, apakah saya akan selalu berpegang pada batas kecepatan? Tidak — itu sifat manusia, ”kata Ivan Oransky, salah satu pendiri Retraction Watch, sebuah organisasi yang mempromosikan akuntabilitas dan transparansi dengan melacak retraksi dalam literatur ilmiah. "Jika Anda tahu tidak ada yang akan memberikan sanksi kepada Anda, maka Anda tidak akan membagikan data."
Para ilmuwan yang ingin melakukan pekerjaan replikasi dan mampu memperoleh detail eksperimental kemudian tidak mungkin menemukan dana dari lembaga publik seperti NIH, yang terutama menilai aplikasi hibah berdasarkan hal baru dan inovasi.
"Kemungkinannya jelas menentang replikasi, " kata Ioannidis.
Di situlah bidang meta-research yang sedang berkembang dapat melangkah. Organisasi seperti Center for Open Science dan Meta-Research Innovation Center di Stanford (METRICS) bekerja untuk membantu menyelaraskan kembali sistem penghargaan dan menetapkan standar universal yang ketat yang akan mendorong penyebaran yang lebih luas. praktik transparansi dan reproduksibilitas.
“Jika tingkat pendanaan atau promosi bergantung pada apa yang terjadi pada penelitian Anda sebelumnya — jika itu dapat ditiru, jika orang dapat memahaminya, jika orang dapat menerjemahkannya ke sesuatu yang bermanfaat daripada hanya berapa banyak kertas yang Anda terbitkan — itu akan menjadi insentif yang sangat kuat untuk mengubah penelitian menjadi lebih dapat direproduksi, ”kata Ioannidis, yang adalah co-direktur METRICS.
"Saya berharap indikator ini akan membaik, " tambahnya. "Dan untuk beberapa dari mereka, tidak ada kemungkinan lain selain naik, karena kita mulai dari nol."
