Untuk memahami jika pengobatan baru untuk penyakit ini benar-benar lebih baik daripada pengobatan yang lebih tua, dokter dan peneliti melihat bukti terbaik yang tersedia. profesional kesehatan ingin "kata terakhir" bukti untuk menyelesaikan pertanyaan tentang apa yang modus terbaik pengobatan adalah.

Tapi tidak semua bukti medis tercipta sama. Dan ada hirarki bukti yang jelas: pendapat pakar dan laporan kasus tentang kejadian individual berada pada tingkat terendah, dan percobaan terkontrol acak yang dilakukan dengan baik ada di dekat bagian atas. Di bagian paling atas hirarki ini adalah meta-analisis - studi yang menggabungkan hasil dari beberapa penelitian yang mengajukan pertanyaan yang sama. Dan sangat, sangat Bagian atas hierarki ini adalah meta-analisis yang dilakukan oleh sebuah kelompok yang disebut Cochrane Collaboration.

Untuk menjadi anggota Cochrane Collaboration, periset individu atau kelompok penelitian diharuskan untuk mematuhi pedoman yang sangat ketat tentang bagaimana meta-analisis harus dilaporkan dan dilakukan. Itulah sebabnya ulasan Cochrane pada umumnya dianggap sebagai meta-analisis terbaik.

Namun, tidak ada yang pernah bertanya apakah hasil dalam meta-analisis yang dilakukan oleh Cochrane Collaboration berbeda dari meta-analisis dari sumber lain. Secara teori, jika Anda membandingkan meta-analisis Cochrane dan non-Cocrhane, keduanya dipublikasikan dalam jangka waktu yang sama, Anda cenderung berharap bahwa mereka akan memilih studi yang sama untuk dianalisis, dan bahwa hasil dan interpretasi mereka akan lebih atau kurang cocok.

Tim kami di Fakultas Kesehatan Masyarakat Universitas Boston memutuskan untuk mencari tahu. Dan yang mengejutkan, bukan begitu apa yang kami temukan.

Apa itu meta-analisis?

Bayangkan Anda memiliki lima percobaan klinis kecil yang semuanya mendapatkan manfaat positif secara umum, katakanlah, minum aspirin untuk mencegah serangan jantung. Tapi karena masing-masing penelitian hanya memiliki sejumlah kecil subjek penelitian, tidak ada yang percaya diri dapat menyatakan bahwa efek menguntungkan tidak hanya karena kebetulan. Dalam statistik-berbicara, studi semacam itu akan dianggap "kurang bertenaga."

Ada cara yang baik untuk meningkatkan kekuatan statistik dari studi tersebut: menggabungkan lima studi yang lebih kecil menjadi satu. Itulah yang dilakukan meta-anaysis. Menggabungkan beberapa studi yang lebih kecil ke dalam satu analisis dan mencatat rata-rata penelitian tersebut terkadang dapat memberi tip pada skala, dan membiarkan komunitas medis mengetahui dengan pasti apakah ada intervensi yang diberikan, atau tidak.

Meta-analisis efisien dan murah karena tidak memerlukan uji coba baru. Sebaliknya, ini adalah masalah untuk menemukan semua studi yang relevan yang telah dipublikasikan, dan ini bisa sangat sulit. Periset harus gigih dan metodis dalam pencarian mereka. Menemukan penelitian dan memutuskan apakah mereka cukup baik untuk dipercaya adalah di mana seni - dan kesalahan - sains ini menjadi isu kritis.

Itu sebenarnya adalah alasan utama mengapa Cochrane Collaboration didirikan. Archie Cochrane, seorang peneliti layanan kesehatan, mengenali kekuatan meta-analisis, namun juga sangat penting untuk melakukannya dengan benar. Meta-analisis Cochrane Collaboration harus mematuhi standar transparansi dan ketelitian metodologis dan reproduktifitas yang sangat tinggi.

Sayangnya, beberapa dapat komit waktu dan usaha untuk bergabung Cochrane Collaboration, dan itu berarti bahwa sebagian besar dari meta-analisis tidak dilakukan oleh Kolaborasi, dan tidak terikat untuk mematuhi standar mereka. Tapi apakah ini benar-benar penting?

Seberapa berbeda dua meta analisisnya?

Untuk mengetahui, kita mulai dengan mengidentifikasi 40 pasang meta-analisis, satu dari Cochrane dan satu tidak, yang menutupi intervensi yang sama (misalnya, aspirin) dan hasil (misalnya, serangan jantung), dan kemudian dibandingkan dan dikontraskan mereka.

Pertama, kami menemukan bahwa hampir 40 persen Cochrane dan non-Cochrane meta-analisis tidak setuju dalam jawaban statistik bottom-line mereka. Itu berarti bahwa pembaca tipikal, dokter atau pembuat kebijakan kesehatan, misalnya, akan muncul dengan interpretasi yang berbeda secara mendasar mengenai apakah intervensi itu efektif atau tidak, tergantung pada meta-anlyses yang mereka baca.

Kedua, perbedaan-perbedaan ini tampaknya sistematis. Review non-Cochrane, rata-rata, cenderung menunjukkan bahwa intervensi mereka menguji lebih kuat, lebih mungkin untuk menyembuhkan kondisi atau mencegah beberapa komplikasi medis dari review Cochrane disarankan. Pada saat yang sama, review non-Cochrane kurang tepat dalam akurasi mereka, yang berarti bahwa ada kesempatan yang lebih tinggi bahwa temuan itu hanya karena kebetulan.

Sebuah meta-analisis tidak lebih dari sekedar rata-rata tertimbang yang mewah dari studi komponennya. Kami terkejut menemukan bahwa sekitar 63 persen dari studi yang disertakan adalah unik untuk satu atau set meta-analisis lainnya. Dengan kata lain, terlepas dari fakta bahwa dua set meta-analisis mungkin akan mencari kertas yang sama, menggunakan kriteria pencarian yang sama, selama periode waktu yang sama dan dari database yang serupa, hanya sekitar sepertiga dari kertas yang memiliki dua set termasuk sama.

Tampaknya sebagian besar atau semua perbedaan ini sampai pada fakta bahwa Cochrane menekankan pada kriteria yang lebih ketat. Meta-analisis hanya sebaik studi yang diliputnya, dan rata-rata penelitian yang buruk dapat menyebabkan hasil yang buruk. Seperti kata pepatah, "sampah masuk, sampah keluar."

Menariknya, analisis yang dilaporkan efek ukuran jauh lebih tinggi cenderung untuk mendapatkan dikutip lagi di kertas lain pada tingkat yang jauh lebih tinggi daripada analisis melaporkan efek ukuran yang lebih rendah. Ini adalah perwujudan statistik pepatah jurnalistik lama "Jika berdarah, itu mengarah." Big dan berani efek mendapat perhatian lebih dari hasil yang menunjukkan hasil marjinal atau samar-samar. Komunitas medis, setelah semua, hanya manusia.

Mengapa hal ini?

Pada tingkat yang paling dasar, ini menunjukkan bahwa Archie Cochrane benar-benar benar. Konsistensi dan ketelitian metodologis dan transparansi sangat penting. Tanpa itu, ada risiko menyimpulkan bahwa ada sesuatu yang berhasil bila tidak, atau bahkan hanya memberi manfaat berlebihan.

Tapi pada tingkat yang lebih tinggi, ini menunjukkan kepada kita, betapa sulitnya menghasilkan interpretasi literatur medis yang terpadu. Meta-analisis sering digunakan sebagai kata akhir pada subjek tertentu, sebagai arbiters of ambiguity.

Jelas peran yang ditantang oleh fakta bahwa dua meta-analisis, seolah-olah pada topik yang sama, bisa mencapai kesimpulan yang berbeda. Jika kita melihat meta-analisis sebagai "standar emas" di era kita saat ini "kedokteran berbasis bukti," bagaimana dokter rata-rata atau pembuat kebijakan atau bahkan pasien untuk bereaksi ketika dua standar emas bertentangan satu sama lain? caveat peringatan.

Tentang Penulis

Christopher J. Gill, Profesor Associate, Departemen Kesehatan Global; Spesialis Penyakit Infeksi, Universitas Boston.

Artikel ini awalnya diterbitkan pada Percakapan. Membaca Artikel asli.

Buku terkait:

at Pasar InnerSelf dan Amazon