Psikolojideki tüm “tekrarlama krizi” konuşmalarının ortasında, nadir iyi bir haber hikayesi vardır. – Yeni bir proje, “deneysel felsefe” veya X-phi olarak bilinen disiplinin bir alt alanının, etkileyici bir şekilde sağlam sonuçlar ürettiğini bulmuştur.
Psikolojideki mevcut kriz, 2015 yılında Açık Bilim İşbirliği (OSC) projesi tarafından yayınlanan kitlesel bir çoğaltma girişimi tarafından büyük ölçüde çökmüştür. Daha önce yayınlanmış 100 önemli bulgunun sadece yüzde 39’u kesin olarak çoğaltılmış, daha rahat kriterler için yüzde 47’ye yükselmiştir.
Review of Philosophy and Psychology dergisinde bir makalede, deneysel felsefenin gelişmekte olan alanında tekrarlanabilirliğe değinir. Yaklaşık 15 yıl önce doğmuş olan X-Phi, çağdaş psikolojinin araçlarını ele alır ve insanların Batı felsefesinin ana konuları hakkında, özgür irade metafiziğinden ve benliğin doğasından, ahlaktan ve bilinç sorunlarına kadar nasıl düşündüklerini çözmeye çalışır.
Bunlardan en eski ve en iyi bilinen bulgulardan birini ele alalım. 2003 yılında, Yale Üniversitesi’nden Joshua Knobe, kasıtlı ya da kasıtlı olmayan davranışı neyin belirlendiğini ve bu davranışın sonucunu açıklamak için bir araştırmaya başladı. Knobe, katılımcılar yoluyla iki kısa hikaye hazırladı.
Birinde, başka yardımcı tarafından çevreye zarar verebilecek yeni bir iş planı getirilen bir şirketin CEO’sunu tarif etti. CEO, “çevreye zarar vermeyi umursamıyorum, devam edin” diyordu. Proje ilerlemeye devam etti ve çevre beklendiği gibi zarar gördü. Bu durumda, çoğu insan CEO’nun çevreye kasıtlı olarak zarar verdiğini söyledi. Ancak “zarar” kelimesini “yardım” kelimesi ile değiştirdi ve her iki durumda da CEO, iş faaliyetlerinin bir yan etkisi olarak, çevreye zarar vermek veya yardım etmek konusunda kayıtsız olmasına rağmen, şimdi de CEO’nun çevreye kasıtlı olarak yardım ettiğini söylemekte isteksiz davranıyorlardı. Knobe etkisi olarak bilinen bu asimetri, ahlaki düşüncelerin nasıl ortaya çıktığını, kasıtlılık gibi görünüşte ahlaki olmayan kavramları nasıl etkilediğini ortaya çıkardı.
X-Phi, tekrarlanabilirlik krizinin bu alanı bozup bozmadığını anlamak için büyük bir heyecan yaratmıştır. Böylece X-Phi Replicability Project (XRP) – sekiz ülkede yirmi araştırma ekibi arasındaki işbirliği, Paris, Fransa’daki Institut Jean Nicod’dan Brent Strickland tarafından tasarlandı ve İsviçre Cenevre Üniversitesi, Affective Sciences İsviçre Merkezi’nden Florian Cova tarafından yönetildi – alanın nasıl ayakta kaldığını görmek için 40 X-Phi çalışmasının temsili bir örneğini yeniden yayınlamaya başladı (örneklem, 2003-2015 yılları arasında en çok alıntı yapılan X-Phi makaleleri içermiştir ve her yıl iki rastgele seçilen makale ve ekstraları ile toplam sayıyı 40’a çıkartmıştır).
Bir çalışmanın çoğaltılıp çoğaltılmadığını belirlemek için kullanılabilecek çok sayıda kriter vardır. XRP, çoğaltma takımı tarafından özel bir değerlendirme; replikasyonun orijinal çalışma ile aynı yönde istatistiksel olarak anlamlı bir sonuç elde edip etmediği; ve orijinal ile çoğaltma çalışmalarının etki büyüklüklerinin karşılaştırılabilir olup olmadığı gibi üçlü bir kriter kullanmıştır.
XRP, X-Phi çalışmalarının ilk iki kritere göre zamanın yüzde 78’ini ve bilişsel psikoloji gibi diğer belirli alt alanların da umut verici sonuçlar bildirmesine rağmen, psikolojinin yüzde 47’si üçüncü kriter tarafından değerlendirilen zamanın yüzde 71’ini tekrarladığını buldu. Knobe, “Bu harika bir haber,” diyor. “Ve bu biraz ironik, çünkü X-Phi’nin tüm yaklaşımı, psikolojinin geri kalanında kullanılan teknikler üzerinde modellenmiştir, ancak bu daha yüksek tekrarlanabilirlikle sonuçlandı!”
X-Phi neden bu kadar iyi? Alanın başarısının büyük bir kısmı, odaklandığı çalışma türlerinden geliyor gibi görünmektedir. Spesifik olarak, XRP örneğindeki çalışmaların %78’i “içerik temelli”dir, yani, katılımcıların davranışlarına, inançlarına ve yargılarına, gözlemsel ya da demografik tabanlı olmaktan ziyade (sonuçtaki farklılıkları öngören bireylerin bakış açılarına incelemek), verdikleri görev veya uyaranlara göre nasıl değiştiklerini incelediler (örneğin, Knobe’ın “zarar verme” kelimesini “kasıtlı davranışla ilgili farklı yargıları ortaya çıkarmak için “yardım” olarak değiştirmesi gibi). Ve bu tür içerik tabanlı çalışmalar – ister bir bütün olarak isterse de X-Phi’de, psikolojide diğer çalışma türlerinden daha iyi tekrarlanır: XRP örneğinde (diğer tasarımlar için yüzde 21-31’e kıyasla)% 90 ve OSC örneğinde%65 tekrarlanır.
Özellikle, içerik tabanlı çalışmalar OSC örneğinde sadece yüzde 34’ünü oluşturuyordu – X-Phi’de bulunan oranın yarısından az – fakat X-Phi’ye daha yüksek bir toplam tekrarlanabilirlik oranı vermekteydi.
Ayrıca, X-Phi’nin ağırlıklı olarak içerik temelli çalışmalarında incelenen etki büyüklükleri, tipik olarak çağdaş psikolojinin geri kalanından daha büyük olabilir – ve OSC’nin de belirttiği gibi, etki büyüklüklerini rapor eden çalışmalar daha iyi tekrarlanma eğilimindedir. Bunun bir nedeni de, X-Phi’nin keşfettiği etkilerin, iç gözlemlere açık olabilecek kadar güçlü olmasıdır. Örneğin Knobe etkisinin sezgisel ve doğal bir hissi vardır – bu, Knobe’un algıladığı ancak deneysel olarak doğrulanması gereken bir şeydir. Ve XRP, erken X-Phi çalışmalarının özellikle geniş etkiler yaratmaya eğilimli olduğunu ve geniş etki büyüklüklüğü üretme eğiliminde olduğunu, çocuk oyuncağı inandırıcılığını ekleyerek, gözle görünür şekilde psikolojik meyveye dokundukları fikrine ek bir olasılık kattığını buldu.
Diğer faktörlerin bir kümesi X-Phi’ye destek verebilir. X-Phi çalışmaları, psikolojinin birçok alanında olduğundan daha ucuz ve daha kolay çalışma eğilimindedir. Çoğu zaman ihtiyacınız olan bazı yazılı hikayeler ve bunlar hakkında birkaç sorudur. Bu materyalleri insanlara ulaştırmanın bir yolu, yaygın olarak kullanılan Amazon Mechanical Turk anket platformudur, bu platform yardımıyla bu süreç kolaylaştırıldı. Araştırmacılar, belirli bir araştırmaya daha az yatırım yapabilecek ve olumlu, açıklanabilir veriler üretebilmek için “p-hack” için daha az baskı hissettikleri anlamına gelir ancak sonuç ne yazık ki güvenilmezdir. Bu işlem, XPR’nin genel olarak psikolojide kıyasla X-Phi’de daha az p-hacking kanıtı bulunan istatistiksel analizi ile desteklenmektedir.
Dahası, X-Phi araştırmacıları aynı zamanda geçersiz veya negatif sonuçları daha rahat yayınlıyor gibi görünmektedir: bu tür belgeler OSC’deki toplamın sadece yüzde 3’ünü oluştururken, XRP’nin örnekleminin yüzde 10’unu oluştururlar.
X-Phi’nin başarısı, geniş etki boyutuyla sadece psikolojik fenomenleri araştırmayı seçerek taklit edilemez. İçeriğe dayalı çalışmaların, yüksek tekrarlanabilirliği, psikologların araştırmalarını Knobe’un saçma olacağı, bu tür çalışmalarla sınırlamaları gerektiği anlamına da gelmiyor.
Florian Cova da hemfikirdir, ancak bazı çalışma tasarımlarının diğerlerinden daha sağlam bulgular üretme eğiliminde olduğu gerçeğinin göz ardı edilmemesi gerektiğini söylüyor. “Belli türdeki çalışmaların hassas sonuçlarını veya yanlış pozitifler üretme olasılığının daha yüksek olduğunu biliyorsak, bu riskleri en aza indirebilmek için çalışma yöntemlerimizi bu durumlara göre ayarlayabiliriz.”
Belki de diğer psikologlar için en genel ders, sadece ilginç ya da alışılmadık psikolojik fenomenler aramaktan ziyade, detaylı teoriler üzerine çalışmaların yapılmasının önemidir. “X-Phi’deki araştırmalar genellikle ne olmasını beklememiz gerektiğini tahmin eden zengin bir teori tarafından yönlendiriliyor” der Knobe. Böyle bir teoriye dayalı araştırma, geçersiz sonuçları daha makul hale getirebilir ve olumlu sonuçlara ulaşmak için verileri sıkıştırma baskısına ihtiyaç duymaz. “Tahmin edilen etkinin gerçekleşmediği bir çalışma yürütürsek, bu geçersiz sonuç hâlâ yayınlanabilir bir bulgudur çünkü teorinin doğru olup olmadığını söyler.x”
Yazar: Dan Jones
Çevirmen: Şeyma Merve Kaymaz
Kaynak: digest
Düşünbil Portal’da yayımlanan, Düşünbil yazar ve çevirmenlerine ait herhangi bir yazı, çeviri, makale ve haber izin alınmadan basılı olarak ya da internet ortamında kullanılamaz, çoğaltılamaz, yayınlanamaz. İzinsiz kullananlar hakkında hukuki yollara başvurulacaktır.
Düşünbil Portal’da yayınlanan tüm özgün yazıların içeriğinden yazarları sorumludur.
