التراجع عن التشاؤم بشأن التجارب العشوائية ذات الشواهد

في شهر يناير الماضي، نشرت مقالًا حظي ببعض الاهتمام في عالمي. ميغان تي ستيفنسون باحثة نشطة في الأدبيات المتعلقة بالعدالة الجنائية والاقتصاد. وتجادل بأنه عندما تنظر إلى الدراسات المنشورة التي تستخدم أساليب تجربة المراقبة العشوائية لتقييم طرق الحد من الجريمة، فإن معظم الدراسات لا تظهر تأثيرًا ذا معنى، وتلك التي تظهر تأثيرًا ذا معنى، غالبًا ما يكون التأثير ليس كذلك. ر تكرارها في دراسات المتابعة. وهي تفكر مليًا في هذه النتيجة في كتابها «السبب والنتيجة وبنية العالم الاجتماعي» (الذي سيصدر في العدد المقبل). مراجعة قانون جامعة بوسطن عندما يحين موعد الانتهاء من الإصدارات اللاحقة لعام 2023، الصفحات من 2001 إلى 2027، ولكنها متاحة بالفعل على موقع المراجعة).

هذا المقال يشعر بالإحباط. وهكذا فإن محرري المدينة الحيوية طلبت مجلة على الإنترنت من عشرة أو نحو ذلك من علماء الاجتماع الرد. فيما يلي بعض ردود الفعل من بعض المقالات التي لفتت انتباهي:

عندما ندرس السياسات الرامية إلى معالجة مشاكل طويلة الأمد، مثل الحد من الجريمة أو تحسين التعليم، فيتعين علينا أن نتوقع أن النتائج سوف تكون سلبية غالباً، لأن هذه هي الحقيقة، وهي الحالة التي ساقتها شارون جلايد. هي تكتب:

معظم الأفكار الجديدة تفشل. عند اختبارها، تظهر نتائج فارغة، وعند تكرارها، تختفي النتائج الواضحة. وهذه حقيقة لا تقتصر بأي حال من الأحوال على السياسة الاجتماعية. تم تصميم التجارب المعشاة ذات الشواهد في العلوم الاجتماعية على غرار البحوث الطبية – ولكن أقل من 2٪ من جميع الأدوية التي يتم فحصها من قبل الأكاديميين في التجارب قبل السريرية تمت الموافقة عليها للبيع في نهاية المطاف. وجدت دراسة حديثة أن 1 فقط من كل 5 أدوية نجحت بعد تجارب المرحلة الأولى نجحت في اجتياز عملية موافقة إدارة الغذاء والدواء.

وحتى بعد الموافقة على بيع الأدوية عند الانتهاء من عملية إدارة الغذاء والدواء المعقدة (التي تتضمن تجارب معشاة ذات شواهد متعددة)، غالبًا ما تظهر أدلة جديدة تلقي بظلال من الشك على تلك النتائج الأولية. هناك احتمال 1 من 3 أن يتم تعيين تحذير من الصندوق الأسود للدواء المعتمد أو تحذير مماثل بعد الموافقة. وفي معظم الحالات، تكون فعالية الدواء في بيئات العالم الحقيقي، حيث يتم وصفه من قبل أطباء متعجلين ويتناوله مرضى مشتتون، أقل بكثير من فعاليته في بيئات التجربة، حيث يركز فريق التحقيق بشكل فردي على ضمان أن تلتزم التجربة بشروط الراعي – أو حيث يركز الباحث الأكاديمي على نشر ورقة بحثية من الدرجة الأولى. في معظم الأحيان، لا تنجح الأفكار والمنتجات الجديدة في العالم المادي أيضًا – وهذا أمر جيد للغاية، وإلا فسنقوم بتغيير كل شيء طوال الوقت…

في المقابل، فإن معظم مشاكل العلوم الاجتماعية قديمة جدًا، والأفكار التي لدينا لمعالجتها تستخدم بشكل عام تقنيات موجودة منذ فترة طويلة. لم يكن أسلافنا جميعهم حمقى – إذا كانت هذه الاستراتيجيات ناجحة، فمن المؤكد تقريبًا أنها قد تم تنفيذها بالفعل (وقد تم تنفيذ الكثير منها، لذلك نحن نأخذها كأمر مسلم به). إن العمل بالقرب من الهامش الممكن يعني إدراك أن التدخلات، حتى عندما تنجح، من المرجح أن تخلف تأثيرات متواضعة للغاية. … سيكون الأمر مثيرًا للقلق إذا كانت هناك تدخلات كبيرة وفعالة في مجال العدالة الجنائية، والتي افتقدناها لعدة قرون. ربما ينبغي لنا أن نبدأ تحليلنا بالاعتراف بأننا نقف على أكتاف قرون من الإصلاحيين الاجتماعيين وأننا نعمل على مقربة إلى حد ما من الهامش الممكن.

من غير المعقول أن نتوقع تغييرًا تحويليًا من تجربة عشوائية، لكن المكاسب الإضافية يمكن أن تكون حقيقية وذات معنى، كما يقول آرون تشالفين.

[W]لماذا ينبغي لنا أن نتوقع أن تنتج التجارب العشوائية أدلة على التغيير الاجتماعي التحويلي؟ ويبدو هذا معيارا مستحيلا نظرا لأن عالمنا يتشكل بفعل الطبيعة البشرية ومجموعة متنوعة من القيود الاجتماعية والسياسية التي لا ترحم. إذا كان التغيير صعبا وفشلت معظم التدخلات في تغيير العالم بطرق تحويلية، فمن المنطقي أن تعكس أدلة تجارب المراقبة العشوائية هذه الحقيقة الأساسية على ما يبدو. إن حقيقة أن معظم أدلة التجارب المعشاة ذات الشواهد ترتبط بتأثيرات متواضعة، في أحسن الأحوال، تتطابق مع فهمنا لبنية العالم الاجتماعي، وتكون بمثابة علامة على أن الأدلة البحثية، بدلاً من أن تخضع لتحيزات الباحثين، ذات مصداقية. … هل يعتبر التحسن بنسبة 5% أو 10% في مشكلة معينة بمثابة تحول – أم أن التحول الحقيقي الوحيد هو نتيجة أكبر بكثير من ذلك؟ والأهم من ذلك، لماذا يكون التحول، الذي هو في عين الناظر، هو المعيار الذي يجب أن نلتزم به؟ … الكثير من الأشياء التي نحاول تجربتها لا تحدث فرقًا كبيرًا. ولكن في الوقت نفسه، أدت التجارب المعشاة ذات الشواهد أيضًا إلى تعلم حقيقي ــ سواء حول ما فشل أو نجح.

إن الإصلاحات الإضافية الإيجابية تحدث بمرور الوقت، وفي الواقع يمكن أن تكون أفضل من القفز إلى تغيير كبير غير معروف، كما يقول فيليب جيه كوك وجينز لودفيج.

في هذه الأوقات شديدة الاستقطاب، هناك وجهة نظر متزايدة مفادها أن نوعية الحياة لا يمكن تحسينها من خلال تدخلات سياسية متواضعة ومحدودة فيما يتعلق بالنطاق والحجم. ومن هذا المنظور فإن التدخلات لابد أن تكون جريئة وواسعة النطاق، وإلا فإن الوضع الراهن سوف يعيد تأكيد نفسه حتماً. بطبيعة الحال، غالباً ما تكون قاعدة الأدلة لصالح التدخلات “الجريئة والواسعة” غير موجودة، لذا فإن ما ندعو إليه حقاً هو قفزة عملاقة إلى المجهول ــ وهو ما قد نطلق عليه، في غياب مصطلح أفضل، “أنت تعيش مرة واحدة فقط”. (YOLO) نهج للسياسة. نحن لا نتفق.

ويشير لودفيج وكوك إلى أمثلة للنجاح، بما في ذلك الانتشار التدريجي للالتحاق بالمدارس الإلزامية من الروضة إلى الصف الثاني عشر، أو برنامج في شيكاغو نجح في الحد من العنف بين الشباب من خلال مزيج من الاستشارة السلوكية والموجهين.

ربما لا ينبغي لنا أن ننظر إلى طريقة تجربة المراقبة العشوائية باعتبارها منهجية “المعيار الذهبي” للأدلة السببية، وهي القضية التي قدمتها آنا هارفي.

بالنسبة لأولئك الذين ليسوا على دراية بفكرة “تجربة المراقبة العشوائية”، فإن الفكرة الأساسية هي أن يتم تقسيم مجموعة من الأشخاص بشكل عشوائي. ويتمكن البعض من الوصول إلى البرنامج أو التدخل أو يتم التعامل معهم بطريقة معينة، بينما لا يتمكن البعض الآخر من ذلك. نظرًا لأن المجموعة كانت مقسمة بشكل عشوائي، يمكن للباحث بعد ذلك فقط مقارنة النتائج بين المجموعة المعالجة والمجموعة غير المعالجة. ويُطلق على هذا النهج أحيانًا اسم منهجية “المعيار الذهبي”، لأنه واضح ومقنع. لكن بالطبع، لا توجد طريقة معصومة من الخطأ. يمكن للمرء دائمًا طرح أسئلة مثل: “هل كان الأمر عشوائيًا حقًا؟” “هل كان هناك شخص يتمتع بشخصية كاريزمية يشارك في العلاج بطريقة لن تنتقل إلى المشاريع المستقبلية؟” “هل كان حجم العينة كبيرًا بما يكفي لاستخلاص نتيجة موثوقة؟” “هل قام الباحث بدراسة مجموعة من العلاجات، على عدد من المجموعات، ولكن بعد ذلك نشر فقط النتائج القليلة التي بدت ذات دلالة إحصائية؟”

ويشير هارفي إلى أن هناك عددًا من الأساليب “شبه التجريبية” حيث لا يتم تصميم العشوائية من خلال دراسة بحثية، ولكنها بدلاً من ذلك تنبثق من موقف ما. على سبيل المثال، يتم طرح بعض البرامج العامة في أماكن مختلفة في أوقات مختلفة، وإذا كان النشر عشوائيًا، فيمكن مقارنة هذه الأماكن. في بعض الأحيان، يتم إعداد برنامج بحيث يتمكن جميع من هم فوق درجة معينة من الدخول إلى البرنامج، بينما لا يتمكن الآخرون من أقل من هذه الدرجة. إن مقارنة أولئك الذين هم بالكاد أعلى من المعيار مع أولئك الذين هم أقل منه بالكاد – والذين من المرجح أن يكونوا متشابهين تمامًا بطرق أخرى، يمكن أن تقدم مقارنة مفيدة. يمكن للمرء أن ينظر إلى خط اتجاه معين قبل وبعد حدث معين، ومعرفة ما إذا كان قد تحول.

يقول جون ماكي إن الدراسات قد تكون لها مكاسب للمشاركين من حيث تعريضهم للخبرات والتجارب التي لم يكن من الممكن أن يحصلوا عليها بطريقة أخرى.

لا أستطيع أن أفكر في إصلاح عملت عليه حيث لم تكن العملية ذات قيمة، أو ربما أكثر، من النتائج التي أسفرت عنها. على سبيل المثال، عندما توليت قيادة وكالة منح وأبحاث السلامة العامة في ولاية إلينوي في الفترة من 2015 إلى 2019، قمت أنا وزملائي بإنشاء فرصة تمويل متعددة السنوات للمدن المتوسطة الحجم لتنفيذ برامج قائمة على الأدلة للحد من العنف المسلح. تطلبت الجائزة أيضًا من الحاصلين على المنحة الاجتماع بانتظام مع طاقم العمل والخبراء المتخصصين للحديث عن تجاربهم. وعلى الرغم من انتهاء التمويل منذ عدة سنوات، إلا أنني ما زلت أسمع من الأشخاص الذين كانوا جزءًا من البرنامج. إنهم لا يتحدثون كثيرًا عن النتائج التي أسفر عنها عملهم، بل عن العلاقات التي بنوها مع خبراء لم يكن من الممكن أن يلتقوا بهم لولا ذلك، وما تعلموه عن العمل مع الجهات المانحة والباحثين الحكوميين، وما تعلموه حول إشراك مجتمعهم بشكل أفضل.