بیا یه گپ دوستانه بزنیم درباره یه موضوع خیلی جالب و کمی دردسرساز توی دنیای علم روانشناسی؛ چیزی به اسم «رفتارهای پژوهشی مشکوک» یا همون QRPs (مخفف Questionable Research Practices). اینا همون کارای کوچولویی هستن که محققها تو تحقیقاتشون انجام میدن، شاید قانوناً بشه انجامشون داد ولی اخلاقی یا روشی درست نیست و باعث میشه نتیجه تحقیقات خیلی گمراهکننده شه. مثلاً فرض کن طرف دادهها رو جوری دستچین میکنه که فقط به سود خودش باشه یا بعد از دیدن نتیجهها تازه براشون فرضیه میسازه!
یه تیم بینالمللی از محققها اخیراً دست به یه کار خیلی بزرگ و باحال زدن: اومدن نه فقط یه تعریف کامل و جمع و جور از این QRPs دادن، بلکه یه لیست مفصل از چهل تا نمونه واقعی این کارای مشکوک رو هم جمع کردن و حتی راههایی برای تشخیص و پیشگیری ازشون گفتن! این پروژه مهم توی مجله Advances in Methods and Practices in Psychological Science چاپ شده.
کیها پشت این پروژه بودن؟ آقای تاماش ناجی (Tamás Nagy) از دانشگاه Eötvös Loránd و خانم جین هرگرت (Jane Hergert) از Humanistische Hochschule Berlin هدایت این پروژه رو داشتن. خودشون میگن اگه درباره تخلفات پژوهشی بزرگ (مثلاً تقلب کامل) همیشه سروصدا میشه، QRPs مثل مرگ با هزار تا زخم کوچیکن؛ شاید هر کدوم خیلی ریز باشه، ولی وقتی روی هم جمع میشن، اعتماد به کل علم رو کمرنگ میکنن.
اما QRPs دقیقاً چیه؟ تعریف سادهاش اینه: هر روشی برای تولید، نگهداری، به اشتراک گذاشتن، تحلیل یا تفسیر دادهها که احتمال داره نتیجه رو اشتباه نشون بده و معمولاً هم برای منافع خود پژوهشگره. دقت کن که این تعریف تقلب واضح و اشتباهات تصادفی رو شامل نمیشه؛ فقط اون منطقه خاکستریه که شاید قانوناً مشکلی نداشته باشه اما اخلاقاً یا از لحاظ علمی ریسکیه.
لیدرهای این پروژه برای اینکه همه حرفشون با مشارکت جامعه علمی باشه، از یه مدل «اجماع جمعی» استفاده کردن (یعنی کلی محقق دور هم جمع شدن و روی هر مورد با هم بحث کردن). کل حرکتشون تو سال ۲۰۲۲ با یه هکاتون (Hackathon – یعنی رویدادی که دانشمندها یا برنامهنویسها طی یه مدت کوتاه دور هم جمع میشن و روی یه پروژه متمرکز کار میکنن) استارت خورد و بعد با تیمی متشکل از ۱۹ پژوهشگر دیگه به صورت آنلاین ادامه پیدا کرد.
حالا این رفتارهای مشکوک چه جوری دستهبندی شدن؟ تیم تحقیق شش مرحله مهم در عمر هر تحقیق رو مشخص کرد: برنامهریزی، جمعآوری داده، پردازش داده، تحلیل، نوشتن، و انتشار. بعد هر QRP رو براساس اینکه توی کدوم مرحله اتفاق میافته، مشخص کردن و کلیت هر رفتار رو زیر چتر مفهومی خاص گذاشتن. مثلاً «چری-پیکینگ» (Cherry-picking یعنی انتخاب گزینشی دادهها به نفع نتیجه دلخواه)، یه چتره که کلی استراتژی مختلف برای دستکاری نتایج رو شامل میشه. یا مثلاً «پی-هکینگ» (p-hacking یعنی دستکاری آماری برای اینکه نتیجهها معنیدار به نظر بیان) که خودش سیزده تا رفتار آماری مشکوک رو پوشش میده!
جالبه بدونی این رفتارها شامل چی میشن: استفاده از اندازهگیریهای جهتدار و مغرضانه، انتخاب نمونه فقط از بین آدمایی که نتیجه به نفعشونه، عوض کردن بیهوا گروهبندیها، فرضیهسازی بعد از دیدن نتیجه (که بهش HARKing میگن – Hypothesizing After Results are Known)، منتشر نکردن نتایجی که به درد نمیخوره، و… خلاصه هزار تا ترفند کوچک و بزرگ!
یکی از نکاتی که ناجی خیلی روش تاکید داره اینه که عنوانهای زیادی مثل پی-هکینگ باعث میشه ما فکر کنیم همه این کارای مشکوک یکیان، اما واقعیتش زیرشون کلی رفتار متفاوت خوابیده. دستهبندی ریز و دقیق کمک میکنه بتونیم هر رفتار مشکوک رو جدا و بهتر شناسایی کنیم و جلوش رو بگیریم.
آسیب QRPs هم کم نیست: از بادکردن اندازه اثر (effect size – یعنی نشون دادن یه تاثیر بزرگتر از واقعیت)، پایین آوردن قابلیت تکرارپذیری آزمایشها (replicability یعنی اینکه یکی دیگه هم همون تحقیق رو انجام بده و به همون نتیجه برسه)، بالا بردن خطاهای سوگیرانه (bias)، تا کم کردن قابلیت تعمیم نتایج به بقیه آدمها یا موقعیتها.
خب، حالا راهحل چیه؟ نویسندهها کلی پیشنهاد ساده ولی تاثیرگذار داشتن:
۱. گزارش شفاف و کامل حذف دادهها، دستکاریها، تصمیمات مربوط به اندازه نمونه، متغیرهای اندازهگیری شده و شرایط مختلف آزمایش. (یعنی همه چی رو رو کن!)
۲. پیش-ثبتنام (preregistration) فرضیه و طرح تحقیق و تحلیل قبل از جمعآوری دادهها؛ این کار جلوی بازی با فرضیهها رو میگیره.
۳. تحلیل دادهها بهصورت کور (blind analysis)؛ یعنی کسی که تحلیل میکنه ندونه دقیقا دنبال چی هست تا سوگیری ذهنی کمتر شه.
۴. استفاده از بهترین روشهای رایج (best practices) و ابزارهای استاندارد و مدلهای آماری مناسب.
۵. آزمایش استحکام (robustness checks)، یعنی بررسی این که نتیجهها به انتخاب تحلیل یا فرضیه خاص وابسته نباشن.
۶. استفاده از ابزار دقیق و معتبر برای اندازهگیری دادهها.
۷. به اشتراک گذاشتن اطلاعات تکمیلی مثل داده خام یا پیوستها برای عموم.
البته ناجی میگه خودِ این راهکارهای شفاف و باز شاید نتونه به طور کامل جلوی QRPs رو بگیره، اما خیلی راحتتر میشه شناساشون کرد و پیگیریشون کرد. اینجوری پژوهشها واقعیتر و قابل اعتمادتر میشن.
در نهایت، هدف این تیم اینه که کارشون به محققها، داورها و حتی دانشگاهها و نهادهای علمی کمک کنه تا تحقیقها رو درستتر، شفافتر و باکیفیتتر پیش ببرن. واسه همین خیلی هم روی بحث «علم باز» (Open Science – یعنی باز بودن اطلاعات، دادهها و روشها برای همه) تاکید دارن.
اگه دوست داری بیشتر بدونی، حتماً مقاله کاملشون با اسم «Bestiary of Questionable Researcher Practices» رو یه نگاه بنداز.
پس حواست باشه! علم هم مثل هر جای دیگه پر از جزئیات و ریزهکاریه که گاهی میتونن مسیر رو عوض کنن. هر چی باهوشتر و دقیقتر نگاه کنی، بیشتر متوجه این ترفندها و اهمیت شفافیت میشی!
منبع: +
