همه ما در مورد احتمالات قضاوت می کنیم و برای تصمیم گیری خود به آنها وابسته هستیم.

با این حال، همیشه واضح نیست که به کدام قضاوت‌ها اعتماد کنیم، به‌ویژه از آنجایی که طیف وسیعی از مطالعات نشان می‌دهند که این قضاوت‌ها می‌توانند دقیق‌تر از آن چیزی باشند که ما امیدواریم یا انتظار داریم. به عنوان مثال، محققان استدلال کرده اند که حداقل 4 درصد از محکومیت های اعدام در ایالات متحده، محکومیت های نادرست هستند، سالانه ده ها یا حتی صدها هزار آمریکایی بر اثر تشخیص های نادرست جان خود را از دست می دهند، و گاهی اوقات کارشناسان می توانند 100 درصد از پیش بینی هایی که تغییر می کنند مطمئن باشند. در 19 درصد مواقع نادرست است. بنابراین ما می خواهیم قضاوت های قابل اعتمادی داشته باشیم، در غیر این صورت ممکن است نتایج بدی رخ دهد.

پس چگونه می‌توانیم تعیین کنیم که به کدام قضاوت‌ها اعتماد کنیم، چه قضاوت‌های خودمان یا دیگران؟ در مقاله‌ای که اخیراً منتشر کردم (که در اینجا به رایگان در دسترس است)، من برای پاسخی به نام «کالیبراسیون گرایی فراگیر» – یا به اختصار فقط «کالیبراسیون گرایی» استدلال می‌کنم. کالیبراسیون گرایی می گوید که قابل اعتماد بودن به دو عنصر نیاز دارد – کالیبراسیون و جامعیت.

اولین مؤلفه اعتماد: کالیبراسیون

رابخش کالیبراسیون «کالیبراسیون فراگیر» می‌گوید که قضاوت‌های احتمالی تنها در صورتی قابل اعتماد هستند که با روش‌های تفکری که شواهدی دال بر کالیبراسیون آن‌ها دارند، ایجاد شده باشند. در اینجا، “کالیبراسیون” یک اصطلاح فنی است که به این موضوع اشاره دارد که آیا احتمالاتی که ما به چیزها نسبت می دهیم با فرکانس درستی آن چیزها مطابقت دارد یا خیر. اجازه دهید این موضوع را با یک مثال در نظر بگیریم.

در زیر نموداری است که کالیبراسیون یک پیش بینی کننده از پروژه قضاوت خوب – کاربر 3559 را نشان می دهد:

کالیبراسیون خوب یک پیش بینی کننده خوب

منبع: جان ویلکاکس

نمودار نشان می دهد که چقدر چیزهایی که احتمال می دهند درست می شوند. برای مثال، نقطه بالا سمت راست نشان‌دهنده همه رویدادهای منحصربه‌فردی است که قبل از وقوع یا عدم وقوع آن‌ها احتمال حدود 97.5 درصد را به آن نسبت داده‌اند: اینکه موزامبیک بین اکتبر 2013 و مارس 2014 شروع به شورش خواهد کرد، که فرانسه آن را ارائه خواهد کرد. یک کشتی کلاس میسترال به یک کشور خاص قبل از 1 ژانویه 2015 و غیره برای 17 رویداد دیگر. حال، از مجموع این 19 رویداد که آنها احتمال 97٪ را به آنها اختصاص دادند، معلوم می شود که حدود 95٪ از آن رویدادها رخ داده است. به همین ترتیب، اگر به تمام رویدادهایی که این شخص به آنها احتمال تقریباً 0 درصد اختصاص داده نگاه کنید، معلوم می شود که حدود 0 درصد از آن رویدادها رخ داده است.

در این مورد، این شخص سابقه نسبتاً خوبی در کالیبراسیون دارد، زیرا احتمالاتی که آنها به چیزها نسبت می دهند (تقریباً) با فرکانس درستی آن چیزها مطابقت دارد.

و این مورد حتی زمانی است که آن چیزها مربوط به رویدادهای «محصول» هستند که ممکن است فکر کنیم نمی‌توانیم احتمالاتی را نیز تعیین کنیم. به هر حال، یک شورش خاص یا رخ می دهد یا نمی خواهد. این یک رویداد منحصر به فرد است، و بنابراین واضح نیست که بتوانیم یک عدد دقیق عددی مانند 67% به آن اختصاص دهیم که – همانطور که مشخص است – شانس عینی وقوع آن را منعکس می کند. اما معلوم می شود که ما می توانیم – حداقل اگر به روش های درست فکر کنیم.

با این حال همه ما به این خوبی کالیبره نشده ایم. در زیر یک فرد خاص، کاربر 4566، وجود دارد که احتمالاتی در حدود 97٪ را به چیزهایی اختصاص داده است که فقط در 21٪ مواقع صادق بودند، مانند شورش در چاد تا مارس 2014 و غیره.

کالیبراسیون اشتباه یک پیش بینی کننده ضعیف

منبع: جان ویلکاکس

مطالعات نشان داده است که افراد می‌توانند کم و بیش برای طیف وسیعی از حوزه‌ها، از جمله تشخیص‌ها و پیش‌آگهی‌های پزشکی، دانش عمومی در مورد امور گذشته یا جاری، موضوعات ژئوپلیتیک – تقریباً هر چیزی، کالیبره شوند.

سپس کالیبراسیون‌گرایی می‌گوید که قضاوت‌های احتمالی تنها در صورتی قابل اعتماد هستند که شواهدی داشته باشیم که نشان دهد آن‌ها توسط روش‌های تفکری که به خوبی کالیبره شده‌اند تولید شده‌اند – یعنی با روش‌هایی از تفکر که بیشتر شبیه نمودار کالیبراسیون پیش‌بینی‌کننده اول هستند تا شبیه نمودار کالیبراسیون پیش‌بینی‌کننده دوم. .

البته، برای بسیاری از انواع قضاوت‌ها، ما فاقد شواهد قوی از کالیبراسیون هستیم، و پس از آن، دلایل کمی برای اعتماد بی چون و چرا به آن قضاوت‌های احتمالی نداریم. این در برخی از بخش‌های پزشکی یا حقوق صدق می‌کند، به‌عنوان مثال، جایی که ما شواهدی از قضاوت‌های نادرست داریم که می‌تواند منجر به تشخیص‌های نادرست یا محکومیت‌های نادرست حداقل در برخی مواقع شود، حتی اگر در بقیه زمان‌ها قضاوت‌های کاملاً خوبی داشته باشیم.

اما در زمینه‌های دیگر، ما در هر دو حالت به سادگی فاقد شواهد هستیم: قضاوت‌های ما می‌تواند به اندازه پیش‌بینی‌کننده اول تنظیم‌شده یا به‌اندازه دومی نادرست باشد، و ما هیچ دلیل خوبی برای گفتن قاطعانه در هر دو طرف نداریم.

مفهوم کالیبراسیون این است که در برخی از حوزه‌ها، قبل از اینکه بتوانیم به قضاوت‌های احتمالی که در آن حوزه داریم اعتماد کامل داشته باشیم، باید کالیبراسیون خود را اندازه‌گیری و احتمالاً بهبود دهیم.

با این حال، خبر خوب این است که این امکان پذیر است، همانطور که در کتابم بحث می کنم. به عنوان مثال، برخی شواهد (مثلاً اینجا و اینجا) نشان می‌دهند که می‌توانیم با استفاده از اطلاعات مربوط به آمار یا دفعات وقوع اتفاقات در گذشته، کالیبراسیون خود را بهبود ببخشیم. به عنوان مثال، اگر به نسبت زمان وقوع رکود در شرایط مشابه در گذشته نگاه کنیم، می توانیم رکود در آینده را بهتر پیش بینی کنیم. ما می‌توانیم به طور مشابه از آمارهایی مانند این برای تعیین احتمال نتایج انتخابات، جنگ‌ها، ابتلای بیمار به بیماری و حتی نتایج پیش پا افتاده‌تر مانند اینکه آیا کسی شما را دوست دارد یا خیر استفاده کنیم.

خبر خوب دیگر این است که برخی افراد به خوبی کالیبره شده اند، به این معنی که می توانند قضاوت های قابل اعتمادی در مورد جهان به ما ارائه دهند. به عنوان مثال، کاربر 5265 را از مسابقات پیش بینی Good Judgment در نظر بگیرید. در سال اول مسابقات، قضاوت آنها به خوبی کالیبره شده بود، همانطور که نمودار زیر نشان می دهد:

یک پیش بینی کننده خوب کالیبره شده در سال 1 مسابقات پیش بینی

منبع: جان ویلکاکس

اگر ما در سال دوم مسابقات قضاوت خوب بودیم و می‌خواستیم از این شخص یک سری سوال بپرسیم، می‌توانستیم به طور مشابه به کالیبراسیون و قابل اعتماد بودن قضاوت‌های او درباره آینده پی ببریم. و در واقع، این دقیقاً همان چیزی است که وقتی به سابقه کالیبراسیون آنها برای سال دوم مسابقات زیر نگاه می کنیم، می بینیم:

همان پیش بینی کننده خوب کالیبره شده در سال 1 مسابقات پیش بینی

منبع: جان ویلکاکس

به طور کلی تر، شواهد نشان می دهد که سوابق دقت بزرگ ترین شاخص دقت یک فرد در زمینه های دیگر است – و شاخص های بهتری نسبت به سطح تحصیلات، سن، تجربه یا هر چیز دیگری که از نظر علمی آزمایش شده است.

بنابراین سوابق کالیبراسیون یکی از مؤلفه‌های مهم قابل اعتماد بودن است، اما همانطور که در قسمت دوم بحث خواهم کرد این تنها مورد نیست.