Efectul Dunning-Kruger

Sau cum isi supraevalueaza capacitatile oamenii mai putin inteligenti si isi subevalueaza abilitatile cei mai inteligenti.

IN 1951, filosoful, matematicianul si istoricul britanic Bertrand Russell spunea acest lucru:

Unul dintre cele mai dureroase lucruri ale timpurilor noastre este ca cei care simt ca sunt siguri de ceva sunt prosti, iar cei care au niste imaginatie sau intelegere se lupta cu indoiala si indecizia.

In decembrie, profesoara de pedagogie ne-a tinut cateva ore mai speciale, in care ne-a scos (pe cativa) in fata clasei ca sa o ajutam sa tina ora. A vrut sa vada cum reactionam daca trebuie sa comunicam cu un grup de oameni si ce solutii avem pentru a pastra atentia interlocutorilor si a-i face sa ramana cu ceva.

Printre solutiile oferite de mine a fost “as incerca sa dau niste teme pentru acasa personalizate pentru fiecare elev – dar realizez ca asta presupune ca ar trebui sa imi gasesc timp sa aflu ce ii place fiecaruia”. Raspunsul profesoarei a venit prompt: “bine, atunci tu poti sa faci referatul pentru a 4-a nota din ce subiect vrei tu, si acelasi lucru e valabil pentru toata lumea”. Cum trebuia sa aleg pe loc un subiect, mi-a venit in cap efectul Dunning-Kruger, despre care tocmai citisem cate ceva cu cateva zile inainte.

Uitati-va in jurul vostru. Cati dintre semenii nostri sunt in stare sa recunoasca faptul ca gresesc? De multe ori, mai ales in lumea noastra interconectata, se propaga cate o idee gresita, obtinuta de cineva cu foarte putina munca (sau fara nici un efort cognitiv), din surse indoielnice sau care face apel foarte des la dovezi vagi sau povestiri greu de probat sau replicat. Chiar si pusi in fata dovezilor covarsitoare, nenumarati oameni continua sa creada ca ei au concluzia corecta. Ca mii, zeci de mii de oameni care asta fac toata viata lor gresesc, dar ceea ce au citit pe undeva (si nu au verificat vreodata si nici nu au de gand sa verifice) este cu siguranta corect.

Am un coleg care habar-n-are sa scrie in limba romana, abia e in stare sa-si ordoneze gandurile intr-o forma cat de cat inteligibila, n-are habar o iota de anatomie sau medicina, dar e convins ca poate fi medic chirurg. Aici nu e vorba de aroganta mea sau superioritate falsa sau mai stiu eu ce. Omul ala nu ar fi in stare sa ia 5 la o lucrare de Biologie de clasa a 5-a, nu a luat BAC-ul (la mai multe materii) dar e convins ca ar putea sa intre la facultate. Si e convins ca ar putea fi un chirug estetician (!) si ca e o meserie extrem de usoara.

Daca tot trebuie sa fac un referat, hai sa-l postez si aici.

Profesorul David Dunning, care preda Psihologie Sociala la Cornell University din Ithaca, NY, citea un World Almanac 1996 cand a dat peste o stire amuzanta:

Un american (McArthur Wheeler) a jefuit 2 banci din Pittsburgh acoperit cu suc de lamaie pe fata. Era convins ca, deorece poti face scrisori “invizibile” scrise cu suc de lamaie (devin vizibile doar in fata unei surse de caldura), atunci poti sa te acoperi cu suc de lamaie si vei deveni invizibil. A fost prins dupa ce a fost filmat de sistemele de videosupraveghere si apoi poza lui a fost transmisa la televiziune. Cand a fost arestat, a mormait “dar purtam sucul ala”.

Se pare ca isi si testase teoria, facand o poza cu un Polaroid dupa ce s-a dat cu suc de lamaie. Poza a iesit alba – deci a fost convins ca a descoperit secretul invizibilitatii.

Atunci, prof. Dunning a avut o idee interesanta: oare oamenii prosti sunt atat de prosti incat nu isi dau seama ca sunt prosti? S-a gandit sa-si testeze teoria pe studentii sai. Impreuna cu unul dintre fostii sai studenti (acum absolvent), Justin Kruger, a scris prima lucrare pe acest subiect, numita “Unskilled and Unaware of It: How Difficulties of Recognizing One’s Own Incompetence Lead to Inflated Self-assessments”

Au pornit de la ideea (plauzibila) ca majoritatea oamenilor isi priveste capacitatile intelectuale si sociale prea optimist. Un pic normal, pentru ca este foarte greu sa te autocenzurezi si autoevaluezi corect. De aici, au completat teoria in privinta celor care sunt cei mai putin-dotati dpdv intelectual: acestia, pe langa faptul ca nu sunt in stare sa ajunga la concluzii bune/corecte (decat foarte greu), au si povara lipsei capacitatilor cognitive care le-ar permite sa realizeze ca gresesc.

Cum si-au testat teoria?

Pentru prima lor lucrare au folosit 4 teste, la care au inrolat 65, 45, 84 si respectiv 140 de studenti de la Universitatea Cornell (una dintre cele mai bune universitati din SUA – parte din prestigioasa Ivy League), carora li s-au oferit niste credite suplimentare pentru participare.

Testul 1 s-a vrut o metoda de-a evalua capacitatea subiectilor de a recunoaste si evalua umorul, deoarece este un domeniu care presupune cunostinte mai sofisticate despre gusturile si reactiile altor oameni. Au folosit drept control evaluarea (analizata pentru a gasi corelatii) oferita de niste comedianti cunoscuti de atunci.

Fiecare participant si-a oferit opinia despre cat de amuzanta este fiecare dintre 30 de glume, apoi au fost incurajati sa isi autoevalueze capacitatile lor de-a depista umorul fata de “restul studentilor de la Universitate”.

Rezultatul: In medie, subiectii s-au considerat peste medie (in percentila 66) in a evalua umorul. Cei mai putin capabili sa recunoasca umorul (judecand dupa test) si-au supraestimat rezultatele cu 50 de puncte procentuale, pe cand cei din cuartila cea mai de sus si-au subestimat rezultate, in general.

Testul 2 s-a vrut unul de logica. Participantilor li s-au dat 20 de intrebari de tip LSAT, apoi li s-a cerut sa estimeze: la cate intrebari au raspuns corect, cum s-au descurcat la test comparativ cu colegii de test si cat de bune le sunt capacitatile de logica.

Rezultatul: In medie, participantii s-au considerat peste medie in logica – fata de colegi (percentila 66, nu percentila 50 – media), si-au supraestimat rezultatele la test (in medie s-au considerat in percentila 61) si au evaluat relativ corect la cat de multe intrebari au raspuns corect.

Din nou, cei cu rezultatele cele mai proaste si-au supraestimat foarte mult rezultatele si capacitatile, iar cei din cuartila cea mai de sus si-au subestimat un pic capacitatile.

Testul 3 a avut 2 faze. Faza 1 era un test de gramatica. 20 de intrebari dintr-un manual de National Teacher Examination, intrebari de American Standard Written English. Dupa test, participantilor li s-a cerut sa-si estimeze rezultatul, rezultatul fata de colegi si cunostintele lor de Gramatica Limbii Engleze fata de semenii lor.

Rezultatul: IN medie, participantii si-au supraestimat rezultatele, cunostintele de gramatica fata de semeni si cunostintele generale. Din nou, participantii cei mai slabi si-au supraestimat foarte mult capacitatile si rezultatele iar cei mai buni s-au subestimat cu putin.

Faza a doua a testului 3 a presupus si o evaluare a capacitatilor semenilor lor. Studentii din cuartila cea mai de jos si cei din cuartila cea mai de sus (cei mai buni, cei mai slabi) au fost chemati dupa o vreme la Universitate si li s-au dat 5 lucrari ale colegilor, pentru le corecta. Apoi li se spunea sa se reevalueze pe ei insisi.

Rezultatul: cei mai slabi participanti au fost mai putin capabili sa ii evalueze corect pe semenii lor, cei mai buni au reusit asta. Dupa ce si-au corectat semenii, cei mai buni studenti au fost in stare sa isi estimeze mai corect valoarea lor proprie. Cei mai slabi studenti au ramas la fel de incapabili in a se autoevalua si dupa ce au vazut si corectat lucrarile a 5 dintre colegii lor.

Testul 4 a vrut sa verifice capacitatea subiectilor de-a se autoevalua dupa ce isi imbunatatesc cunostintele. S-a folosit testul de selectie Wason initial, apoi subiectilor li s-a cerut sa estimeze ce rezultate au obtinut. Apoi jumatate din participanti au primit un kit de instruire in logica, jumatate au facut o activitate semi-inutila, fara legatura cu logica. Dupa aceasta etapa, toti participantii au primit din nou testele lor si li s-a cerut sa se reevalueze.

Rezultatul: In prima faza, din nou participantii si-au supraestimat capacitatile personale si valoarea lor fata de semenii lor. Ca pana acum, participantii cei mai slabi si-au supraestimat cu mult rezultatele, capacitatile si performanta fata de colegi, iar cei mai buni s-au subestimat (cu putin).

In faza a doua, rezultatele au aratat ca pregatirea imbunatateste semnificativ capacitatile de evaluare intr-un anumit domeniu (in cazul de fata, subiectii si-au evaluat mai precis rezultatele la teste) si putin pe cea de autoevaluare. Adica dupa procesul de pregatire, inclusiv subiectii incompetenti s-au evaluat un pic mai bine, dar au continuat sa se supraevalueze. Spre deosebire, subiectii incompetenti care nu au fost pregatiti si-au supraestimat si mai mult performantele si au evaluat si mai gresit rezultatele la test. In cazul subiectilor cei mai buni, dupa ce au fost instruiti in logica, ei si-au pastrat in mare parte evaluarea initiala (practic, s-au convins ca logica lor initiala fusese buna).

Concluzia cercetarii lor:

“Cand oamenii sunt incompetenti in strategiile pe care le adopta pentru a avea succes si satisfactii, ei se lupta cu o dubla povara: Nu numai ca ajung la concluzii eronate si fac alegeri nefericite, dar incompetenta lor ii priveaza de posibilitatea de a realiza aceasta. In schimb, ca domnul Wheeler, ei raman cu impresia eronata ca se descurca chiar bine.”

Plus un disclaimer amuzant: Autorii se tem ca articolul lor ar putea contine logica defectuoasa, erori metodologice sau comunicare ineficienta. Ei isi asigura cititorii ca, daca articolul este imperfect, nu e un pacat pe care l-au comis cu buna-stiinta. 🙂

Desigur, metodele folosite de autori, oricat de ingenioase au fost, au fost aplicate doar unor studenti la o universitate prestigioasa. Deci au folosit un esantion un pic diferit fata de unul mai aproape de realitate, luat din populatia generala. Asta in conditiile in care concluziile studiului se vor aplicate fix la toata populatia.

Pe de alta parte, tocmai faptul ca au folosit subiecti care (teoretic) sunt mai bine pregatiti decat media unei populatii arata ca incompetenta exista la toate nivelurile (deci si printre cei cu multa scoala).

Intr-un nou studiu (“How chronic self-views influence and potentially mislead estimates of performance“), prof. Dunning, de data asta impreuna cu doctoranda Joyce Ehrlinger, a postulat ca perceptia pe care o au oamenii despre ei si performantele lor ii face sa-si schimbe felul in care se autoevalueaza, independent de modificarile in performanta.

Intr-un set de 3 teste s-a verificat daca persoanele cu o opinie buna sau rea despre ele insele se autoevalueaza diferit in functie de ceea ce cred despre ei. La unul dintre teste s-a incercat  manipularea opiniei despre capacitatile personale printr-un test manipulat, proiectat sa le imbunatateasca unor participanti perceptia despre ei (in domeniul Geografiei, in cazul acesta) si altora sa le-o inrautateasca. Dupa aceasta manipulare fina, cei care se considerau “cu cunostinte mai multe” (in functie de rezultatul perceput drept foarte bun la prima parte a testului) se autoevaluau mai favorabil fata de cei care se considerau “cu mai putine cunostinte”.

Incurajati de rezultatele acestor 3 teste, la ultimul test, autorii au vrut sa verifice daca femeile sunt mai putin atrase de o cariera in stiinta deoarece au opinii cronice negative despre cunostintele lor in domeniul stiintific.

Pentru asta, au folosit o procedura un pic mai complicata. Intai au impartit un chestionar in care li se cerea studentilor sa isi evalueze cunostintele in mai multe domenii, inclusiv cel de “a rationa despre stiinta”. Apoi au invitat la gramada toti studentii la un test. Pe cei care au raspuns invitatiei i-au motivat cu ideea unui concurs (cu castiguri in bani + o masa la un restaurant) cu intrebari din “stiinta”.

Rezultatul ultimului test a fost foarte interesant: desi femeile participante au avut rezultate comparabile cu barbatii, si-au estimat mult mai prost rezultatele. Dupa verificarea repetata a datelor, s-a demonstrat ca exista o legatura clara intre opinia pe care o au despre ei atat barbatii si femeile si capacitatea de-a se autoevalua.

Intr-o alta cercetare, a lui Joshua Klayman, un profesor de la Universitata din Chicago (impreuna cu doi doctoranzi de la Universitatea Duke, respectiv Chicago) “Skilled or Unskilled, but Still Unaware of It: How Perceptions of Difficulty Drive Miscalibration in Relative Comparisons“, autorii argumenteaza ca majoritatea oamenilor au dificultati in a se autoevalua, indiferent de capacitatile lor reale. Ei spun ca asta se intampla in special in task-uri mai dificile, deoarece, la taskurile cu dificultate scazuta sau moderata (cum au fost cele din testele prof. Dunning) nu exista opinii partinitoare negative care sa influenteze capacitatea de-a se autoevalua.

Astfel, primul lor test a fost impartit intr-o parte usoara si una un pic mai grea. Daca la testul usor raspunsurile au fost in concordanta (in mare) cu cele din lucrarile prof. Dunning, la testul mai greu rezultatele au fost un pic diferite. Diferenta in autoestimare nu a mai fost atat de mare intre cuartila de jos si cea de sus. Dar a existat in continuare.

Testul al doilea a folosit acelasi tip de verificare a unei ipoteze (test cu intrebari), doar ca a impartit intrebarile in mai multe categorii (in functie de dificultate), a avut mai multe intrebari si a oferit mai mult timp participantilor. Corelatia de tip Dunning-Kruger a ramas, doar ca si in cazul acesta estimarile au fost universal gresite si valorile nu au fost chiar atat de echivoce ca in prima cercetare. Si s-a intarit concluzia ca in domenii care sunt percepute drept dificile cei mai slabi sunt relativ-capabili sa se autoanalizeze “da, am gresit aici”.

Testul al treilea a presupus producerea de cat mai multe cuvinte (existente in limba engleza) din 2 cuvinte date. S-au ales 4 cuvinte, 2 grele (petroglyph si gargantuan) si 2 usoare (typewriter si overthrown). Participantii erau notati si pentru rezultatele corecte (cu +) si pentru cele incorecte (cu -). Din nou, s-a descoperit o relativa legatura intre dificultatea perceputa a task-ului si capacitatea de-a se autoevalua. La taskul usor, cuartila cea mai de jos s-a autoevaluat cel mai gresit. La taskul greu, cuartila de sus s-a autoevaluat cel mai gresit.

Desigur, rezultatele sunt interesante, doar ca as avea o problema cu metodologia. Intrebarile de la testele 1 si 2 erau “trivia despre universitatea la care studentii participau” sau “intrebari despre melodii si cat au stat intr-un top vs. intrebari despre anul in care un om de stiinta a luat un premiu Nobel”. Mi se par cam in bataie de joc fata de testele din lucrarile prof. Dunning. Iar ultimul test este la fel de concludent ca un test de inteligenta cu 2 intrebari, adica deloc. Macar s-au folosit tot doar studenti pentru cercetare, deci populatia esantionata era comparabila.

Intr-un raspuns la criticile aparute la lucrarile sale, prof. Dunning, impreuna cu Joyce Ehrlinger, Justin Kruger (si inca 2 persoane) a mai facut o lucrare “Why the Unskilled Are Unaware: Further Explorations of (Absent) Self-Insight Among the Incompetent“.

Folosind 5 studii diferite, verifica si infirma legaturile intre autoevaluare si asumarea responsabilitatii pentru rezultatul evaluarii, intre autoevaluare si existenta unei stimulari pentru a fi mai precis si reafirma faptul ca oamenii incompetenti se autoevalueaza gresit, indiferent de scalele de evaluare/performanta folosite.

Singurele concluzii care se repeta constant este ca oamenii in general se autoevalueaza gresit si ca, in general, cei mai putin competenti se evalueaza cel mai prost iar cei mai competenti se subevalueaza uneori.

Cel mai simplu exemplu de genul asta este cel al persoanelor care cauta informatii pe internet despre vaccinuri (si presupusa lor periculozitate), se opresc la primele site-uri care le ofera asa-numitul “confirmation bias” si apoi isi apara actul de “cercetare” cu argumentul impanat de sofisme “am studii superioare, este foarte usor sa caut si sa inteleg informatii relevante in domeniul imunologiei si bolilor infectioase – desi nu am nici o zi de studii aprofundate in aceste domenii, spre deosebire de toti specialistii care lucreaza in domeniul respectiv, specialisti care zic ca vaccinurile sunt eficiente si relativ sigure“.

Asta desi habar-n-au ce ar insemna receptor CD8, celula T cu memorie, mediatori ai inflamatiei sau celule dendritice (ca sa enumar doar niste concepte simplute din imunologie).

Note explicative:

In statistica, cuartilă reprezinta un sfert din valorile dintr-un esantion, grupate in functie de anumite criterii. Mai simplist: daca avem 20 subiecti cu 20 rezultate, indiferent de rezultatele lor, vom avea 4 cuartile cu cate 5 subiecti: 5 cei mai buni, 5 + 5 care sunt la mijloc si 5 cei mai slabi.

Percentila e un concept asemanator, doar ca impartim valorile in 100 de bucati egale. Simplist: daca avem 200 de subiecti cu 200 de rezultate si le grupam in functie de rezultate, vom avea 100 de percentile cu cate 2 subiecti. Primii 2 (cu rezultatele cele mai bune, sa zicem) vor fi in percentila 100, ultimii 2 vor fi in percentila 1.

Cand avem un numar de subiecti care sunt evaluati intr-un fel, intotdeauna (indiferent de rezultate) vom avea o valoare medie. In functie de aceasta valoare medie, putem imparti participantii in “sub medie” si “peste medie”. Nu o sa ma apuc sa vorbesc si de curba lui Gauss si distributiile normale, interval de incredere, deviatie standard samd.

Simplist vorbind, daca avem 1000 de oameni care dau un test evaluat cu o nota (ganditi-va la BAC), intotdeauna vom avea o valoare medie a notelor lor. 500 dintre subiecti (50%) vor avea note mai mari decat media, restul de 500 (50%) vor avea note SUB medie. Deci daca 75% dintre cei care dau testul estimeaza ca vor avea un rezultat PESTE MEDIE, inseamna ca minim 25% estimeaza gresit.

Drepturile pentru grafice apartin celor care au facut lucrarile respective.