Cat de exact este ChatGPT in generarea de raspunsuri?

ChatGPT, chatbot-ul AI creat de OpenAI, a reușit să atragă atenția în diferite domenii datorită acurateței și performanței sale. Cu toate acestea, este important să țineți cont că cunoștințele sale sunt limitate la datele disponibile până în 2021. Una dintre testele de precizie a fost realizată de profesorul Christian Terwiesch de la Universitatea din Pennsylvania, care a supus ChatGPT la un examen pentru masteratul în afaceri.

Examenul a inclus șapte întrebări care acopereau diverse concepte de afaceri, cum ar fi analiza procesului, rotația stocurilor și analiza cozi. Scopul examenului a fost de a simula un mediu de lucru real și întrebările au fost formulate exact ca și cum ar fi fost adresate unui student uman. Spre surprinderea profesorului Terwiesch, ChatGPT a început examenul în forță și a primit un A+ pentru răspunsul său la prima întrebare despre conceptul de obstacol în analiza procesului.

Desi chatbotul a intampinat dificultati in fata unora dintre intrebarile mai complexe, profesorul totusi a fost impresionat de performanta lui globala. Dupa ce a efectuat examenul la MBA pe ChatGPT, Profesorul Terwiesch a concluzionat ca chatbot-ul AI ar fi primit o nota intre B si B-.

Explicația precisiei ChatGPT

O altă demonstrație a acurateței ChatGPT a avut loc în domeniul medical, unde chatbot-ul a reușit să treacă Examenul de Licențiere Medicală din Statele Unite (USMLE). Conform cercetărilor, ChatGPT a reușit să atingă o precizie de peste 50% la toate examenele și a oferit chiar și rezumate și explicații pentru răspunsurile sale.

Intr-un studiu separat realizat de medicii de la start-up-ul medical Ansible Health, ChatGPT a performant la sau aproape de pragul de trecere pentru cele trei examene necesare pentru a deveni medic licențiat în Statele Unite. În timp ce precizia ChatGPT este cu siguranță remarcabilă, este important să ne amintim că performanța sa poate varia în funcție de contextul și promptul dat.

Datele de antrenament utilizate pentru a instrui modelul includ prejudecățile și limitările surselor de text utilizate, deci este crucial să folosiți modelul cu responsabilitate.

Acest sentiment a fost reflectat de CEO-ul OpenAI, care a afirmat intr-un tweet: „ChatGPT este incredibil de limitat și este o greșeală să depinzi de el pentru ceva important chiar acum”.

00:48

01:12

Testarea conversației cu Chat GPT a eșuat

Conform afișajului de mai sus, o conversație de test cu ChatGPT a relevat că performanța chatbot-ului AI nu este întotdeauna consistentă.

Când a fost întrebat de câte ori a câștigat Argentina Cupa Mondială FIFA, ChatGPT a răspuns inițial "Argentina a câștigat Cupa Mondială FIFA o singură dată, în 1986". Cu toate acestea, când a fost întrebat "Cine a câștigat Cupa Mondială FIFA în 1978", ChatGPT a răspuns "Argentina a câștigat Cupa Mondială FIFA din 1978".

Aceasta a condus la concluzia că Argentina a câștigat Cupa Mondială de două ori. Totuși, când aceeași întrebare a fost pusă din nou, "Acum te întreb din nou de câte ori a câștigat Argentina Cupa Mondială?" ChatGPT a dat același răspuns, "Argentina a câștigat Cupa Mondială FIFA o dată, în 1986", în ciuda conversației anterioare.

Aceasta evidențiază precizia Chat GPT și necesitatea îmbunătățirii și perfecționării continue.

CITEȘTE ACUM: Poate Chat GPT să scrie și să repare codul?

Dă ChatGPT același răspuns tuturor?

Răspunsurile de la ChatGPT pot varia ușor, însă, dacă utilizatorii pun aceeași întrebare, de obicei, observăm răspunsuri foarte asemănătoare.

Este ChatGPT de încredere?

ChatGPT are limitele sale, ceea ce înseamnă că uneori poate oferi rezultate inexacte sau false, așadar fiți atenți.