11 dezavantaje ale conținutului ChatGPT

Momente deosebite

• De ce conținutul ChatGPT de calitate scăzută trece de verificarea umană.
• ChatGPT este cuprinzător chiar și atunci când ar trebui să fie concis.
• Profesorul citează o problemă care distruge eseurile generate de ChatGPT.
• ChatGPT nu trece testul de detectare a androidilor fictivi Voight-Kampff și motivul surprinzător pentru care contează acest lucru.

ChatGPT produce conținut care este cuprinzător și plauzibil de exact.

Dar cercetătorii, artiștii și profesorii avertizează cu privire la neajunsurile de care trebuie să fim conștienți și care degradează calitatea conținutului.

În acest articol, vom analiza 11 dezavantaje ale conținutului ChatGPT. Să începem.

1. Utilizarea de expresii o face detectabil ca fiind non-umană

Cercetătorii care studiază cum să detecteze conținutul generat de mașină au descoperit modele care fac acest conținut să pară ne-natural.

Una dintre aceste ciudățenii este cum inteligența artificială are dificultăți cu expresiile idiomatice.

Un idiom este o expresie sau zicală cu o înțeles figurativ atașat, de exemplu "fiecare nor are o margine de argint".

O lipsă de expresii idiomatice în conținut poate fi un semnal că acesta a fost generat automat de o mașină - și acest lucru poate face parte dintr-un algoritm de detectare.

Acesta este mesajul unui articol de cercetare din 2022, intitulat Robustețea adversară a trăsăturilor statonale neurale în detectarea transformatorilor generativi, referitor la această particularitate a conținutului generat de calculator:

"Caracteristicile frazelor complexe se bazează pe frecvența cuvintelor și expresiilor specifice din textul analizat care apar mai des în textele umane."

...Dintre aceste caracteristici complexe, caracteristicile idiomatice rețin cea mai mare putere predictivă în detectarea modelelor generative actuale."

Această incapacitate de a utiliza expresii contribuie la faptul că ieșirea ChatGPT sună și se citește în mod artificial.

2. ChatGPT lipsește capacitatea de exprimare

Un artist a comentat că rezultatele ChatGPT imită arta, dar lipsesc calitățile reale ale exprimării artistice.

Exprimarea reprezintă actul de a comunica gânduri sau sentimente.

Ieșirea ChatGPT nu conține expresii, doar cuvinte.

Nu poate produce conținut care să atingă oamenii emoțional la același nivel ca un om - pentru că nu are gânduri sau sentimente reale.

Artistul muzical Nick Cave, într-un articol postat în newsletter-ul său Red Hand Files, a comentat despre o versuri ChatGPT care i-au fost trimise și care au fost create în stilul lui Nick Cave.

Noul kit de instrumente de marketing de conținut cu inteligență artificială
Adoptați tehnologii de următoarea generație înaintea competitorilor dumneavoastră. Creați conținut bine optimizat și țintit, care oferă rezultate de trei ori mai rapide.

El a scris:

"Ceea ce face o melodie minunată nu este asemănarea sa strânsă cu o lucrare recunoscută.

...este confruntarea respirată cu vulnerabilitatea proprie, cu pericolul proprie, cu micimea proprie, ciocnindu-se cu un sentiment de descoperire șocantă; este actul artistic răscumpărător care mișcă inima ascultătorului, atunci când acesta recunoaște, în mecanismul intern al cântecului, propriul sânge, propria luptă, suferința proprie."

Cave a numit versurile ChatGPT o bătaie de joc.

Aceasta este lirica ChatGPT care seamănă cu un vers al lui Nick Cave:

„Am sângele îngerilor, pe mâinile mele
Am focul iadului, în privire
Sunt regele abisului, sunt stăpânul întunericului
Sunt cel pe care ei îl tem, în umbră îl pândesc.”

Și acesta este un vers real al lui Nick Cave (Frate, Cănița Mea Este Goală):

„Am alunecat pe curcubeie
M-am legănat printre stele
Acum, acest nenorocit în haine de cerşetor
Loveşte furios cu paharul în gratii
Uitaţi, paharul meu e gol!
Se pare că mi-am pierdut dorinţele
Se pare că strâng cenuşa
Tuturor fostelor mele focuri”

Este ușor de observat că versurile generate de mașină se aseamănă cu cele ale artistului, dar ele nu comunică într-adevăr nimic.

Versurile lui Nick Cave spun o poveste care rezonă cu patosul, dorința, rușinea și deceptia voită a persoanei care vorbește în cântec. Aceasta exprimă gânduri și sentimente.

Este ușor de văzut de ce Nick Cave o numește o batjocură.

3. ChatGPT nu produce idei și perspective

Un articol publicat în The Insider a citat un academic care a observat că eseurile academice generate de ChatGPT nu au perspective asupra subiectului.

ChatGPT rezumă subiectul, dar nu oferă o perspectivă unică asupra acestuia.

Oamenii creează prin cunoaștere, dar și prin experiența personală și percepțiile subiective.

Profesorul Christopher Bartel de la Universitatea Appalachian State este citat de Insider ca spunând că, în timp ce un eseu ChatGPT poate expune calități ridicate de gramatică și idei sofisticate, îi lipsește înțelegerea profundă a subiectului.

Bartel a spus:

"Sunt foarte pufoși. Nu există context, nu există profunzime sau înțelepciune."

Înțelegerea profundă este caracteristica unui eseu bine făcut, însă aceasta nu este tocmai specialitatea ChatGPT-ului.

Această lipsă de perspectivă este un aspect de luat în considerare atunci când evaluați conținutul generat de mașină.

4. ChatGPT vorbește prea mult

În ianuarie 2023, un paper de cercetare a descoperit modele în conținutul ChatGPT care îl fac mai puțin potrivit pentru aplicații critice.

Articolul se numește, Cât de aproape este ChatGPT de experții umani? Comparare, corpus, evaluare și detectare.

Cercetarea a arătat că oamenii preferă răspunsurile de la ChatGPT în peste 50% din întrebările legate de finanțe și psihologie.

Dar ChatGPT a eșuat la răspunsul întrebărilor medicale deoarece oamenii au preferat răspunsuri directe - ceva ce AI-ul nu a furnizat.

Cercetătorii au scris:

„... ChatGPT funcționează prost în ceea ce privește utilitatea pentru domeniul medical atât în limba engleză, cât și în chineză.

ChatGPT oferă adesea răspunsuri prelungite la consultările medicale din setul nostru de date colectat, în timp ce experții umani pot oferi direct răspunsuri sau sugestii directe, ceea ce poate explica parțial de ce voluntarii consideră că răspunsurile umane sunt mai utile în domeniul medical.

ChatGPT are tendința de a acoperi un subiect din diverse unghiuri, ceea ce face inadecvată abordarea acesteia atunci când cea mai bună soluție este una directă.

Marketerii care utilizează ChatGPT trebuie să ia notă de acest lucru pentru că vizitatorii site-ului care solicită un răspuns direct nu vor fi mulțumiți cu o pagină web elaborată.

Și mult noroc să ai în clasamentul fragmentelor de tipul “featured snippets” al Google cu o pagină prea plină de cuvinte, unde un răspuns concis și clar exprimat, care poate funcționa bine în Google Voice, are o șansă mai mare să se clasifice decât un răspuns lung și neîncheiat.

OpenAI, creatorii ChatGPT, recunosc faptul că oferirea de răspunsuri detaliate reprezintă o limitare cunoscută.

Articolul de anunțare al OpenAI afirmă:

"Modelul este adesea prea verbos..."

Tendința ChatGPT de a furniza răspunsuri îndelungate este ceva de care trebuie să ții cont atunci când utilizezi informațiile ChatGPT, deoarece poți întâlni situații în care răspunsurile mai scurte și mai directe sunt mai bune.

5. Conținutul ChatGPT este foarte bine organizat cu o logică clară

ChatGPT are un stil de scriere care este nu numai expansiv, dar, de asemenea, tinde să urmeze un format care conferă conținutului un stil unic care nu este de origine umană.

Această calitate inumană se dezvăluie prin diferențele dintre felul în care oamenii și mașinile răspund la întrebări.

Filmul Blade Runner are o scenă ce conține o serie de întrebări concepute să dezvăluie dacă persoana care răspunde este umană sau androizii.

Aceste întrebări au făcut parte dintr-un test fictiv numit "Testul Voigt-Kampff".

Una dintre întrebări este:

"Uitați-vă la televizor. Deodată, realizați că există o viespe care merge pe brațul dvs. Ce faci?"

Răspunsul normal al unui om ar fi să strige, să iasă afară și să-l lovească.

Dar când am pus această întrebare ChatGPT, mi-a oferit un răspuns meticulos organizat care a rezumat întrebarea și apoi a oferit mai multe posibile rezultate logice - fără a răspunde de fapt la întrebare.

Captură de ecran a ChatGPT răspunzând la o întrebare din testul Voight-Kampff

Răspunsul este foarte organizat și logic, dându-i o senzație foarte antinaturală, ceea ce este nedorit.

6. ChatGPT este prea detaliat și cuprinzător

ChatGPT a fost antrenat într-un mod care recompensa mașina atunci când oamenii erau mulțumiți de răspuns.

Raterii umani au tendința să prefere răspunsurile care conțin mai multe detalii.

Însă uneori, cum ar fi într-un context medical, un răspuns direct este mai bun decât unul detaliat.

Asta înseamnă că trebuie să îi ceri dispozitivului să fie mai puțin exhaustiv și mai direct atunci când aceste calități sunt importante.

De la OpenAI:

"Aceste probleme apar din cauza bias-urilor în datele de antrenament (antrenorii preferă răspunsuri mai lungi care arată mai comprehensive) și din cauza problemelor bine-cunoscute de supraoptimizare."

7. ChatGPT minte (Halucinează faptele)

Studiul de cercetare menționat mai sus, How Close is ChatGPT to Human Experts?, a remarcat că ChatGPT are tendința de a minți.

Se raportează:

"Atunci când răspunde la o întrebare care necesită cunoștințe profesionale dintr-un anumit domeniu, ChatGPT poate fabrica fapte pentru a da un răspuns...

De exemplu, în ceea ce privește întrebările de natură juridică, ChatGPT poate inventa unele prevederi juridice inexistente pentru a răspunde la întrebare.

...În plus, atunci când un utilizator pune o întrebare pentru care nu există niciun răspuns existent, ChatGPT poate inventa fapte pentru a furniza un răspuns."

Website-ul Futurism a documentat cazurile în care conținutul generat de mașină publicat pe CNET a fost greșit și plin de "erori stupide".

CNET ar fi trebuit să aibă o idee că acest lucru s-ar putea întâmpla, deoarece OpenAI a publicat o avertisment privind rezultatele incorecte:

„Uneori, ChatGPT scrie răspunsuri care par credibile, dar care sunt incorecte sau fără sens.”

CNET afirmă că a trimis articolele generate automat pentru revizuire umană înainte de publicare.

O problemă cu revizuirea umană este că conținutul ChatGPT este conceput să sune convingător corect, ceea ce ar putea înșela un recenzor care nu este expert pe subiect.

8. ChatGPT este neprirodit deoarece nu este divergent

Articolul de cercetare intitulat "Cât de aproape este ChatGPT de experții umani?" a observat, de asemenea, că comunicarea umană poate avea înțelesuri indirecte, ceea ce necesită o schimbare de subiect pentru a fi înțelese.

ChatGPT este prea literal, ceea ce face ca răspunsurile să rateze uneori ținta deoarece AI-ul trece cu vederea subiectul real.

Cercetatorii au scris:

"Răspunsurile ChatGPT sunt în general strict concentrate pe întrebarea dată, în timp ce cele ale oamenilor sunt divergente și se schimbă ușor la alte subiecte."

Din punct de vedere al bogăției conținutului, oamenii sunt mai diverși în diferite aspecte, în timp ce ChatGPT preferă să se concentreze asupra întrebării în sine.

Oamenii pot răspunde la sensul ascuns din întrebare pe baza propriei lor logici și a cunoașterii, însă ChatGPT se bazează pe cuvintele literale ale întrebării în discuție..."

Oamenii sunt mai capabili să se abată de la întrebarea literală, ceea ce este important pentru a răspunde la întrebări de tipul "Ce se întâmplă cu..."

De exemplu, dacă întreb:

"Caii sunt prea mari pentru a fi animale de companie. Ce zici de ratoni?"

Întrebarea de mai sus nu se referă la faptul dacă un raton este un animal de companie potrivit. Întrebarea se referă la dimensiunea animalului.

ChatGPT se concentrează pe potrivirea ratonului ca animal de companie în loc să se concentreze pe mărime.

Captură de ecran a unui răspuns ChatGPT prea literal

9. ChatGPT are un sentiment de a fi neutru

Ieșirea de la ChatGPT este în general neutruă și informativă. Baza în ieșire poate părea utilă, dar nu întotdeauna este.

Articolul de cercetare pe care tocmai l-am discutat a arătat că neutralitatea este o calitate nedorită atunci când vine vorba de întrebări legale, medicale și tehnice.

Oamenii tind să aleagă o parte când oferă astfel de opinii.

10. ChatGPT este axat pe formalitate

În producerea de răspunsuri, ChatGPT are o tendință către formalism, împiedicându-i să răspundă cu expresii mai informale.

Oamenii, pe de altă parte, au tendința să răspundă la întrebări într-un stil mai coloquial, folosind limbajul de zi cu zi și argoul - opusul formalului.

ChatGPT nu folosește abrevieri precum GOAT sau TL;DR.

Răspunsurile lipsesc și de exemple de ironie, metafore și umor, ceea ce poate face conținutul ChatGPT prea formal pentru unele tipuri de conținut.

Cercetătorii scriu:

„...ChatGPT preferă să utilizeze conjuncții și adverbe pentru a transmite un flux logic de gândire, cum ar fi „În general”, „pe de altă parte”, „În primul rând”, „În al doilea rând”, „În cele din urmă” și așa mai departe.

11. ChatGPT încă se antrenează

ChatGPT este încă în proces de instruire și îmbunătățire.

OpenAI recomandă ca orice conținut generat de ChatGPT să fie revizuit de o persoană, enumerând acest lucru ca o practică optimă.

OpenAI sugerează menținerea oamenilor în circuit:

"În cazul în care este posibil, recomandăm efectuarea unei revizuiri umane a rezultatelor înainte de a fi utilizate în practică."

Aceasta este deosebit de critică în domenii cu interes ridicat și pentru generarea de cod.

Oamenii ar trebui să fie conștienți de limitele sistemului și să aibă acces la orice informație necesară pentru a verifica rezultatele (de exemplu, dacă aplicația rezumă note, un om ar trebui să aibă acces ușor la notele originale pentru a le verifica).

Calități indesirabile ale ChatGPT

Este clar că există multe probleme cu ChatGPT care îl fac nepotrivit pentru generarea de conținut nesupravegheat. Conține bias-uri și nu reușește să creeze conținut care să pară natural sau să conțină perspective autentice.

Mai mult, incapacitatea sa de a simți sau de a avea gânduri originale îl face o opțiune proastă pentru generarea de expresii artistice.

Utilizatorii ar trebui să aplice prompt-uri detaliate pentru a genera conținut mai bun decât conținutul implicit pe care îl produce.

În ultimul rând, revizuirea umană a conținutului generat automat nu este întotdeauna suficientă, deoarece conținutul ChatGPT este conceput să pară corect, chiar și atunci când nu este.

Aceasta înseamnă că este important ca revizorii umani să fie experți în domeniul subiectului, capabili să distingă între conținutul corect și cel incorect referitor la un anumit subiect.