În cadrul studiului, cercetătorii au testat abilitatea ChatGPT Health de a face triaj în funcție de gravitatea cazurilor, propunând scenarii inspirate de viața reală.
Soluțiile ChatGPT au fost comparate cu cele ale medicilor care se bazează pe regulile și expertiza clinică în 60 de scenarii cu câte 16 variații fiecare.
ChatGPT Health a subestimat severitatea problemelor în 51,6% din cazuri, spunând că trebuie văzut un doctor în următoarele 48 de ore, în loc ca soluția să fie direct vizita la urgență.
Pe de altă parte, chatbot-ul a făcut triajul corect în 100% din scenariile care descriau urgențe cu simptome inconfundabile, precum atacurile vasculare cerebrale.
AI-ul are probleme și în sens invers, exagerând severitatea în 64,8% din cazuri și sugerând mersul la doctor când nu este cazul.
Cercetătorii spun că nu înțeleg inconsecvența chatbot-ului și recomandările diferite pe care acesta la face în cazuri asemănătoare nu au logică.
Inconseventa în răspunsuri a fos observată și în scenarii care duceau la autovătămare sau sinucidere.
