Według badania opublikowanego w American Journal of Gastroenterology1, model przetwarzania języka naturalnego Chat Generative Pretrained Transformer (ChatGPT) nie zdaje testów samooceny American College of Gastroenterology (ACG). Badanie przeprowadzili Kelly Suchman, M.D. z Zucker School of Medicine w Hofstra/Northwell i Long Island Jewish Medical Center w New Hyde Park w stanie Nowy Jork oraz jej koledzy. Ocenili oni wydajność ChatGPT-3 i ChatGPT-4 na testach samooceny ACG z 2022 i 2021 roku. Wyniki pokazały, że ChatGPT-3 uzyskał wynik 65,1% na 455 pytaniach, a GPT-4 uzyskał wynik 62,4%, oba wyniki były poniżej wymaganego 70% lub więcej, aby zdać test21.
Co to jest ChatGPT?
Chat Generative Pretrained Transformer (ChatGPT) to model przetwarzania języka naturalnego, który wykorzystuje uczenie maszynowe do generowania odpowiedzi przypominających ludzkie na wprowadzany tekst. Jest to rodzaj sztucznej inteligencji, który został wykorzystany w różnych aplikacjach, w tym w chatbotach, tłumaczeniu języka i tworzeniu treści. ChatGPT to model uczenia głębokiego, który wykorzystuje architekturę transformatora do generowania tekstu. Jest szkolony na dużym korpusie danych tekstowych i może generować odpowiedzi na wprowadzony tekst, które często są nie do odróżnienia od odpowiedzi wygenerowanych przez człowieka1.
Co to są testy samooceny American College of Gastroenterology?
Testy samooceny American College of Gastroenterology (ACG) są przeznaczone do oceny wiedzy i umiejętności gastroenterologów w różnych dziedzinach gastroenterologii. Testy są wielokrotnego wyboru i obejmują wiele tematów, w tym chorobę Leśniowskiego-Crohna, badania przesiewowe raka jelita grubego i chorobę refluksową przełyku (GERD). Testy są wykorzystywane przez gastroenterologów do oceny ich wiedzy i umiejętności oraz do identyfikacji obszarów, w których mogą potrzebować dalszej edukacji lub szkolenia234.
Konsekwencje badania
Wyniki badania sugerują, że ChatGPT nie nadaje się do kształcenia medycznego w dziedzinie gastroenterologii w obecnej formie. Autorzy badania zalecają, aby ChatGPT nie był wykorzystywany do kształcenia medycznego, dopóki nie zda testu samooceny ACG. Wyniki badania również podkreślają ograniczenia modeli przetwarzania języka naturalnego w kształceniu medycznym i potrzebę dalszych badań nad opracowaniem bardziej dokładnych i niezawodnych modeli21.
Podsumowanie
Wyniki badania sugerują, że ChatGPT nie nadaje się do kształcenia medycznego w dziedzinie gastroenterologii w obecnej formie. Autorzy badania zalecają, aby ChatGPT nie był wykorzystywany do kształcenia medycznego, dopóki nie zda testu samooceny ACG. Wyniki badania również podkreślają ograniczenia modeli przetwarzania języka naturalnego w kształceniu medycznym i potrzebę dalszych badań nad opracowaniem bardziej dokładnych i niezawodnych modeli. American College of Gastroenterology udostępnia wiele zasobów dla pacjentów i pracowników służby zdrowia, w tym wytyczne dotyczące diagnozowania i leczenia różnych chorób przewodu pokarmowego234.