ChatGPT는 미국 의료 면허 시험에 (거의) 합격할 수 있습니다

May 13, 2023

ChatGPT는 일관되고 내부적으로 이해되며 빈번한 통찰력을 포함하는 응답을 통해 미국 의료 면허 시험(USMLE)의 약 60% 합격 기준점 근처에서 점수를 받을 수 있습니다.연구에 따르면Tiffany Kung, Victor Tseng 및 AnsibleHealth의 동료들이 2023년 2월 9일 오픈 액세스 저널 PLOS Digital Health에 게재했습니다.

ChatGPT는 LLM(대형 언어 모델)으로 알려진 새로운 인공 지능(AI) 시스템으로, 다가오는 단어 시퀀스를 예측하여 인간과 같은 글쓰기를 생성하도록 설계되었습니다. 대부분의 챗봇과 달리 ChatGPT는 인터넷을 검색할 수 없습니다. 대신 내부 프로세스에서 예측한 단어 관계를 사용하여 텍스트를 생성합니다.

Kung과 동료들은 미국에서 의료 면허 취득에 필요한 세 가지 시험(1단계, 2CK 및 3단계)으로 구성된 고도로 표준화되고 규제된 일련의 USMLE에서 ChatGPT의 성능을 테스트했습니다. 의대생과 수련의가 참여하는 USMLE는 생화학부터 진단 추론, 생명 윤리에 이르기까지 대부분의 의학 분야에 걸친 지식을 평가합니다.

이미지 기반 질문을 제거하기 위한 심사를 마친 후 작성자는 2022년 6월 USMLE 릴리스에서 제공되는 공개 질문 376개 중 350개에 대해 소프트웨어를 테스트했습니다.

불확실한 응답을 제거한 후 ChatGPT는 세 가지 USMLE 시험에서 52.4%에서 75.0% 사이의 점수를 받았습니다. 매년 합격 기준은 약 60%입니다. ChatGPT는 또한 모든 응답에서 94.6%의 일치성을 보여 주었고 응답의 88.9%에 대해 하나 이상의 중요한 통찰력(새롭고 명백하지 않으며 임상적으로 유효한 것)을 생성했습니다. 특히 ChatGPT는 생의학 도메인 문헌에 대해서만 훈련된 대응 모델인 PubMedGPT의 성능을 능가했으며, 이는 USMLE 스타일 질문의 이전 데이터 세트에서 50.8%를 기록했습니다.

상대적으로 작은 입력 크기로 인해 분석의 깊이와 범위가 제한되었지만 저자는 이번 연구 결과가 의학 교육, 그리고 궁극적으로 임상 실습을 향상시킬 수 있는 ChatGPT의 잠재력을 엿볼 수 있다고 지적합니다. 예를 들어 AnsibleHealth의 임상의는 이미 ChatGPT를 사용하여 환자가 더 쉽게 이해할 수 있도록 전문 용어가 많은 보고서를 다시 작성하고 있다고 덧붙였습니다.

저자는 "이 악명 높은 전문가 시험의 합격 점수에 도달하고 인간의 보강 없이 이를 달성하는 것은 임상 AI 성숙에 있어 주목할만한 이정표가 됩니다"라고 말합니다.

저자 Dr. Tiffany Kung은 이 연구에서 ChatGPT의 역할이 연구 주제 그 이상이라고 덧붙였습니다. "ChatGPT는 [저희] 원고 작성에 상당한 기여를 했습니다... 우리는 동료처럼 ChatGPT와 상호 작용하여 합성, 단순화, 진행 중인 초안에 대한 대위법을 제공합니다...모든 공동 저자는 ChatGPT의 의견을 높이 평가했습니다."

- 본 보도자료는 플로스로부터 제공되었습니다.