이 논문은 10개의 대형 언어 모델(LLM)에 검색 증강 생성(RAG)을 적용하여 수술 전 환자의 의학적 적합성을 평가하고, 가이드라인 기반의 안전하고 일관된 임상 사전 지침을 제공하는 프레임워크의 성능을 검증합니다.

연구 배경 및 목적

• LLM을 임상에 적용할 때 발생하는 도메인 특화 전문 지식 부족 현상 및 환각(Hallucination)으로 인한 안전성 문제 해결 필요
• 35개의 지역(Local) 가이드라인과 23개의 국제(International) 가이드라인을 RAG로 통합하여 수술 적합성 판단 및 지침 제공의 정확도 평가

연구 방법 및 실험 설계

• GPT-3.5, GPT-4, GPT-4o, Gemini, Llama2, Llama3, Claude 등 총 10개의 LLM을 기반으로 RAG 파이프라인 구축 및 테스트 진행
• 14개의 다양한 임상 시나리오를 바탕으로 3,234개의 LLM 생성 응답과 448개의 인간 평가자(의사) 응답 비교 분석
• 모델 응답의 질적 수준을 분석하기 위해 안전성, 합의성, 객관성, 재현성, 설명성을 측정하는 S.C.O.R.E. 프레임워크 도입

주요 결과 및 성능

• 국제 가이드라인을 적용한 GPT-4 RAG 모델이 96.4%의 수술 적합성 예측 정확도를 기록하여 인간 평가자(86.6%)를 유의미하게 능가
• 인간이 전체 수술 전 지침을 작성하는 데 평균 10분이 소요된 반면, LLM-RAG 모델은 평균 20초 이내에 빠르고 효율적인 결과 생성
• Llama2 모델을 제외한 대다수 모델에서 환각 발생률이 0~2.9% 수준으로 매우 낮게 나타나 임상적 일관성과 안전성 입증

한계 및 향후 과제

• 시뮬레이션 기반의 임상 시나리오를 바탕으로 평가되었기 때문에 실제적이고 다변적인 임상 현장으로의 완벽한 일반화에는 한계 존재
• RAG 프레임워크의 특성상 문서 검색 및 생성 과정이 결합되어 실시간 적용 시 컴퓨팅 자원 수요 및 처리 지연(Latency) 증가
• 모델을 자율적인 의사 결정 도구로 사용하기보다는 의료진의 검토와 감독이 동반되는 임상 보조 도구(Human-in-the-loop)로 활용할 것을 권장