이 발표는 심장내과 입원 환자의 경과 기록지(Progress Note)를 바탕으로 퇴원 기록지(Discharge Note)를 자동 생성하기 위해 파인튜닝된 거대 언어 모델(특히 Mistral 7B)의 성능과 실제 임상적 활용 가능성을 평가한 연구를 소개합니다.

연구 배경 및 차별점

• 의료진의 문서 작성 부담 경감 및 진료 연속성 확보를 위한 퇴원 기록지 자동화 필요
• 단순 텍스트 요약이 아닌 조호소, 과거력, 치료 경과 등 세분화된 항목을 포함한 퇴원 기록지 전체 직접 생성
• 실제 심장내과 임상 데이터 및 의학 용어의 복잡성을 반영한 특화 모델 개발 및 검증

데이터셋 및 모델 학습 방법

• 서울아산병원 심장내과 입원 환자 4,588명의 임상 데이터 활용 (최대 2048 토큰 이하 기록 필터링)
• 입력 데이터(경과 기록지)를 기반으로 정답 데이터(퇴원 기록지)를 도출하는 지도 미세조정(SFT) 수행
• 언슬로스(Unsloth) 라이브러리 및 QLoRA 기반 파인튜닝(PEFT) 적용으로 컴퓨팅 자원 및 메모리 효율화 달성
• Mistral 7B를 포함한 총 6개의 오픈소스 LLM 모델 성능 비교 분석

모델 평가 및 주요 결과

• 정량 평가(ROUGE, BLEU, BERTScore, Perplexity 등) 결과, 단일 모델의 압도적 우위 없이 지표별 성능 우위 혼재 확인
• 심장내과 전문의 5인의 정성 평가(정확성, 완전성, 가독성, 일관성, 유용성)에서 Mistral 7B 모델의 높은 임상 활용성(21.2/25점) 입증
• 실제 케이스 분석 결과, 심혈관 시술(PCI, CAG 등) 핵심 키워드 및 퇴원 시 환자 상태를 실제 기록과 유사하게 생성함 확인

한계점 및 향후 과제

• 범용 자연어 처리 평가지표의 임상적 적절성(가이드라인 준수, 환자 안전성 등) 반영 한계
• 의료진마다 상이한 날짜 표기, 약어 사용 등 비표준화된 입력 데이터로 인한 학습 혼란 발생
• 의료 문서 평가에 적합한 임상 특화 평가지표 개발 및 타 진료과(종양내과, 신경과 등) 확장의 필요성
• 다기관 환자 데이터 확보 및 영상 검사 결과 등을 결합하는 멀티모달(Multi-modal) 접근법 도입 요구