이 발표는 구조화된 임상 데이터와 비구조화된 텍스트 데이터를 RAG 및 LLM 기법으로 결합하여, 패혈증을 조기에 예측하고 오경보를 줄이는 ‘COMPOSER LLM’ 시스템의 개발 파이프라인과 전향적 검증 결과를 제시합니다.

기존 패혈증 예측 모델의 한계 및 문제 정의

• 비구조화 데이터 활용 부족: 기존 예측 모델은 구조화된 수치 데이터에만 의존하여 간호 기록, 경과 기록 등 텍스트 내 풍부한 맥락 정보 누락
• 기존 텍스트 임베딩 한계: 문서 전체를 하나의 벡터로 압축해 국소적 맥락 반영이 어렵고 해석 가능성이 낮음
• 기록 중복에 따른 과대평가: 이전 노트를 복사하여 붙여넣는 병원 기록 관행상, 단순 빈도 기반 연산 시 특정 증상이 과대평가되며 도메인 시프트에 취약함

COMPOSER LLM 핵심 설계 및 구조

• 데이터 분리 입력: 구조화된 데이터는 기존 예측 모델로, 비구조화 텍스트 데이터는 LLM 기반 분석기로 분리하여 처리한 후 최종 결합
• 임계값 기반 단계적 알람: 위험 점수가 최상위 기준을 넘으면 즉각 알람을 발생시키고, 불확실한 중간 영역에서는 LLM/RAG 파이프라인이 개입하여 감염 여부 추가 확인
• RAG 파이프라인 도입: 누적된 임상 노트를 청크(Chunk) 단위로 분할 및 벡터화하고, 임상 증상 질의 시 가장 유사한 상위 5개 청크를 검색하여 오픈소스 LLM(Mixtral 8x7B) 프롬프트에 제공

평가 결과 및 임상적 의의

• 예측 지표 개선: 기존 구조화 데이터 단독 모델 대비 민감도(약 72%)를 유지하면서도 양성 예측도(PPV)와 F1 스코어 향상 및 오경보 횟수(FPH) 대폭 감소
• 오경보의 실질적 가치: 오경보(거짓 양성)로 분류된 사례에 대해 임상의가 차트를 리뷰한 결과, 62%가 실제 세균 감염 의심 소견을 보여 조기 항생제 투여 등 예방적 측면에서 유의미한 알람이었음이 확인됨
• 보안 및 배포 효율성: 외부 API 전송 없이 병원 방화벽 내부(자체 클라우드)에 오픈소스 LLM을 배포하여 환자 개인정보 보호(HIPAA) 준수

한계 및 향후 과제

• 임상 노트 의존성: 진료 기록이나 경과 기록이 아직 작성되지 않은 응급실 도착 직후 등에는 시스템 작동 및 알람 발생이 지연될 수 있음
• 일반화 검증 부족: 단일 의료 기관의 응급실 데이터로만 후향적·전향적 검증이 이루어져 타 병원 환경에 대한 외부 검증 필요
• 향후 방향성: 결측 및 지연 문제를 해결하기 위한 음성 인식 기반 실시간 노트 생성 기술 도입 및 실제 환자 사망률·예후 개선에 대한 전향적 영향 평가 필요