논문 리뷰 · 2026년 10월 25일

일관되지만 편향된: 멀티 에이전트 임상 의사결정에서 의장 페르소나는 노이즈를 편향과 맞바꾼다

Consistent but Biased: Chair Personas Trade Noise for Bias in Multi-Agent Clinical Decisions

증례 증거를 고정한 채 의장 에이전트의 페르소나만 바꿔, 페르소나가 수술 시점 결정을 크게 바꾸고 실행 간 일치도를 우연 수준 이상으로는 높이지 못함을 보였다.

문제

여러 LLM 에이전트로 만든 임상 의사결정 시스템에서는 보통 의장 에이전트가 최종 결정을 내린다. 그런데 의장의 페르소나 프롬프트가 결정을 바꾸는지, 그리고 일부 시스템이 신뢰도로 삼는 반복 실행 간 일치도에 어떤 영향을 주는지는 증례를 고정한 상태에서 검증된 적이 없었다.

방법

에이전트 7개로 구성한 가상 척추외과에서 퇴행성 경추 척수증 공개 증례 20건(PMC-Patients)을 논의하게 했다. 증례 보고와 위험 평가 단계(Stage I–II)의 발언은 한 번만 생성해 모든 실행에서 그대로 재사용했다. 의장과 부의장의 프롬프트만 바꿨다: 페르소나 없음, 자문형(consultative), 독단형(autocratic), 회피형(avoidant). 각 페르소나는 '행동 규칙' 버전과 '성격 특성만' 버전으로 작성했다. 규칙 버전은 4개 조건×20건×3회 실행, 특성 버전은 3개 조건×20건×2회 실행했다. 기본 모델은 DeepSeek deepseek-v4-pro다. 10건 부분집합으로 의장 모델 교체(gpt-5.6-terra)와 표현을 바꾼 프롬프트 재현 실험도 했다.

결과

규칙 버전에서 '즉시 수술' 결정 비율은 독단형 93%, 회피형 2%였고, 페르소나 없음은 57%였다.
수술 의도는 88–100%의 결정에서 유지됐다. 즉 페르소나는 수술 여부보다 '지금 할지, 검사 후에 할지'라는 시점을 주로 바꿨다. 저자들은 10건 부분집합에서 모델 교체에 따른 변화(조건별 3–20%p)보다 페르소나 효과가 더 컸다고 보고했다.
독단형·회피형은 3회 실행이 완전히 일치하는 비율을 50%에서 85–90%로 높였다. 하지만 이는 결정 분포로 예상되는 우연 일치 수준(81–86%)과 비슷했고, Fleiss κ는 오르지 않았다(페르소나 없음 0.31, 독단형 0.20, 회피형 0.31).
성격 특성만 쓴 프롬프트도 독단형·회피형의 즉시 수술 효과를 각각 57%, 76% 유지했다. 빠른 결정, 미루기, 추가 검사는 재현됐으나 위험 신호 무시, 대안 계획 생략, 가족에게 결정 떠넘기기는 재현되지 않았다.

한계

단일 질환(퇴행성 경추 척수증)의 공개 증례 20건만 사용했다. 모델 교체와 문구 변경 재현은 10건 부분집합에서 셀당 1회만 실행했다. 일치도 분석은 탐색적이다. 실제 치료 기록은 한 팀의 선택일 뿐 정답 기준이 아니어서 결정의 임상적 적절성은 평가하지 않았다(맹검 임상 검토는 후속 과제). 발언 순서가 고정돼 있어 하급자 침묵 효과는 검증하지 못했다. 영상 없이 텍스트 기록만 사용했다.

의미

멀티 에이전트 시스템에서 의장 에이전트의 짧은 페르소나 프롬프트가 모델 선택만큼, 혹은 그 이상으로 결정을 좌우할 수 있음을 보여준다. 또 반복 실행 간 일치를 신뢰도로 해석하면, 일관되게 편향된 시스템을 믿을 만하다고 오판할 수 있다. 저자들은 페르소나를 모델처럼 보고·변경하고, 일치도는 우연 보정해 보고하라고 권고한다.

핵심 용어

페르소나 프롬프트: 에이전트에게 성격이나 행동 방식을 부여하는 프롬프트 앞부분이다. 이 연구에서는 '행동 규칙'형과 '성격 특성'형으로 나눠 효과를 비교했다.
노이즈와 편향: 노이즈는 같아야 할 판단들이 흩어지는 정도이고, 편향은 판단이 한쪽으로 체계적으로 쏠리는 것이다. 고정된 결정 방침은 노이즈를 줄이는 대신 편향을 모든 결정에 옮긴다.
Fleiss κ: 여러 평가(여기서는 반복 실행) 사이의 일치도에서 우연히 일치할 확률을 빼고 계산한 지표다. 결정이 한쪽에 몰리면 단순 일치율은 높아도 κ는 오르지 않을 수 있다.
증거 고정(replay) 설계: 증례 보고와 위험 평가 발언을 한 번만 생성해 모든 조건에서 그대로 재사용하는 방식이다. 결과 차이를 페르소나와 모델 무작위성 탓으로만 돌릴 수 있게 한다.

원문

저자: Yitong Bai, Chengyi Zhang, Ziyang Wang · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.