사람은 어디에 서나: 판정 자동화 수준·규제·사례로 본 허와 실

시리즈를 마치며: 왜 마지막 질문이 '사람의 자리'인가

이 글은 '판정하는 AI: Decision RAG의 허와 실' 시리즈의 4편이자 마지막 편이다. 앞선 편들을 한 문단으로 묶으면 이렇다. 1~2편에서는 규정·문서를 찾아 근거로 붙이고 판정을 내리는 Decision RAG의 구조와 쓰임새를 살폈다. 3편에서는 LLM이 말로 밝히는 확신도가 높은 쪽으로 몰리기 쉬워서 JSON의 confidence 칸이 그대로 확률이 되지는 않는다는 점, 불확실성은 '자동 확정·추가 조회·사람 검토'로 길을 나누는 신호로 써야 한다는 점, 판정마다 입력·규칙 버전·근거·사람 개입 내용을 감사 기록으로 남겨야 한다는 점을 다뤘다.

남은 질문은 하나다. 그렇게 만든 판정을 어디까지 기계에 맡기고, 사람은 어느 지점에 서야 하는가. 이 질문은 기술보다 조직과 규제의 문제에 가깝다. 같은 모델이라도 소액 보험금 승인에 쓰면 고객 대기 시간을 줄이는 도구가 되고, 요양 기간을 끊는 근거로 쓰면 환자에게 직접 피해를 줄 수 있다.

이 글은 금융·의료(보험 포함) 현장을 중심으로, 먼저 자동화 수준을 세 단계로 나누고, 이어서 EU·미국 규제가 무엇을 요구하는지, 실제 사례에서 무엇이 통했고 무엇이 문제가 됐는지를 정리한다. 규제 설명은 공개된 조문과 보도자료를 요약한 것이며 법률 자문이 아니다. 실제 적용 여부는 각 조직의 법무 검토를 거쳐야 한다.

자동화 수준 세 단계: 자동 판정·보조·상향 보고

판정 업무를 설계할 때는 '쓸까 말까'가 아니라 '사건마다 어느 수준으로 보낼까'를 정한다. 이 글에서는 세 단계로 나눈다. 첫째, 자동 판정이다. 위험이 낮고, 금액이 작고, 규칙이 분명하며, 틀려도 쉽게 되돌릴 수 있는 사건을 AI가 끝까지 처리한다. 사람은 사후에 표본을 뽑아 검사한다.

둘째, 보조다. AI가 판정 초안과 근거 정리를 만들고, 결정은 사람이 내린다. 여기서 핵심은 사람에게 결론만 보여 주지 않는 것이다. 근거 문서, 적용한 규칙, 반대 방향의 근거, 3편에서 다룬 신뢰도 신호를 함께 보여 줘야 사람이 실제로 '판단'을 할 수 있다. 셋째, 상향 보고(에스컬레이션)다. 위험이 크거나, 사실관계가 모호하거나, 규제상 고위험으로 분류되는 결정이거나, 신청자에게 불리한 결정은 숙련된 담당자에게 올리고 검토 시간도 넉넉히 준다.

이 글이 제안하는 실무 원칙은 짧다. 자동화는 '승인' 쪽부터 시작하고 '거절'은 사람에게 둔다. 잘못 승인한 소액 건은 사후 검사로 잡을 수 있지만, 잘못 거절당한 사람은 이의를 제기하지 않으면 피해가 그대로 남기 때문이다. 또한 어느 단계로 보낼지는 모델이 스스로 정하게 두지 말고, 금액·상품·결정 방향 같은 바깥 규칙과 측정된 신뢰도를 함께 써서 정한다.

EU 규제가 말하는 것: AI법과 GDPR 제22조

EU AI법 부속서 III글는 고위험 AI 시스템 목록을 담고 있다. 금융·보험과 직접 닿는 항목은 5번 '필수 민간·공공 서비스 접근'이다. 자연인의 신용도를 평가하거나 신용점수를 매기는 시스템(금융 사기 탐지 목적은 제외), 생명·건강보험에서 자연인의 위험 평가와 가격 산정에 쓰는 시스템, 공공기관이 의료 서비스를 포함한 공공 급여의 자격을 평가하거나 급여를 주고, 줄이고, 회수하는 데 쓰는 시스템, 응급 환자 분류(트리아지) 시스템이 여기에 들어간다. 채용·인사 결정(4번)과 교육 평가(3번)도 같은 목록에 있다.

제14조 '사람의 감독'글은 고위험 시스템이 사용되는 동안 사람이 '효과적으로' 감독할 수 있도록 설계·개발돼야 한다고 정한다. 감독의 목적은 건강·안전·기본권 위험을 막거나 줄이는 것이고, 감독 수단은 위험·자율성 수준·사용 맥락에 걸맞아야 한다. 수단은 공급자가 시스템에 미리 넣어 두는 것과, 공급자가 정하고 배포자(실제로 쓰는 기관)가 실행하는 것 두 종류다. 조문 해설 사이트글에 따르면 부속서 III 고위험 시스템에 대한 이 조항은 2027년 12월 2일부터 적용된다.

제86조글는 개별 결정에 대한 설명을 받을 권리다. 부속서 III 고위험 시스템(2번 핵심 기반시설은 제외)의 출력을 바탕으로 배포자가 내린 결정이 법적 효과를 낳거나 그에 맞먹는 중대한 불이익을 준다고 여기는 사람은, 결정 과정에서 AI가 맡은 역할과 결정의 주요 요소에 대해 명확하고 의미 있는 설명을 요구할 수 있다. 같은 사이트는 이 조항이 2026년 8월 2일부터 적용된다고 적고 있다. 다른 EU법이 이미 같은 권리를 주면 그쪽이 우선한다.

GDPR 제22조글는 이보다 앞서 있던 규정이다. 프로파일링을 포함해 '오직 자동화된 처리'에 근거한 결정 가운데 법적 효과나 그에 맞먹는 중대한 영향을 주는 결정을 받지 않을 권리를 정한다. 계약 이행에 필요하거나, 법이 허용하거나, 명시적 동의가 있으면 예외지만, 계약·동의 예외에서도 최소한 사람의 개입을 요구하고, 자기 입장을 밝히고, 결정에 이의를 제기할 권리를 보장해야 한다. 실무에서 걸리는 지점은 '오직'이라는 말이다. 사람이 형식적으로만 확인하는 절차가 자동 결정이 아닌 것으로 인정받을 수 있는지는 해석의 문제이므로, 설계 단계에서 법무 검토를 받아야 한다.

미국 은행 감독: OCC 지침이 비워 둔 자리

미국 통화감독청(OCC)은 2026년 4월 17일 보도자료글에서 연방준비제도 이사회(연준), 연방예금보험공사(FDIC)와 함께 모델 위험 관리 지침을 새로 냈다고 밝혔다. 2011년의 모델 위험 관리 감독 지침(Bulletin 2011-12)과 1997년의 신용평가 모델 검사 지침 등 이전 문서를 폐지했고, 모델 위험 관리는 은행의 규모·복잡도·모델 사용 정도에 맞춰 위험 기반으로 하라고 정리했다. 이 지침은 강제력 있는 기준이 아니며, 따르지 않아도 감독상 지적을 받지 않는다고 명시했다. 총자산 300억 달러가 넘는 은행에 가장 관련이 크다고도 밝혔다.

이 글의 주제와 직접 닿는 문장은 이것이다. OCC는 생성형 AI와 에이전트 AI 모델이 새롭고 빠르게 변하고 있어 이번 지침의 적용 범위에 들지 않는다고 밝혔다. 대신 세 기관이 가까운 시일 안에 은행의 AI 사용, 특히 생성형·에이전트 AI에 관한 의견 요청(RFI)을 낼 계획이라고 했다.

실무에서는 이것을 '규제가 없으니 자유'로 읽으면 안 된다. LLM 기반 판정 시스템은 기존 모델 위험 관리 체계에 그대로 들어가지도, 빠져나가지도 않은 상태다. 앞으로 나올 감독 방향에 대비해, 지금부터 판정 기록·검증·사람 개입을 기존 모델과 같은 수준 이상으로 남겨 두는 편이 안전하다.

사례로 본 '실': 소액·대량·규칙이 분명한 업무

Allianz Project Nemo(호주, 보험금 처리). 업계 매체 Coverager 보도글에 따르면 Allianz는 폭풍 같은 자연재해 때 몰리는 식품 손상(정전 등으로 음식이 상한 경우) 보험금 청구를 처리하려고 첫 에이전트 AI 시스템을 2025년 7월 호주에서 시작했다. 보장 확인, 날씨 검증, 사기 선별, 지급액 계산을 맡은 일곱 개의 전문 에이전트가 협업하고, 호주 달러 500 미만 청구를 하루 안에, 대개 몇 시간 안에 처리한다. 중요한 점은 최종 지급 결정을 여전히 사람 손해사정인이 내린다는 것이다. 처리·정산 시간이 80% 줄었다는 수치는 Allianz Services의 최고혁신책임자가 밝힌 회사 측 발언이며, 독립 검증된 수치는 아니다.

Lemonade(미국, 보험금 자동 처리). Lemonade 회사 블로그글는 청구 처리 봇 'A.I. Jim'이 도난당한 외투에 대한 청구를 3초 만에 검토·승인·지급 지시까지 끝냈다고 발표했다. 그 3초 안에 보험 약관과 대조하고 18개의 사기 방지 알고리즘을 돌렸다고 한다. 같은 글에서 회사는 A.I. Jim이 청구를 사람 담당자에게 자주 넘기며, 그래서 모든 청구가 즉시 처리되지는 않는다고도 적었다. 즉 자동 판정과 상향 보고가 함께 있는 구조다.

두 사례의 공통점은 금액이 작고, 건수가 많고, 판정 규칙(보장 범위, 날씨 기록, 공제액)이 분명하다는 것이다. 또 자동 처리의 방향이 주로 빠른 '지급'이라는 점도 같다. 2절에서 말한 '승인부터 자동화' 원칙과 맞닿는다. 다만 두 출처 모두 회사 발표이거나 회사 발언을 옮긴 보도이므로, 오류율이나 사후 분쟁 같은 반대 지표는 공개 자료로 확인되지 않는다는 점도 함께 기억해야 한다.

경고 사례: '고무도장' 감독이 낳는 문제

UnitedHealth 소송(미국, 의료보험). STAT 보도글에 따르면 2023년 11월 UnitedHealth Group과 자회사 NaviHealth를 상대로 집단소송이 제기됐다. 원고 측은 환자의 요양 기간을 예측하는 알고리즘(nH Predict)으로 중증 환자의 재활 치료비 지급을 체계적으로 거절했다고 주장한다. 소장은 이의 제기로 뒤집힌 거절 비율을 근거로 이 알고리즘의 오류율이 90%라고 주장했다. 이것들은 소송에서 제기된 주장이며 법원이 확정한 사실이 아니다. 회사는 이 도구가 보장 여부 결정에 쓰이지 않으며 소송은 근거가 없다고 반박했고, 최종 판단은 의사 검토자가 내린다고 밝혔다. 다만 STAT의 앞선 탐사 보도는 회사가 관리자 목표로 재활 기간을 알고리즘 예측치의 1% 안에 맞추도록 했고, 의사 검토자가 받는 거절 권고도 이 목표를 적용받는 담당자가 올린 것이라고 보도했다.

Cigna 보도(미국, 의료보험). ProPublica와 The Capitol Forum의 2023년 탐사 보도글는 Cigna의 PXDX라는 검토 방식을 다뤘다. 알고리즘이 진단과 회사가 인정하는 검사·시술이 맞지 않는 청구를 걸러 내면, 회사 소속 의사들이 환자 기록을 열지 않고 묶음으로 거절에 서명했다는 내용이다. 내부 문서를 근거로, 두 달 동안 30만 건이 넘는 청구가 건당 평균 1.2초 만에 거절됐다고 보도했다. Cigna는 보도가 편향되고 불완전하다고 반박했고, 이 시스템은 일상적 검진 청구의 지급을 빠르게 하려고 만든 것이며 진료 이후의 지급 여부만 결정할 뿐 진료 자체를 막지 않는다고 밝혔다.

두 사례의 공통점은 '사람이 최종 결정한다'는 구조가 서류상으로는 있었다는 점이다. 문제로 제기된 것은 그 사람이 실제로 판단할 시간·정보·권한을 가졌는가, 그리고 알고리즘과 다른 결론을 내릴 때 불이익이 없었는가다. 이것이 '고무도장(rubber stamp)' 문제다. EU AI법 제14조글가 그냥 '감독'이 아니라 '효과적인' 감독을 요구하는 이유도 여기에 있다. 또 두 사례 모두 결정 방향이 '거절'이고, 피해를 바로잡는 길이 당사자의 이의 제기에 달려 있었다는 점도 같다.

허와 실: 무엇이 진짜 효과이고 무엇이 착시인가

허(虛)는 세 가지다. 첫째, 이름만 새로운 판정 자동화다. 'AI 에이전트'나 'Decision RAG'라는 이름을 붙여도 결국 기존 규칙 엔진이 하던 일을 비싸게 반복하거나, 위의 경고 사례처럼 거절을 대량으로 찍어 내는 도구라면 새로운 가치는 없다. 둘째, 확신도 칸이 주는 착시다. 3편에서 봤듯 화면에 '신뢰도 0.92'가 떠 있으면 사람은 그 숫자를 믿고 덜 본다. 보정되지 않은 숫자는 사람의 감독을 약하게 만든다. 셋째, '사람이 최종 결정'이라는 문구만 있는 감독이다. 검토 시간, 볼 수 있는 정보, 반대했을 때의 처리 경로가 없으면 그 문구는 책임을 사람에게 넘기는 장치일 뿐이다.

실(實)도 세 가지다. 첫째, 소액·대량·규칙이 분명한 업무의 처리 시간 단축이다. Allianz와 Lemonade 사례글글가 이 영역이다. 둘째, 초안과 근거 정리다. 사람이 결정하되 AI가 관련 규정·서류·과거 사례를 모아 정리해 주면, 사람의 검토가 실제로 깊어질 수 있다. 셋째, 기록이 남는 판정이다. 판정마다 입력·근거·규칙 버전·사람의 수정 내용이 남으면, EU AI법 제86조글가 말하는 '결정의 주요 요소'를 설명하기 쉬워지고, 이의 제기에도 대응할 수 있다.

흔한 실수도 정리해 둔다. 사람 검토자의 처리 목표(건수·시간)를 알고리즘 결과와의 일치율로 정하는 것, 사람이 AI와 다르게 판단한 비율을 아예 재지 않는 것, 이의 제기로 뒤집힌 비율을 모델 평가에 되돌려 쓰지 않는 것, 그리고 고위험 목록글에 드는 용도인지 확인하지 않고 '보조 도구'라는 이름만으로 범위를 정하는 것이다.

도입 순서·점검 목록, 그리고 더 공부하려면

작게 시작하는 순서는 다음과 같다. 1) 업무 목록을 만들고 금액·건수·규칙 명확성·되돌리기 쉬움·규제 해당 여부(부속서 III, GDPR 제22조)로 나눈다. 2) 처음에는 모든 건을 '보조' 단계로 돌려, AI 초안과 사람 결정을 나란히 기록한다. 3) 사람과 AI가 다르게 판단한 건, 이의 제기로 뒤집힌 건을 모아 원인을 본다. 4) 일치율과 보정이 충분히 확인된 소액 승인 건부터 '자동 판정'으로 옮기고 사후 표본 검사를 붙인다. 5) 거절·고액·모호한 건은 계속 '상향 보고'에 두고, 단계 기준을 정기적으로 다시 본다.

점검할 항목은 이렇다. 사람 검토자가 근거 문서와 반대 근거를 볼 수 있는가, 검토에 필요한 시간이 업무 목표에 반영돼 있는가, AI와 다르게 판단해도 불이익이 없는가, 사람이 뒤집은 비율과 이의 제기 결과를 재고 있는가, 당사자에게 AI의 역할과 결정의 주요 요소를 설명할 수 있는가, 판정 기록이 재현 가능한 형태로 남는가. 미국 은행이라면 생성형·에이전트 AI가 현재 OCC 지침글 범위 밖이라는 점과 예고된 의견 요청을 함께 추적한다.

더 공부하려면 조문부터 읽는 것이 좋다. EU AI법 부속서 III글로 내 업무가 고위험 목록에 드는지 확인하고, 제14조글와 제86조글, GDPR 제22조글를 이어 읽으면 '감독'과 '설명'과 '이의 제기'가 어떻게 맞물리는지 보인다. 미국 쪽은 OCC 보도자료글 원문이 짧다. 사례는 STAT글와 ProPublica글 기사를 회사 반론과 함께 읽으며, 우리 조직의 검토 절차가 같은 비판을 받을 여지가 없는지 스스로 물어보길 권한다. 이로써 '판정하는 AI' 시리즈를 마친다.