AI 용어집 · 심화 · 안전·정렬 · MLOps·LLMOps · 금융·보험
모델 리스크 관리 Model Risk Management, MRM
모델 리스크 관리는 금융회사가 쓰는 신용평가·가격 산정·AI 모델이 틀리거나 잘못 쓰여 생기는 손실을 막기 위해, 모델의 개발·검증·승인·모니터링·폐기 전 과정을 관리하는 체계다.
용어 정보
어떻게 작동하나
먼저 회사 안의 모든 모델을 목록(모델 인벤토리)으로 관리하고, 영향이 큰 정도에 따라 등급을 매긴다. 새 모델은 개발 팀과 독립된 검증 팀이 데이터, 가정, 성능, 한계를 따져 본 뒤에야 승인된다. 배포 뒤에는 성능이 떨어지거나 입력 데이터의 성격이 바뀌는 데이터 드리프트가 없는지 모니터링하고, 정기적으로 다시 검증한다. 더 이상 맞지 않는 모델은 고치거나 폐기한다. 흔히 개발·사용 부서, 독립 검증·리스크 관리 부서, 내부 감사가 각자 역할을 나누는 '3선 방어' 구조로 운영한다.
모델 생애 주기 관리
모델 인벤토리·등급 관리
- 1개발
- 2독립 검증
- 3승인·배포
- 4모니터링
- 5재검증·수정·폐기
- 1. 개발 데이터·가정 정리
- 2. 독립 검증 개발과 다른 팀이 점검
- 4. 모니터링 성능 저하·데이터 드리프트
왜 중요한가
금융회사는 대출 승인, 보험료 산정, 파생상품 가격 계산, 자본 규제 계산까지 모델에 크게 의지한다. 모델이 잘못된 가정 위에 서 있거나 원래 목적과 다른 곳에 쓰이면 큰 손실이나 불공정한 결정으로 이어질 수 있다. 그래서 금융 감독 당국은 모델 리스크 관리를 금융회사의 기본 의무로 보며, 미국 감독 당국의 SR 11-7 지침이 대표 기준으로 자주 인용된다. AI와 머신러닝 모델이 늘면서 관리 대상과 범위도 넓어지고 있다.
알아 둘 점
기존 체계는 통계 모델을 전제로 만들어져 LLM 같은 생성형 AI에 그대로 적용하기 어렵다. LLM은 같은 질문에도 답이 달라질 수 있고, 판단 근거를 설명하기 어려우며, 외부 업체 모델이라 학습 데이터와 내부 구조를 직접 확인하기 힘든 경우가 많다. 그래서 프롬프트와 검색 문서까지 검증 범위에 넣고, 환각·편향 점검과 Evals, 사람 검토를 함께 쓰는 방식이 논의되고 있다. 규제 대응을 위해 모델이 어떤 데이터로 어떤 결정을 내렸는지 기록을 남기는 일도 중요하다.
LLM을 관리할 때 더 볼 것
모델 특성
- 같은 질문에 답이 달라지지 않는가
- 판단 근거를 설명할 수 있는가
- 외부 업체 모델의 정보를 확보했는가
검증 범위
- 프롬프트·검색 문서도 검증했는가
- 환각·편향을 점검했는가
- Evals와 사람 검토를 두었는가
- 결정 기록을 남기는가
예시
한 은행이 새 신용평가 모델을 도입한다고 하자. 개발 팀이 모델을 만들면 독립 검증 팀이 학습 데이터에 편향은 없는지, 경기 침체 같은 상황에서도 버티는지 시험하고, 위원회 승인을 받은 뒤 배포한다. 배포 뒤에는 연체율 예측이 실제와 벌어지는지 모니터링하고, 차이가 커지면 재검증에 들어간다. 같은 은행이 고객 상담용 LLM 챗봇을 도입할 때도 이 체계 안에서 답변 품질과 위험을 점검한다.