AI 위험 관리 AI Risk Management, NIST AI RMF
AI 위험 관리는 AI 시스템이 만들 수 있는 피해(차별, 오작동, 개인정보 침해, 보안 사고 등)를 미리 찾아 평가하고 줄이도록 조직 차원에서 관리하는 활동이다. 미국 NIST가 낸 AI RMF가 대표적인 참고 틀이다.
어떻게 작동하나
NIST AI RMF는 위험 관리를 네 가지 기능으로 나눈다. 먼저 거버넌스(Govern)로 책임자와 원칙, 절차를 정해 조직 문화의 바탕을 만든다. 매핑(Map)에서는 AI가 어디에 쓰이고 누구에게 어떤 영향을 줄 수 있는지 맥락을 파악한다. 측정(Measure)에서는 정확도, 편향, 보안 같은 위험을 시험하고 지표로 확인하며, 관리(Manage)에서는 우선순위를 정해 위험을 줄이거나 받아들이거나 사용을 멈추는 결정을 내린다. 이 과정은 한 번으로 끝나지 않고 AI의 개발부터 운영까지 계속 반복된다.
NIST AI RMF의 네 기능
거버넌스(Govern)
- 1매핑(Map)
- 2측정(Measure)
- 3관리(Manage)
- 1. 매핑(Map) 쓰임새와 영향 파악
- 2. 측정(Measure) 위험을 시험·지표화
- 3. 관리(Manage) 줄이기·감수·중단 결정
왜 중요한가
AI는 채용, 대출 심사, 의료, 고객 상담처럼 사람에게 직접 영향을 주는 곳에 빠르게 들어가고 있다. 잘못된 판단이나 환각, 데이터 유출이 생기면 피해가 크고 회사의 신뢰도 흔들린다. EU AI법처럼 위험 수준에 따라 의무를 지우는 규제가 생기면서, 위험을 어떻게 관리했는지 기록하고 설명할 수 있는 체계가 중요해졌다. AI RMF 같은 틀은 강제 규정이 아니어도 조직이 무엇부터 점검할지 정하는 공통 언어 역할을 한다.
알아 둘 점
위험 관리는 기술팀만의 일이 아니라 법무, 보안, 현업 부서가 함께 해야 효과가 있다. 모든 위험을 없앨 수는 없으므로, 어느 정도까지 감수할지 기준을 정하는 것이 핵심이다. 레드팀, Evals, 휴먼 인 더 루프 같은 실무 기법이 이 틀 안에서 '측정'과 '관리' 수단으로 쓰인다. 문서만 갖추고 실제 운영을 감시하지 않으면 형식적인 절차로 끝나기 쉽다.
예시
기업이 사내 상담 챗봇을 도입할 때, 먼저 어떤 질문을 받고 어떤 데이터에 접근하는지 정리하고(매핑), 출시 전에 레드팀으로 엉뚱한 답이나 개인정보 노출을 시험하며(측정), 위험한 질문에는 가드레일을 걸고 사람에게 넘기도록 설계하는(관리) 식으로 이 틀을 따른다. 이 모든 과정의 책임자와 승인 절차를 정해 두는 것이 거버넌스다.