국방 AI: 활용 영역과 인간 통제 원칙

국방 AI는 무엇이고 왜 필요한가

영국 국방부 정책 문서글는 AI를 '범용 기술의 묶음'으로 정의한다. 원래 사람이나 생물의 지능이 필요한 일을 기계가 하게 해 주는 기술이고, 특히 데이터에서 그 방법을 배우는 기술을 가리킨다. 이 문서는 AI가 사람들이 예전에는 상상하기 어려웠던 양의 데이터를 다룰 수 있게 해 의사결정과 작전 수행을 개선할 것이라고 밝혔다. 그러면서도 AI는 그 자체가 목적이 아니라고 못 박았다. 분명한 이익이 있거나 더 윤리적인 결과로 이어질 때 개발하고 쓸 근거가 강하다는 입장이다.

NATO가 2024년 7월 10일 공개한 개정 AI 전략 요약글은 생성형 AI처럼 강력한 기술이 전례 없이 빠르게 퍼졌다고 진단한다. 그래서 쓸 수 있는 곳에는 가능한 한 빨리 써야 한다고 밝혔다. 동시에 적대 세력이 AI를 쓸 때 생기는 위협을 찾아내고 막는 일도 전략 목표에 넣었다. 국방 AI는 '우리가 쓰는 AI'와 '상대가 쓰는 AI' 두 방향을 함께 다뤄야 한다는 뜻이다.

국방이 다른 산업과 가장 다른 점은 판단 결과가 군인과 민간인의 생명에 바로 이어진다는 것이다. 영국 국방부글는 AI가 사람에게 미칠 영향에 대한 위험과 우려가 국방에서 특히 클 수 있다고 인정했다. 이를 다루지 않으면 국민의 동의를 잃고 작전 능력까지 약해질 수 있다고 경고했다. 그래서 국방 AI를 논할 때는 성능만큼 '누가 결정하고 누가 책임지는가'가 중요하다.

구성 요소: 활용 영역과 자율성 수준

국방 AI가 쓰이는 영역은 보통 네 가지로 나눈다. 첫째, 정보·감시·정찰(ISR) 분석은 영상, 신호, 보고서처럼 쌓이는 자료를 정리해 분석관이 먼저 봐야 할 후보를 추려 주는 일이다. 둘째, 정비·군수는 장비의 이상 징후를 찾는 이상 탐지나 부품 수요를 내다보는 시계열 예측처럼 비교적 위험이 낮은 지원 업무다. 셋째, 지휘 결심 지원은 상황을 요약하고 선택지와 근거를 보여 주는 일로, 최종 결정은 지휘관이 내린다. 넷째, 무인 체계는 위키백과 항목글이 설명하듯 무인 항공기(UAV), 무인 수중 체계(UUV), 무인 지상 차량(UGV) 같은 형태를 띤다. 이 글이 바탕으로 삼은 자료에는 영역별 성능 수치가 없다. 따라서 개별 효과는 각 사업의 시험 결과를 보고 판단해야 한다.

NATO글는 특정 작업만 하도록 만든 좁은 AI와, 여러 목적에 쓰이는 프런티어 모델·파운데이션 모델을 구분한다. 둘은 위험, 관련 주체, 복잡성 수준이 다르다는 것이다. 또 민간 시장의 이중 용도(민간·군사 겸용) 기술을 군사 환경에 적용할 때 생기는 기술·거버넌스 문제와, 사람과 기계가 한 팀으로 일할 때의 책임 문제도 주목할 쟁점으로 꼽았다.

자율성은 '있다/없다'로 나뉘지 않고 정도의 문제다. 영국 국방부글는 무기에 필요한 인간 관여가 실시간 감독일 수도 있고, 시스템의 운용 변수(언제·어디서·무엇을 대상으로 작동할지)를 사람이 정하는 방식일 수도 있다고 설명한다. 위키백과글가 인용한 영국 국방부 구분에 따르면, 자동화 시스템은 복잡한 과업은 하지만 복잡한 의사결정은 하지 못한다. 반면 자율 시스템은 사람의 감독 없이 행동 방침을 정할 수 있다. 위키백과글는 2025년 기준으로 대부분의 군용 드론과 로봇이 여전히 사람의 통제가 필요해 진정한 자율 체계는 아니라고 정리했다.

설계 원칙: NATO와 영국 국방부의 책임 있는 AI

NATO는 2021년 AI 전략에서 국방 분야 AI의 '책임 있는 사용 원칙(PRU)' 여섯 가지를 채택했다글. 합법성, 책임과 설명책임(Responsibility and Accountability), 설명 가능성과 추적 가능성, 신뢰성, 통제 가능성(Governability), 편향 완화다. 개정 전략은 원칙을 선언하는 데 그치지 않고 실제 절차로 옮기는 'PRU의 운영화'를 목표로 삼았다. 원칙을 지키는 AI 활용 사례를 늘리고, 양질의 데이터를 바탕으로 AI를 회원국 전력에 통합하는 측정 가능한 단계를 NATO 국방 기획 절차에 넣는 것도 기대 성과로 제시했다.

영국 국방부글는 '야심 있게, 안전하게, 책임 있게'라는 세 축을 내세운다. 핵심은 '시스템 관점'이다. 문제는 그 능력이 '무엇'을 하도록 설계됐는지보다 '어떻게' 하는지에 있을 수 있으므로, 설계·제조·운용·폐기에 이르는 수명주기 전체와 여러 체계가 얽힌 '시스템의 시스템' 전체에서 해법을 찾겠다는 것이다. 이 문서는 기술이 빠르게 바뀌는 만큼 초기에 임의의 제한을 미리 두기보다, 국방 전반의 절차로 안전하고 책임 있는 결과를 만들겠다고 밝혔다. 또 국내외 법적 의무를 항상 지키고, 기존 안전·규제 체계를 계속 적용하며, 윤리적 도입을 위한 명확한 틀과 절차를 두겠다고 했다. 이 글이 참고한 발췌에는 영국의 세부 원칙 목록이 들어 있지 않으므로, 세부 원칙은 원문에서 확인해야 한다.

두 기관의 표현은 다르지만 공통점이 분명하다. 법을 지킬 것, 결과에 책임지는 사람이 분명할 것, 무엇이 왜 일어났는지 추적할 수 있을 것, 믿을 만하게 작동할 것, 그리고 사람이 통제하고 멈출 수 있을 것이다. 실무에서는 이 원칙을 요구사항과 시험 항목으로 바꿔 적는 것이 출발점이 된다.

자율 무기 체계(LAWS)를 둘러싼 국제 논의

논의가 어려운 첫 번째 이유는 정의가 다르다는 점이다. 위키백과 항목글에 따르면 각국이 일반적으로 합의한 LAWS 정의는 없다. 미국 국방부 지침 3000.09는 '활성화된 뒤 사람 운용자의 추가 개입 없이 표적을 선택하고 교전할 수 있는 체계'로 정의하며, 운용자가 감독하고 개입할 수 있는 체계까지 포함한다. 프랑스는 정해진 사용 틀을 넘어 스스로 작동 규칙을 바꿀 수 있는 '완전 자율' 체계로 좁게 본다. 그래도 많은 국가와 단체는 '활성화되면 그 순간 사람의 입력 없이 표적을 선택하고 교전한다'는 점을 핵심 특징으로 공유한다. 같은 항목에 따르면 유엔 정부전문가그룹(GGE)은 2026년 9월 회의에서 LAWS의 특징을 규정하는 문구에 합의하며 진전을 보였다.

국제적십자위원회의 2021년 입장문(ICRC, w3)은 자율 무기의 작동 방식을 이렇게 설명한다. 사람이 처음 활성화한 뒤에는 체계가 센서 정보와 일반화된 '표적 프로필'에 따라 스스로 공격을 시작한다. 그래서 사용자는 구체적인 표적과 정확한 시점·장소를 고르지도 않고, 알지도 못한다. ICRC는 이것이 민간인과 전투원 모두에게 해를 끼치고 분쟁을 키울 위험이 있다고 본다. 또 국제인도법 준수를 어렵게 하고, 생사에 관한 사람의 결정을 센서와 소프트웨어로 대체한다는 윤리적 문제가 있다고 지적한다. 이에 따라 ICRC는 법적 구속력이 있는 새 규칙을 권고했다. 효과를 충분히 이해·예측·설명할 수 없는 자율 무기와 사람을 겨냥하는 자율 무기는 금지하자는 것이다. 나머지는 표적 유형, 사용 기간·지역·규모, 사용 상황(민간인이 없는 곳 등), 사람과 기계의 상호작용(효과적인 감독과 제때의 개입·정지) 요건으로 규제하자고 했다.

영국 국방부글는 무기 체계에 AI를 넣는 것을 배제하지는 않는다. 다만 일부 개념은 안전하고 책임 있게 구현하는 것이 불가능할 수 있다고 인정한다. 또 표적을 식별·선택·공격하는 무기에는 '맥락에 맞는 인간 관여'가 반드시 있어야 한다고 밝혔다. 흔히 '의미 있는 인간 통제'라고 부르는 논의는 결국 이 지점, 곧 사람이 무엇을 언제 어디까지 알고 결정하느냐를 다룬다. 한편 위키백과글는 날아오는 위협에 빠르게 대응해야 하는 일부 방어 체계에서는 그 속도 때문에 사람을 결정 고리 안에 두기 어려웠다고 적고 있다. 통제의 형태가 상황마다 달라질 수 있다는 점도 함께 봐야 한다.

단계별 적용 방법: 시험·평가와 도입 절차

첫째, 목적부터 정한다. 영국 국방부글의 말대로 AI는 그 자체가 목적이 아니다. 어떤 업무의 어떤 병목을 줄이는지, AI 없이 하는 방식보다 분명히 나은지를 먼저 적는다. 둘째, 안전·법·윤리 위험을 초기에 찾는다. 영국 국방부글는 개발팀이 이런 위험을 일찍 찾아 해결하도록 돕는 틀을 제공하겠다고 밝혔다. 활용 영역(정비 지원인지, 표적과 관련된 기능인지)에 따라 위험 등급과 검토 강도를 다르게 잡는 것이 현실적이다.

셋째, 데이터를 관리한다. NATO글는 양질의 데이터를 AI 통합의 전제로 보면서, 모델 학습에 쓸 양질의 공개 데이터가 세계적으로 줄어들 수 있다는 점을 쟁점으로 꼽았다. 데이터 출처와 데이터 리니지를 기록하고, 데이터 포이즈닝 같은 조작 가능성도 점검한다. 넷째, 엄격하게 시험하고 평가한다. 영국 국방부글는 문제를 설계 단계에서 없애는(design out) 방법을 쓰고 AI 기반 해법을 엄격히 시험하겠다고 밝혔다. 실험실 성능과 실제 환경의 차이, 적대적 예제처럼 상대가 의도적으로 속이려는 상황, 레드팀 공격을 시험 항목에 넣는다.

다섯째, 인간 통제를 설계한다. ICRC글가 제시한 요건처럼 효과적인 감독과 제때의 개입·정지가 실제로 가능한지 확인한다. 화면에 근거가 보이는지, 정지 장치가 작동하는지, 누가 승인하는지를 문서로 정한다. 여섯째, 배치한 뒤에도 감시한다. NATO글는 AI 기술을 보호하고 감시하며 관련 위험을 관리하는 것을 목표로 삼았다. 데이터 드리프트로 성능이 떨어지지 않는지 계속 재평가한다.

민간 분야의 일반 틀도 참고가 된다. 미국 NIST 페이지글에 따르면 NIST AI 위험 관리 프레임워크(AI RMF)는 2023년 1월 26일에 나왔다. 자발적으로 쓰도록 만든 틀이며, AI의 설계·개발·사용·평가 전반에 신뢰성 고려를 넣는 것을 돕는다. NIST는 2024년 7월 26일 생성형 AI 프로필을, 2026년 4월 7일 핵심 기반시설용 프로필 개념 노트를 냈다. AI RMF 1.0은 현재 개정 중이다. 이 페이지는 국방을 따로 다루지 않으므로, 국방 고유의 법·교전 규칙 검토를 대신하는 문서가 아니라 위험 관리 절차를 짤 때 참고하는 틀로 쓰는 것이 맞다.

점검 목록

도입 전에는 목적과 책임을 확인한다. 이 시스템이 분명한 이익을 주는지, 결과에 대해 누가 책임지는지가 문서로 정해져 있어야 한다. NATO의 여섯 원칙글을 요구사항으로 옮겨 적었는지, 국내외 법적 의무 검토글를 거쳤는지도 본다.

기술 측면에서는 학습·평가 데이터의 출처와 품질을 추적할 수 있는지 확인한다. 실제와 비슷한 조건과 적대적 조건에서 시험했는지, 왜 그런 결과가 나왔는지 설명하고 기록을 추적할 수 있는지도 점검한다.

통제 측면에서는 사람이 운용 범위(대상·시간·지역)를 정하는지, 실시간 감독과 개입·정지가 가능한지글글 확인한다. 운용자가 AI의 제안을 비판적으로 검토할 시간과 정보를 갖고 있는지도 중요하다. 운용 뒤에는 성능 변화 감시, 사고 보고, 재평가 절차가 있는지 본다.

흔한 실수와 한계

가장 흔한 실수는 자율성을 능력과 같은 것으로 보는 것이다. 영국 국방부글는 '더 자율적'이라고 반드시 '더 유능한' 것은 아니며, 사람과 기계가 함께 일하는 Human-Machine Teaming이 전체 효과, 자원 활용, 현실성 면에서 가장 나은 결과를 낸다고 밝혔다. 두 번째 실수는 시험 환경 성능을 실전 성능처럼 부풀리는 것이다. 전장은 학습 데이터와 다르고, 상대가 의도적으로 속이려 든다. 세 번째는 사람이 형식적으로만 승인하는 경우다. 기계의 제안을 그대로 승인하는 습관이 생기면 서류상으로는 사람이 결정했어도 실제 통제는 약해진다.

구조적인 한계도 있다. 위키백과글가 보여 주듯 '자율'과 'LAWS'의 정의가 나라마다 달라, 같은 단어로 서로 다른 것을 논하는 일이 생긴다. ICRC글가 지적하듯 표적 프로필에 따라 스스로 공격하는 체계에서는 사용자가 구체적인 표적과 시점을 모른다. 그만큼 책임 소재가 흐려질 위험이 있다. NATO글가 꼽은 대로 민간 이중 용도 기술을 군에 쓸 때의 거버넌스 문제, 연산 집약적 AI의 에너지 소비, 양질의 공개 데이터 감소도 풀리지 않은 과제다.

끝으로 정보의 한계가 있다. 국방 AI는 많은 부분이 공개되지 않아, 외부에서 실제 성능과 통제 수준을 검증하기 어렵다. 이 글도 공개된 정책 문서와 입장문에 근거하므로, 특정 체계의 실제 운용 방식을 판단하는 근거로 쓰기에는 부족하다.

더 공부하려면

먼저 영국 국방부의 '야심 있게, 안전하게, 책임 있게' 정책 문서글를 읽으면 국방 조직이 AI 도입과 안전을 어떻게 함께 다루려 하는지 큰 틀을 잡을 수 있다. 이어서 NATO 개정 AI 전략 요약글으로 동맹 차원의 원칙과 목표를 확인한다.

자율 무기 논의는 ICRC 입장문글이 쟁점과 규제 제안을 가장 압축해서 보여 준다. 나라별 정의 차이와 최근 유엔 논의 흐름은 위키백과 LAWS 항목글으로 훑어보되, 2차 자료이므로 인용된 원문(미국 국방부 지침, GGE 보고서)을 따로 확인하는 것이 좋다.

위험 관리 절차를 실제로 설계해야 한다면 NIST AI RMF 페이지글에서 프레임워크 본문과 플레이북, 생성형 AI 프로필로 넘어가면 된다. 함께 보면 좋은 용어는 휴먼 인 더 루프, AI 위험 관리, 레드팀, 적대적 예제다.