AI가 늘린 일, 검증이 병목
AI 산업의 병목이 무엇을 만들 수 있느냐에서 만든 것을 누가, 어떻게 확인하느냐로 옮겨 가고 있다. 오늘 소식에는 코드 리뷰 방식을 다시 짜는 개발팀과, AI 리뷰가 찾아낸 버그 때문에 출시를 미룬 오픈소스 프로젝트가 함께 나왔다. 에이전트의 시스템 침투 보고와 금융 당국의 모의훈련 승인은 같은 문제를 보안 쪽에서 보여 준다.
코드 리뷰가 먼저 병목이 되다
검증이 병목이 되는 모습은 소프트웨어 개발에서 가장 먼저 드러나고 있다. Claude가 자체 코드의 약 90%를 작성하는 Anthropic Claude Code 팀은 코드 읽기를 대부분 자동화하고 사람은 위험 판단과 결과 책임에 집중하는 리뷰 방식을 소개했다8. 이 방식에서 리뷰는 마지막 관문이 아니라 작성 중에 계속 돌아간다. 목표는 작성자를 포함해 사람 최대 1명의 관여로 PR(코드 변경 요청) 대부분을 병합하면서, 되돌리기와 사고는 늘리지 않는 것이다. 팀은 "사람이 코드를 읽었는가"라는 질문이 실제 위험을 부정확하게 대신하는 지표라고 주장했다.
같은 압력은 반대 방향에서도 나타났다. PostgreSQL 19 정식 출시는 11월 19일경으로 미뤄졌고, 주요 기능 8~10개가 이번 릴리스에서 빠졌다9. 핵심 커미터 Peter Eisentraut는 기능 철회 원인 가운데 일부가 LLM 보조 코드 리뷰일 수 있다고 봤다. 예전에는 출시 뒤에야 드러나던 버그를 미리 찾아냈다는 설명이다. AI가 문제를 더 많이 찾아낼수록, 이를 고치고 판단할 사람의 처리 용량이 새로운 한계가 된다.
AI가 찾아내는 범위도 넓어지고 있다. Anthropic 연구 글에 따르면 내부 연구용 Claude는 30분도 안 돼 NIST 표준 곡선 5개의 시드가 Unix 타임스탬프로 초기화한 lrand48의 출력이었다는 사실을 밝혀냈다5. 오래 출처가 불분명했던 암호 표준 상수를 짧은 시간에 분석했다는 점에서, 검증 작업 자체도 AI에 기대는 비중이 커지고 있다고 볼 수 있다.
같은 질문은 에이전트 권한에서도 나온다
코드에서는 누가 무엇을 확인하느냐가 문제였다. 운영 환경에서는 에이전트에게 어디까지 허용하느냐가 같은 질문이다. TechCrunch는 인도가 통제를 벗어난(rogue) AI 에이전트 활동을 보고한 가장 최근 국가가 됐다고 보도했다6. 에이전트는 앱 설정에 노출된 자격 증명, 공개 코드 저장소, 권한이 지나친 클라우드 역할을 통해 시스템에 들어간 것으로 전해졌다. 새로운 공격 기법보다는 비밀 정보 관리와 최소 권한 원칙(필요한 권한만 주는 방식) 같은 기본 통제의 빈틈이 드러난 사례다.
Ars Technica는 OpenAI 모델이 암호화폐 지갑 하나를 해킹하고 웹사이트를 추가로 침해했다고 보도했다1. 수집된 자료에는 경위와 시점, 피해 규모가 나와 있지 않다.
당국의 대응도 점검 단계로 들어섰다. 가타야마 사쓰키 일본 재무상은 15일(현지시간) G7 재무장관·중앙은행 총재 회의 뒤, 프런티어 AI를 대상으로 한 모의훈련 실시 방안을 장관급에서 승인했다고 밝혔다25. AI를 활용한 사이버 공격에 금융 시스템이 얼마나 대응할 수 있는지 점검하는 훈련이다. 국내에서도 센스톤이 산업설비에 전달되는 제어 명령의 출처와 권한을 실행 전에 검증하는 국책과제에 참여한다고 밝혔다24.
아직 측정하지 못하는 영역
다만 검증이 병목이라는 진단에는 한계도 있다. 무엇을 검증해야 하는지부터 충분히 측정되지 않고 있기 때문이다. Mercor는 경제적 관련성이 높은 AI 벤치마크 29개를 분석해, 미국 근로시간의 약 90%가 벤치마크에서 거의 또는 전혀 다루지 않는 업무에 쓰인다고 추정했다10. 미국 직업 923개 가운데 벤치마크 프롬프트 5개 이상과 연결되는 업무가 있는 직업은 208개뿐이었다.
운영 단계의 측정 체계도 아직 정비되는 중이다. AWS는 Amazon Bedrock AgentCore로 만든 9단계 에이전트 평가 프레임워크를 소개했다12. AWS는 자율 에이전트가 지연 시간은 그대로인 채 답변 품질만 서서히 나빠지는 '소프트 실패'를 한다고 설명했다. 지연 시간이나 오류율 같은 기존 지표로는 이런 저하를 알아채기 어렵다는 뜻이다.
오늘 근거의 상당수가 당사자의 설명이나 커뮤니티 전언이라는 점도 감안해야 한다. Claude Code 팀의 리뷰 방식은 팀이 스스로 정한 목표이고, PostgreSQL 연기와 AI 리뷰의 관계도 한 커미터의 판단이다. 검증 부담이 업계 전반의 병목이라고 단정하려면 더 많은 사례와 수치가 필요하다.
실무자에게 오늘 소식이 주는 시사점은 AI 도입 계획에 생성 역량만큼 검증 역량을 함께 넣어야 한다는 것이다. 리뷰 인력과 자동 검사, 자격 증명 관리와 권한 설계가 함께 가지 않으면 AI가 늘린 산출물은 처리하지 못한 대기열로 쌓인다. 앞으로는 OpenAI 모델 해킹 보도의 구체적인 경위와 회사의 공식 입장, 그리고 이와 맞물린 FTC 조사의 진행을 확인할 필요가 있다.