2026년 11월 2일

수치로 드러난 추론의 비중

아침 글이 현장 수용에 드는 비용을 짚었다면, 오후 소식은 그 비용이 쌓이는 곳이 추론이라는 점을 보여 준다. 중국 공업정보화부 산하 CCID는 10월 31일 보고서에서 중국 AI 시스템이 추론 중에 만든 데이터가 학습에 쓴 데이터를 처음 넘어섰다고 밝혔다. SCMP와 Pandaily가 이를 보도했다¹¹. Pandaily는 6월 기준 중국의 하루 토큰 호출량이 175조 개를 넘었고, 2024년 초보다 1,000배 이상 늘었다고 덧붙였다. 정부 기관이 사용량을 성과 지표로 내세웠다는 점에서, 개발보다 활용에 힘을 싣는 방향을 읽을 수 있다.

Meituan의 'LongCat-2.5'는 같은 흐름을 모델 설계에서 보여 준다¹⁰. Pandaily 보도에 따르면 이 모델은 총 파라미터가 1.6T이지만 토큰마다 약 48B만 활성화하며, 처음부터 멀티모달로 설계됐다. Meituan 측은 오래 걸리는 에이전틱 코딩 작업에 맞춰 긴 작업 단위로 강화학습을 했다고 설명했다. 또 중국산 칩에서 W4A4(가중치와 활성값을 모두 4비트로 줄이는 방식)로 추론하도록 최적화했다고 밝혔다. 모델은 크게 만들되 돌리는 비용은 낮추려는 설계로 볼 수 있다. 사용량이 이만큼 커진 환경이라면 자연스러운 선택이기도 하다.

운영의 과제는 조정과 확인으로 번진다

추론이 늘어나면 비용 말고도 풀어야 할 문제가 생긴다. 여러 모델을 어떻게 맞물려 움직이게 할지, 그 결과를 어떻게 확인할지다. Y Combinator와 Olam Labs 연구진이 10월 29일 공개한 실험은 앞의 문제를 드러낸다¹³. AI타임스 보도에 따르면 연구진은 최신 모델 50개에 함께 문명을 세우라는 과제를 줬다. 에이전트들은 메시지 5,900개를 주고받으며 규칙을 정하고 역할을 나누는 데 매달렸고, 끝내 목표에 이르지 못했다. 성능 좋은 에이전트를 많이 붙여도 결정 구조가 없으면 통신 비용만 커진다는 사례다. Meituan이 겨냥한 장기 에이전트 작업에도 같은 숙제가 따른다.

결과를 확인하는 쪽에서는 Google의 움직임이 보인다. InfoQ China 기사 제목에 따르면 Google은 AI 생성물의 워터마크를 찾아내는 'SynthID Detector'의 확인 절차를 줄이고, 다른 AI 제공사의 콘텐츠까지 지원 범위를 넓힌다¹². 생성물은 한 회사의 서비스 밖으로 퍼져 나간다. 출처 확인 도구도 그만큼 개별 모델을 넘어 업계 공통 수단으로 넓어지려는 것으로 볼 수 있다.

아직 확인되지 않은 빈칸

다만 오늘 소식만으로 흐름을 단정하기에는 빈칸이 많다. CCID 수치는 집계 방식이 보도에 자세히 나오지 않는다. 그래서 추론 데이터와 학습 데이터를 어떤 기준으로 견줬는지 알 수 없다. LongCat-2.5도 가중치 공개 여부와 이용 경로, 벤치마크가 수집된 발췌에 없다. 실제 추론 효율은 공식 자료로 따져 봐야 한다.

나머지 소식도 적용 범위가 제한적이다. Olam Labs 실험은 Minecraft 같은 게임 환경에서 이뤄졌기 때문에 업무 현장에 그대로 옮기기 어렵다. SynthID Detector는 기사 본문이 수집되지 않아 어느 기업이 대상인지, 언제부터 적용되는지 확인되지 않았다. 소식들이 가리키는 방향은 같지만, 각 변화의 크기는 후속 발표를 보고 판단해야 한다.

도입 뒤에 남는 검증 비용

AI 활용이 늘어난 만큼 일이 줄지는 않았다는 조사가 나왔다. 호주 빅토리아주 법률서비스위원회 및 감독기관(VLSB+C)이 변호사 2,221명을 조사한 결과, 변호사의 AI 활용률은 1년 만에 55%로 올랐다⁴. 그러나 업무 부담과 고객의 법률 비용이 줄어드는 효과는 기대에 못 미쳤다. 오히려 고객이 AI로 만든 부정확한 정보와 문서를 변호사가 확인하고 고치는 일이 새로 생겼다.

이 결과가 중요한 까닭은 검증 비용이 사라지지 않고 자리만 옮긴다는 점을 보여 주기 때문이다. 고객이 AI로 아낀 시간은 전문가의 검토 시간으로 넘어간다. 도입률이라는 숫자만으로는 생산성 효과를 판단하기 어렵다는 뜻이다.

Google의 움직임은 이 비용을 공급자 쪽에서 줄이려는 시도로 볼 수 있다. Google은 AI 학습 도구 Gemini Notebook에서 OpenStax, Open Textbook Library, S Chand Publishing 등이 펴낸 교재 수백 권을 미국과 인도 사용자에게 무료로 제공한다고 X를 통해 밝혔다². 사용자가 출처가 불분명한 자료를 직접 올리는 대신 출판사 교재를 바탕으로 공부하게 하는 방식이다. 답의 근거를 처음부터 믿을 만한 자료로 묶어 두면 사용자가 따로 확인해야 할 부담도 줄어든다.

같은 비용은 인프라와 조직에서도 드러난다

검증과 수용의 문제는 결과물에만 있지 않다. 인프라를 짓는 지역과 AI를 들이는 조직 안에서도 비슷한 비용이 나타난다.

TechCrunch는 OpenAI가 자사 데이터센터를 'AI compute campuses'라는 이름으로 바꿔 부를 수 있다고 보도했다¹. 데이터센터를 향한 지역 여론이 좋지 않은 가운데 나온 움직임이다. 커뮤니티에 공유된 Axios 보도 전언에 따르면 이 방안은 중간선거 이후 홍보 캠페인의 일부이며, 주민이 프로젝트와 그 혜택에 더 많이 관여하게 하는 내용도 담겼다. AI 인프라 확장에서 전력·물 사용과 지역 수용성이 기술만큼 중요한 과제가 됐음을 보여 준다.

국내에서는 SK텔레콤이 조직 단위로 업무 프로세스를 AI 중심으로 다시 설계하는 'AX 혁신 2.0'을 추진한다고 밝혔다⁵. 에이전트를 직접 만든 임직원은 4,000명이 넘고, 약 1,500개가 실무에 쓰인다. 회사는 확산 과정에서 드러난 데이터 접근·보안·시스템 연계 문제를 함께 풀겠다고 했다. 에이전트를 만드는 일보다 조직의 데이터와 시스템에 안전하게 연결하는 일이 다음 과제가 됐다는 뜻이다.

아직 고르지 않은 근거

다만 이 흐름을 단정하기에는 근거가 아직 고르지 않다. OpenAI의 명칭 변경은 보도와 전언에 기댄 내용이고, 회사의 공식 발표는 자료에 없다. 실제로 이름이 바뀔지, 주민 참여 방안이 어떤 형태일지는 아직 알 수 없다.

빅토리아주 조사도 한 지역, 한 직종의 결과다. 검증 부담이 도입 초기의 적응 비용인지, 오래 남는 구조인지는 후속 조사로 확인해야 한다. Google의 교재 제공 역시 미국과 인도에 한정되며, 학습 효과나 오류 감소 효과를 보여 주는 자료는 아직 없다. 검증된 자료를 기본으로 넣는 방식이 확인 부담을 실제로 얼마나 덜어 주는지는 더 지켜봐야 한다.