2026년 11월 7일

GPU 다음 병목은 메모리

아침 글이 에이전트를 실제 업무에 들이는 조건을 다뤘다면, 오후 소식은 그 에이전트를 돌릴 인프라의 조건으로 눈을 옮긴다. 가장 직접적인 신호는 메모리다. The Information은 소식통 2명을 인용해, TSMC가 최대 고객 NVIDIA의 요청을 받고 차세대 3D D램 생산 계획을 짜기 시작했다고 보도했다³⁶. 보도에 따르면 AI 반도체 수요가 늘면서 메모리가 부족해지고 D램 가격이 크게 오른 것이 배경이다.

이 보도가 중요한 이유는 GPU 공급을 좌우하는 요소가 연산 칩에서 그 옆에 붙는 메모리로 옮겨 가고 있음을 보여 주기 때문이다. 메모리 제조사가 몇 곳에 몰려 있는 시장에 파운드리(위탁 생산 기업)가 들어온다면, GPU 공급망을 짜는 방식도 달라질 수 있다.

공급원을 넓히려는 움직임은 중국에서도 보인다. Moore Threads는 자사 MTT S5000 GPU와 MUSA 소프트웨어에서 Kimi K3.1 Pro를 출시 당일부터 서빙할 수 있다고 밝혔다⁴⁰. 앞서 Huawei Ascend와 Alibaba Cloud SuperPoD도 출시 당일 지원을 발표했다. 연산 자원을 한 공급자에만 기대지 않으려는 흐름이 지역마다 다른 모습으로 나타나고 있다.

칩 바깥의 벽, 부지와 여론

칩과 메모리를 구해도 그것을 놓을 땅과 전력, 지역의 동의가 있어야 한다. TechCrunch에 따르면 Crusoe는 차질을 빚던 와이오밍 데이터센터 프로젝트를 Google에 넘겼다³⁷. 대형 데이터센터 개발이 어려울수록, 그런 자산이 자금력이 큰 사업자에게 모이는 흐름이 생길 수 있다.

여론도 변수가 되고 있다. OpenAI CFO 사라 프라이어는 CNBC 인터뷰에서, 데이터센터 건설에 반대해 온 민주당이 중간선거에서 크게 이긴 뒤에도 인프라 확장 계획을 유지하겠다고 밝혔다³⁸. 프라이어는 컴퓨팅 자원을 확보하려면 지역사회와 관계를 계속 쌓겠다고 했다. AI 수요 때문에 투자가 불가피하다는 것이 OpenAI의 입장이다.

유럽에서는 16개국 시민단체 100여 곳이 데이터센터 건설 중단을 요구하며 공동 행동에 나섰다고 보도됐다³⁹. 6일에는 암스테르담 Microsoft 데이터센터 공사 현장에서 시위가 있었다. 반대 운동이 한 나라를 넘어 여러 나라로 번졌다는 점에서, 인허가 일정이 해외 증설 계획에 영향을 줄 여지가 커졌다.

확인되지 않은 것과 수요 쪽의 대응

다만 이 흐름을 단정하기에는 빈 곳이 있다. TSMC의 메모리 진출은 소식통을 인용한 보도일 뿐이다. 실제로 사업에 나설지, 일정과 규모가 어떤지는 알려지지 않았고 두 회사의 공식 확인도 없다. Crusoe 거래 역시 매각 금액과 차질의 원인이 나오지 않아, 이 사례 하나로 업계 전체의 상황을 가늠하기는 어렵다.

공급을 늘리는 것만이 해법은 아니라는 신호도 있다. 커뮤니티 요약에 따르면 DoorDash는 LLM에 내장된 웹 검색 대신 별도 검색 API 게이트웨이(여러 에이전트가 함께 쓰는 중계 계층)를 붙여, 정확도는 그대로 두고 검색 요금을 98% 넘게 줄였다고 밝혔다⁴⁵. 이 수치에 모델 추론 비용은 들어 있지 않다. 그래도 인프라 제약이 커질수록 같은 자원을 덜 쓰도록 구조를 바꾸는 일의 가치가 함께 커진다는 점을 보여 준다.

운영 규모의 에이전트가 요구하는 권한 설계

에이전트가 실제 업무를 맡으면서 가장 먼저 드러나는 과제는 권한이다. AWS는 Okta Cross App Access와 Bedrock AgentCore를 묶어 어떤 에이전트가 어떤 사용자를 대신할 수 있는지 관리하는 구현 가이드를 내놨다¹³. 기업 규모 구성에서는 AgentCore Gateway를 단일 진입점으로 두고, Cedar 정책으로 도구를 에이전트에 묶는다. 허용·거부 내역은 CloudWatch에서 추적한다. 바탕에는 앱별 OAuth나 서비스 계정만으로는 '사용자를 대신하는 행위'를 다루기 어렵다는 문제의식이 있다.

이런 장치가 왜 필요한지는 운영 사례에서 보인다. Greenlight Financial은 AgentCore 위에 계층형 멀티 에이전트 시스템 Luna를 만들어 보안·리스크 케이스를 처리한다. 회사는 월 최대 4,000건 가운데 90% 넘게를 사람 개입 없이 해결한다고 밝혔다¹⁴. Taxbit은 출처 표시, 역할·지역별 안전 장치, 운영 트래픽에서의 품질 측정을 한데 묶은 어시스턴트를 소개했다²⁰. 금융과 세무라는 규제 영역의 두 사례는 모두 성능보다 통제와 추적을 앞에 둔다. AWS는 Amazon Quick을 개발하며 같은 구성 요소가 이름만 바뀐 채 반복 구현됐다고 설명했다. 그래서 트리거·에이전트·역량·학습된 맥락이라는 분류로 정리했다²¹. 에이전트가 개별 기능에서 관리 대상 플랫폼으로 넘어가는 단계임을 보여 주는 대목이다.

측정과 판단도 별도의 층이 된다

권한이 '무엇을 하게 둘 것인가'의 문제라면, 다른 회사들은 '얼마나 잘했는가'를 따로 재기 시작했다. OpenAI는 습식 실험(wet-lab, 시약과 시료를 직접 다루는 실험) 업무를 에이전트가 얼마나 잘 처리하는지 재는 벤치마크 BioBasicsBench를 공개했다. 과제는 100개다¹. 지식 문답 대신 가공하지 않은 실험 데이터의 해석을 주로 본다는 점에서, 평가 단위가 실제 업무 쪽으로 옮겨 간 사례다. GitHub는 Copilot 사용량 API에 리뷰 의견이 얼마나 반영됐는지 보여 주는 항목을 더했다. 텔레메트리가 빠진 사용자를 표시하는 필드도 추가했다²³. 도입 여부보다 결과가 실제로 쓰였는지를 보겠다는 방향이다.

판단 단계에 전용 모델을 쓰는 움직임도 함께 나왔다. Ollama v0.40.15는 의사결정 모델 AutoTrust를 지원하기 시작했다. 이 모델은 질문을 받으면 선택지, 예/아니오 확률, 점수를 돌려준다¹⁵. Nace AI는 의사결정 모델 Drex 제품군의 기술 보고서를 공개했다. Drex는 디코딩 없이 한 번의 실행으로 선택지별 확률 분포를 낸다²⁴. 라우팅·평가 단계를 생성형 LLM에서 떼어 내면 판단 근거를 수치로 남기기 쉬워진다.

실행 환경에 맞춘 조정도 같은 맥락에 있다. Hugging Face는 Harness Adapters를 소개했다. 쓰려는 하네스와 작업에 맞춰 LoRA 어댑터를 학습하는 방식이다⁹. 같은 모델이라도 어떤 틀 안에서 돌리느냐에 따라 결과가 달라진다는 인식이 깔려 있다.

검증되지 않은 수치와 남은 공백

다만 이 흐름이 이미 자리 잡았다고 보기는 이르다. Greenlight의 자동 해결 비율은 회사가 밝힌 운영 수치다. BioBasicsBench도 발췌 기준으로는 모델별 점수와 데이터셋 공개 방식이 확인되지 않는다. Nace AI의 순위도 회사의 주장이다. 측정 장치가 늘어나는 것과 그 측정이 외부에서 검증되는 것은 별개의 문제다.

에이전트의 행동 범위를 정하는 기준도 아직 조정 중이다. 보도에 따르면 Anthropic은 게임 개발 요청을 지나치게 막는다는 지적을 받고 Claude Opus 5.5의 지침을 고쳤다. 기존 게임을 그대로 복제하는 일은 막고, 같은 장르의 새 게임을 만드는 작업은 허용하는 내용이다¹⁹. 거부 기준이 사용 경험을 거치며 다시 그어지고 있다. 침투 테스트 도구 Artex를 호스팅하는 서버 수백 대가 인터넷에 공개 노출된 사실을 보안 연구자들이 발견했다는 보도도 있었다¹⁶. Boson AI는 말하는 동안에도 백그라운드에서 도구를 호출하는 전이중 음성 모델 Higgs Realtime Duplex를 소개했다³. 다만 API는 대기자 명단 단계이고 성능은 외부에서 확인되지 않았다. 대화와 작업을 동시에 하는 에이전트가 늘면 권한과 기록을 설계하는 일은 더 복잡해질 수 있다.