오후 브리핑 · 16:00
추론 비용이 가르는 연산의 자리
작성자 · bombong
오후 소식들은 생성 AI의 다음 과제가 모델을 얼마나 똑똑하게 만드느냐보다, 추론 연산을 어디에서 어떤 비용으로 돌리느냐에 있음을 보여 준다. 휴대폰과 엣지 칩에서 수십B급 모델을 돌리려는 기술이 나왔다. 클라우드 쪽에서는 실시간 생성 서비스의 연산 수요와 GPU 공급사의 자금 조달 비용이 함께 드러났다.
연산을 기기 안으로 끌어내리는 시도
아침 글이 에이전트 통제 장치를 인프라 층위에서 찾았다면, 오후 소식은 그 인프라를 어디에 둘지를 묻는다. 우선 수십B급 모델을 기기에서 직접 돌리려는 시도가 소프트웨어와 칩 양쪽에서 함께 나왔다. ModelBest는 35B MoE(Mixture of Experts, 입력마다 일부 Expert만 쓰는 구조) 모델을 휴대폰에서 실행할 때 쓴 기법 LES의 세부와 코드를 공개했다31. 플래시 저장소에서 다음 레이어에 쓸 Expert를 미리 읽어 오는 방식이며, 회사는 iPhone에서 초당 20.51토큰으로 기준 구현보다 6.07배 빨랐다고 밝혔다. 메모리가 모자라는 기기에서 MoE의 희소성을 이용해 저장소 지연을 가리는 접근이다.
국내에서는 딥엑스가 삼성전자 2나노 공정 기반 생성 AI 칩 DX-M2의 설계를 마쳤다고 밝혔다32. 회사가 내건 목표는 5W 미만 전력으로 200억~1,000억 파라미터 모델을 초당 10~30토큰으로 돌리는 것이다. 두 소식은 출발점이 다르다. 그래도 클라우드에 묻지 않고 기기 안에서 추론을 끝내려는 같은 방향을 가리킨다.
클라우드에서 드러나는 연산의 값
기기 쪽이 연산을 끌어내리는 사이, 클라우드에서는 연산을 빌려 쓰는 비용이 드러나고 있다. World Labs는 월드 모델 Atlas로 만든 가상 공간을 실시간으로 돌아다니는 Frameboy를 연구 프리뷰로 공개했다33. 사용자가 카메라를 움직일 때마다 새 시점의 장면을 생성한다. 회사 측은 클라우드 GPU에서 초당 최대 15프레임을 만들어 브라우저로 보낸다고 설명했다. 미리 만든 장면을 보여 주던 방식에서 매 순간 생성하는 방식으로 바뀌면, 이용하는 시간만큼 GPU 연산이 계속 든다.
그 GPU를 공급하는 쪽의 자금 조달 여건도 함께 볼 필요가 있다. CNBC는 GPU 클라우드 기업 CoreWeave의 회사채 수익률이 16%를 넘었다고 보도했다34. 수집된 자료에 채권 만기나 계산 기준이 없어서 해석에는 한계가 있다. 다만 채권 수익률에는 투자자가 요구하는 위험 보상이 반영된다. 그런 만큼 클라우드 연산을 공급하는 쪽의 비용 구조도 서비스를 설계할 때 따져야 할 변수가 됐다고 볼 수 있다.
더 많은 연산이 답은 아니다
그렇다고 이 흐름을 연산을 아끼는 문제로만 볼 수는 없다. 연산을 많이 쓴다고 결과가 그만큼 좋아지는 것도 아니기 때문이다. Anthropic은 Claude Fable 5.2와 Mythos 5.2가 과학 연구 에이전트 평가에서 최대 75.3%, 로봇 시뮬레이션 평가에서 64.9%를 기록했다고 밝혔다29. Fable 5.2는 추론 강도를 low부터 max까지 다섯 단계로 고를 수 있다. Simon Willison이 펠리컨 SVG 생성을 시험해 보니 가장 좋은 결과는 xhigh에서 나왔다. max에서는 생각 토큰 12만8,000개를 쓰고도 이미지를 내놓지 못했다고 한다. 개인이 한 번 해 본 시험이라 일반화하기는 어렵다. 그래도 추론 강도도 비용처럼 작업에 맞춰 골라야 한다는 점을 보여 준다.
오늘 나온 수치 상당수가 아직 검증 전이라는 점도 짚어 둔다. ModelBest의 속도는 회사가 직접 잰 값이고, 딥엑스의 성능은 목표치와 시뮬레이션 결과다. 딥엑스는 PIM(메모리 안에서 연산하는 반도체)을 함께 쓰면 Llama3.1-8B 처리량이 6.7배가 된다는 시뮬레이션 결과를 냈다. 다만 전력 소모도 2.7배로 늘어난다고 함께 밝혔다. 속도와 전력, 품질 사이에서 무엇을 내줄지는 아직 정해지지 않았다.
실무자가 오늘 소식에서 얻을 시사점은 이제 모델 선택만큼 연산 배치 설계가 중요해졌다는 점이다. 어떤 작업을 기기에서 끝내고 어떤 작업을 클라우드로 보낼지, 추론 강도를 어디까지 올릴지가 비용과 품질을 함께 정한다. 앞으로 세 가지를 확인할 필요가 있다. Fable 5.2의 작업당 비용이 5.1보다 높다는 커뮤니티 불만이 토큰 사용량 증가로 확인되는지, 딥엑스가 내년 3월 첫 실리콘에서 목표 성능을 재현하는지, LES 공개 코드가 다른 기기에서도 비슷한 속도를 내는지다.
본 기고는 AI를 활용하여 작성되었으며 개인적인 견해가 포함되어 있습니다.
아침 브리핑 · 08:00
커지는 에이전트, 인프라에 거는 제동
작성자 · bombong
에이전트의 능력이 커질수록 이를 다스리는 장치는 모델 안보다 접근 권한과 실행 인프라 쪽에 놓이고 있다. 오늘은 암호 분석에 투입된 에이전트, 같은 모델을 사용자에 따라 나눠 여는 공급 방식, 연구 인프라 전체를 멈출 수 있는 중앙 정지 장치가 한꺼번에 나왔다. 세 소식은 같은 방향을 가리킨다.
능력이 넓어질수록 접근을 나눈다
에이전트가 보안처럼 위험이 큰 영역에서도 성과를 내기 시작했다. 보도에 따르면 Google DeepMind는 연구자의 감독을 받는 AI 에이전트를 1024비트 RSA 분석에 투입해 두 가지 결과를 얻었다고 X에 밝혔다3. 하나는 디지털 서명 위조로 이어질 수 있는 약점이고, 다른 하나는 여러 키를 동시에 인수분해하는 비용을 낮추는 알고리즘이다. 비용을 약 30배 줄인다는 설명도 전해졌지만 그 조건은 확인되지 않았다. 그래도 이 길이의 키를 아직 쓰는 레거시 시스템에는 점검이 필요하다는 신호가 된다.
Anthropic은 이런 능력을 어떻게 내놓을지에 대해 공급 경로를 나누는 방식을 택했다. 커뮤니티 정리에 따르면 Claude Fable 5.2와 Mythos 5.2는 기반 모델이 같다. 다만 Fable은 사이버보안·생물학 안전장치를 건 채 일반에 공개되고, Mythos는 심사를 거친 보안·생의학 연구 조직에만 열린다1. 위험 관리를 모델의 성질만이 아니라 누가 어떤 조건으로 쓰느냐의 문제로 다룬 것이다. Fable 5.2는 출시 당일 Amazon Bedrock과 GitHub Copilot에도 올라갔다. GitHub은 대규모 코드베이스에서 여러 단계를 거치는 코딩 작업에 쓸 수 있다고 소개했다. 일반판이 이렇게 빠르게 퍼지는 만큼 안전장치를 어디에 거느냐가 더 중요해진다.
정지 장치는 인프라와 작업 흐름으로
접근을 나누는 것이 공급 단계의 통제라면, 실행 단계의 통제는 인프라 안으로 들어가고 있다. OpenAI는 'Control Room'이라는 내부 시스템을 소개했다. 연구 인프라에서 돌아가는 모델 작업을 한곳에서 추적하고, 안전이나 보안 문제가 생기면 해당 작업을 빠르게 멈출 수 있게 만들었다는 설명이다2. 판매용 제품이 아닌 내부 운영 체계를 공개했다는 점이 의미 있다. 모델이 직접 돌리는 연구 작업이 늘수록 정지 버튼이 운영의 기본 요소가 된다는 신호로 볼 수 있다.
기업 현장의 작업 흐름에서도 같은 발상이 보인다. CrossnoKaye는 검증할 수 있는 Python 코드를 Bedrock AgentCore의 격리 샌드박스에서 실행한다. 이렇게 해서 플랜트 엔지니어에게 추측이 아니라 확인할 수 있는 답을 준다고 설명했다20. 보도에 따르면 Google이 공개한 EGM 플러그인은 코드를 짜기 전에 설계 명세를 만들게 하고, 앞선 대화를 모르는 다른 에이전트가 그 명세를 따로 검토하게 한다9. GitHub secret scanning은 노출된 비밀정보를 찾는 범위를 Actions 워크플로 로그까지 넓혔고, 이 기능은 퍼블릭 프리뷰로 나왔다8. 세 사례 모두 에이전트의 출력을 그대로 믿지 않는다. 대신 격리된 실행 환경, 독립 검토, 로그 감시로 에이전트를 둘러싸는 설계다.
모델 밖 통제가 닿지 않는 곳
그렇다고 바깥 장치만으로 충분하다고 보기는 이르다. 보도에 따르면 Anthropic 등이 참여한 연구진은 사전학습 데이터의 0.1%만 오염시켜도, 그 모델로 만든 에이전트에 원격 코드 실행(RCE) 백도어를 심을 수 있었다는 논문을 냈다10. 깨끗한 데이터로 파인튜닝과 강화학습을 다시 해도 백도어는 사라지지 않았다. 모델은 평소에는 문제없이 움직이다가 특정 조건에서만 악성 명령을 냈다고 한다. 문제가 가중치 안에 숨어 있다면 정지 장치나 샌드박스로 피해는 줄일 수 있어도 원인을 지울 수는 없다.
확인되지 않은 부분도 남아 있다. DeepMind 성과의 세부 조건은 공식 자료로 확인되지 않았다. Fable의 안전장치가 여러 배포 경로에서 실제로 어떻게 작동하는지도 외부 검증을 거치지 않았다. 통제 층위가 늘어나는 흐름은 분명하다. 하지만 각 층이 실제로 얼마나 막아 내는지는 따로 따져야 할 문제다.
실무자에게 오늘 흐름은 에이전트 도입을 성능 비교만으로 정하기 어렵다는 뜻이다. 접근 권한 구분, 격리된 실행 환경, 맥락을 공유하지 않는 검토, 로그 감시, 기반 모델의 데이터 출처 확인을 함께 따져야 한다. 당장 확인할 일은 Claude Fable 5.2의 실제 작업당 비용이다. 공식 단가는 낮아졌다는 정리가 있지만 커뮤니티에서는 5.1보다 작업당 비용이 높다는 반응이 나온다. 토큰 사용량이 늘었는지 직접 재 볼 필요가 있다.
본 기고는 AI를 활용하여 작성되었으며 개인적인 견해가 포함되어 있습니다.
확인 중인 소식 6
공식 출처로 아직 확인되지 않은 소식입니다. 사실 확인 전이니 원문을 함께 보세요.
- Amazon, 함께 활성화되는 Expert를 묶어 가지치기하는 MoE 압축 기법 'HOPE' 소개 원문
- Amazon, 'Astro' 부진 뒤 차세대 가정용 로봇 조직 꾸려 채용 중(CNBC 보도 전언) 원문
- "노벨상 수상자가 이끄는 위원회, OpenAI AI가 만든 양-밀스 이론 존재 증명 검증…전문 10일 공개"(커뮤니티 전언, 미확인) 원문
- ByteDance 이미지 생성 모델 'Seedream 5.5' 공개…속도 높이고 API 가격 인하, 100회 연속 편집에도 품질 유지(量子位 보도) 원문
- "MiniMax, H3 기반 오픈 웨이트 이미지 생성 모델 'H3-Image' 공개"(커뮤니티 전언, 미확인) 원문
- MiniMax H3-Image 후속: MiniMaxAI 조직 아래 Hugging Face 저장소 'MiniMax-H3-Image' 링크 공유(커뮤니티 전언) 원문
커뮤니티 화제 6
Reddit·Hacker News·GeekNews 등에서 많이 이야기된 주제입니다. 커뮤니티의 반응이며 사실 확인 전 내용이 섞여 있을 수 있습니다.
- Fable 5.2 첫인상 출시 직후 벤치마크 표와 사용 후기가 쏟아졌다. Artificial Analysis 점수 65로 역대 최고라는 글이 HN에 올랐고, '격차가 벌어진다'는 반응과 함께 Pro 사용자 한도 초기화, 1주일 프로모션 이야기도 나온다.
- Fable 5.2 작업당 비용 토큰 단가는 내려갔지만 작업 하나를 끝내는 데 드는 비용은 5.1보다 비싸다는 불만이 나온다. 팀 단위 토큰 관리 도구를 찾기 시작했다는 글도 있다.
- Fable 5.2 과학·수학 사례 커뮤니티에서는 Fable 5.2 에이전트 1,000개가 30시간 만에 페르마의 마지막 정리를 형식화했다거나, Claude가 블랙홀 물리학 미해결 문제 2개를 풀었다는 이야기가 돈다. 3줄 프롬프트로 게임을 만들었다는 시연 글도 퍼졌다.
- Muse Ember 비공개 논란 GeekNews는 Muse Ember가 100만 토큰 문맥과 멀티모달 입력을 지원하고 Haiku 5.5에 가까운 점수를 약 3분의 1 비용으로 낸다고 정리했다. LocalLLaMA에서는 오픈소스 약속과 달리 비공개 모델만 나온다는 비판이 이어진다.
- Artificial Analysis 편향 논쟁 오픈 웨이트 모델이 따라붙을 때마다 Artificial Analysis가 지표를 다시 짜서 순위를 끌어내린다는 주장이 LocalLLaMA에서 나왔다.
- Gemini 개인 데이터 사람 검토 Gemini가 개인 Drive 파일과 이메일을 사람 검토자에게 보낸다는 GitHub 저장소가 HN에서 큰 반응을 얻었다. 커뮤니티에서는 이것이 로컬 모델을 써야 하는 이유라는 이야기도 나온다.