AI 용어집 · 기초 · 데이터·평가 · 에이전트 · 언어 모델
METR time horizon METR 타임 호라이즌
METR 타임 호라이즌은 AI 평가 비영리단체 METR가 만든 지표다. 사람이 하면 시간이 얼마나 걸리는 과제까지 AI 모델이 해낼 수 있는지를 '시간 길이'로 나타낸다.
무엇인가
보통 벤치마크는 정답률 같은 점수로 모델을 비교한다. 타임 호라이즌은 점수 대신 '과제의 길이'로 실력을 나타낸다. 여기서 길이는 같은 과제를 사람이 끝내는 데 걸린 시간이다. 모델이 어느 정도 길이의 과제까지 해내는지를 보면 'AI가 얼마나 긴 일을 혼자 처리할 수 있나'를 직관적으로 비교할 수 있다. 이 지표를 시간 순서로 그린 그래프는 널리 공유됐지만, 측정 방식이 복잡해서 잘못 읽히는 일도 많았다.
어떻게 작동하나
먼저 사람 테스터가 여러 과제를 직접 풀고, 각 과제를 끝내는 데 걸린 시간으로 난이도를 매긴다. 그다음 AI 모델에게 같은 과제들을 시킨다. 마지막으로 모델이 해낼 수 있는 과제의 길이로 모델의 등급을 매긴다. 연구 자료에서는 이 값을 'METR 50% 과제 호라이즌'이라고 부른다. 모델이 대략 절반 정도 성공하는 과제 길이를 기준으로 삼는다는 뜻이다. 그래서 '두 시간짜리 호라이즌'이라고 해도 두 시간짜리 일을 늘 해낸다는 뜻은 아니다.
타임 호라이즌을 재는 순서
- 1사람이 과제 풀기과제마다 걸린 시간 기록
- 2난이도 매기기걸린 시간 = 과제 길이
- 3모델에게 같은 과제성공·실패 기록
- 4호라이즌 정하기50% 정도 성공하는 길이
왜 주목받나
MIT Technology Review는 처음 나온 그래프에서 최전선 모델이 해내는 과제 길이가 약 4개월마다 두 배로 늘었다고 전했다. AI 발전 속도를 한눈에 보여 주는 그래프여서 미래 예측에 자주 인용됐다. 2026년 11월에 나온 업데이트는 사람에게 훨씬 오래 걸리는 과제와 정답이 딱 떨어지지 않는 열린 과제를 더했다. 보도에 따르면 일부 능력은 여전히 지수적으로 빠르게 좋아지고 있지만, 판단이 필요한 과제는 코딩만큼 잘하지 못하는 것으로 나타났다. AI가 연구개발을 스스로 해낼 수 있을지와도 맞닿은 문제여서 관심이 크다.
알아 둘 점(한계)
AI는 코딩이나 수학처럼 성공과 실패를 자동으로 확인할 수 있는 '검증 가능한' 과제에서 특히 빨리 좋아졌다. 이런 과제는 강화학습으로 반복해 훈련시키기 쉽기 때문이다. 하지만 새 연구 방향을 고르는 일처럼 성공 기준이 흐릿한 과제에서도 같은 속도로 좋아지는지는 아직 큰 질문으로 남아 있다. 2026년 8월에 나온 한 arXiv 논문은 측정 기록 자체의 한계를 짚었다. 오픈웨이트 모델은 METR 호라이즌이 측정된 사례가 없었고, 지표 버전(1.0과 1.1)이 바뀌면 추세선을 그대로 이어 붙이기 어렵다는 것이다. 그래서 이 그래프 하나로 'AI가 언제 무엇을 할 것'이라고 날짜를 못 박는 예측은 조심해서 봐야 한다.
검증 가능한 과제 vs 판단 과제
검증 가능한 과제코딩·수학
- 성공 여부를 자동으로 확인
- 강화학습으로 훈련하기 쉬움
- AI가 특히 빨리 좋아짐
판단이 필요한 과제연구 방향 고르기 등
- 성공 기준이 흐릿함
- 훈련도 평가도 어려움
- 코딩만큼 잘하지 못함
공통 둘 다 업데이트된 METR 과제 묶음에 들어 있다
예시
새 모델이 나오면 'METR 타임 호라이즌이 몇 시간으로 늘었다'는 소식이 함께 돌곤 한다. 이를 읽을 때는 세 가지를 확인하면 좋다. 측정에 쓴 과제가 주로 코딩처럼 검증 가능한 과제인지, 절반 정도 성공하는 기준(50%)인지, 어느 버전의 과제 묶음으로 쟀는지다. 2026년 11월 업데이트처럼 판단이 필요한 열린 과제를 넣으면 같은 모델이라도 더 낮게 보일 수 있다. 그래서 회사가 AI 에이전트에게 긴 업무를 맡길지 정할 때도 이 숫자만 보지 말고, 자기 업무와 비슷한 과제로 직접 시험해 보는 편이 안전하다.