테스트 타임 컴퓨트 Test-time compute
테스트 타임 컴퓨트는 AI 모델이 학습을 마친 뒤 실제로 질문에 답하는 단계(추론 시점)에서 더 많은 계산을 써서 답의 품질을 높이는 것을 말합니다.
어떻게 작동하나
기존에는 성능을 높이려면 주로 모델을 더 크게 만들고 더 오래 학습시켰습니다. 테스트 타임 컴퓨트는 그 대신 답을 만드는 순간에 계산을 더 씁니다. 대표적인 방법은 모델이 최종 답 전에 긴 생각 과정(CoT)을 거치게 하는 것입니다. 답을 여러 개 만들어 그중 가장 좋은 것을 고르거나, 스스로 검토하고 고치게 하는 방법도 있습니다.
왜 중요한가
모델 자체를 키우는 데는 막대한 비용이 들고 효과도 점점 줄어든다는 지적이 있습니다. 테스트 타임 컴퓨트는 같은 모델로도 생각할 시간을 더 주면 수학·코딩처럼 단계적인 사고가 필요한 문제에서 성능이 좋아질 수 있다는 점을 보여 주었습니다. 이 아이디어가 추론 모델의 핵심이며, '얼마나 오래 생각하게 할지'가 성능을 조절하는 새로운 손잡이가 되었습니다.
알아 둘 점
더 많이 생각할수록 응답이 느려지고 토큰 사용량이 늘어 비용이 올라갑니다. 간단한 질문에는 오래 생각해도 이득이 거의 없어서, 문제 난도에 따라 계산량을 조절하는 것이 중요합니다. 생각을 길게 한다고 항상 정답에 가까워지는 것도 아니어서, 잘못된 방향으로 길게 추론하다 틀리는 경우도 있습니다.
예시
여러 AI 서비스는 '빠른 응답'과 '깊게 생각하기' 같은 모드를 나눠 제공하거나, 사용자가 추론 강도를 고를 수 있게 합니다. 깊게 생각하는 모드를 고르면 모델이 답하기 전에 오래 생각하는데, 이때 늘어나는 계산이 바로 테스트 타임 컴퓨트입니다.