AI 용어집 · 기초 · 효율·인프라
FLOPS 부동소수점 연산 횟수
FLOPS는 컴퓨터가 1초에 할 수 있는 부동소수점(소수점이 있는 수) 연산 횟수로, AI 칩의 계산 속도를 나타내는 대표 단위다.
어떻게 작동하나
AI 모델의 계산은 대부분 곱셈과 덧셈이고, 이를 하나씩 센 것이 연산 횟수다. 칩 사양에서는 1초에 몇 번 하느냐를 FLOPS로 쓰고, 숫자가 커서 TFLOPS(1조 단위)나 PFLOPS(1000조 단위)를 붙인다. 정밀도에 따라 값이 크게 달라서, 사양서에는 FP32·BF16·FP8마다 다른 숫자가 적힌다. 낮은 정밀도일수록 같은 칩이 더 많은 연산을 처리한다.
FLOPS와 FLOPs 구분
끝의 S가 대문자면 '초당 연산 횟수(속도)', 소문자 s면 '연산 횟수의 합(총량)'으로 구분해 쓰는 경우가 많다. 논문에서 '학습에 쓴 컴퓨트가 몇 FLOPs'라고 하면 총량을 말한다. 감을 잡는 흔한 어림셈은 '학습 연산 총량 ≈ 파라미터 수 × 학습 토큰 수 × 6 정도'다. 이 총량을 칩의 실제 초당 처리량으로 나누면 학습에 걸리는 대략의 시간이 나온다.
FLOPS 대 FLOPs
FLOPS초당 연산 횟수
- 칩의 속도
- GPU 사양서에 표기
- 정밀도마다 값이 다름
FLOPs연산 횟수의 합
- 작업에 드는 계산량
- 학습 컴퓨트를 말할 때
- 파라미터 수와 토큰 수로 어림
어디서 보게 되나
GPU·TPU 사양서의 성능 표, 클라우드 인스턴스 설명, 스케일링 법칙을 다룬 논문과 기사에서 주로 본다. AI 규제 논의에서 학습 연산 총량을 기준선으로 쓰는 경우도 있다. 모델 비교 글에서 '추론 한 번에 드는 연산'을 말할 때도 쓰인다.
알아 둘 점
사양서의 숫자는 이론상 최대치이고, 실제 학습에서는 메모리 이동과 통신을 기다리느라 그보다 훨씬 덜 나오는 것이 보통이다. 일부 사양서는 '희소성(sparsity)'을 가정한 값을 함께 적어 두므로, 어떤 조건의 숫자인지 확인해야 한다. 서로 다른 정밀도의 숫자를 나란히 비교하면 안 된다. LLM 추론은 계산보다 메모리 대역폭이 병목인 경우가 많아, FLOPS만으로 추론 속도를 판단하기 어렵다.
예시
GPU를 고르는 엔지니어는 사양서에서 BF16 TFLOPS 값을 보고 학습 속도를 가늠하지만, 같은 줄에 '희소성 적용' 표시가 있으면 그 절반 정도를 실제 기준으로 삼는다. 추론 서버를 고를 때는 FLOPS보다 VRAM 용량과 메모리 대역폭을 먼저 본다.