AI 용어집 · 심화 · 효율·인프라
FlashAttention 플래시 어텐션
FlashAttention은 트랜스포머의 어텐션 계산을 GPU 메모리 구조에 맞게 다시 짜서, 결과는 그대로 두면서 더 빠르고 메모리를 덜 쓰게 만든 계산 방법이다.
어떻게 작동하나
어텐션은 문장 속 모든 토큰 쌍이 서로 얼마나 관련 있는지 계산하는데, 단순하게 구현하면 거대한 중간 표를 GPU 메모리(HBM)에 썼다 읽기를 되풀이한다. GPU에서는 계산 자체보다 이렇게 메모리를 오가는 시간이 병목인 경우가 많다. FlashAttention은 입력을 작은 타일로 잘라 GPU 칩 안의 작고 빠른 메모리(SRAM)에서 계산을 끝내고, 거대한 중간 표를 통째로 저장하지 않는다. 근사가 아니라 같은 결과를 내는 정확한 어텐션이라는 점이 핵심이다.
단순한 어텐션 vs FlashAttention
단순한 어텐션중간 표를 통째로 저장
- 큰 중간 표를 GPU 메모리에 씀
- 메모리를 자주 오감
- 입력이 길면 메모리가 빨리 바닥남
FlashAttention타일로 잘라 칩 안에서 계산
- 빠른 칩 내부 메모리 활용
- 메모리 왕복이 적음
- 더 긴 입력을 다룰 수 있음
공통 둘 다 같은 어텐션 결과를 내는 정확한 계산이다
왜 중요한가
메모리 사용량이 줄어 더 긴 컨텍스트로 학습하고 추론할 수 있고, 속도도 빨라진다. 그래서 긴 컨텍스트 윈도를 가진 요즘 LLM을 받쳐 주는 기술 가운데 하나로 꼽힌다. PyTorch, Hugging Face Transformers, 주요 추론 엔진이 이런 최적화된 어텐션 계산을 기본으로 쓰거나 옵션으로 제공한다. 버전이 거듭되며 새 GPU 세대에 맞춘 개선도 이어졌다.
알아 둘 점
Hugging Face Transformers로 모델을 불러올 때 attn_implementation 옵션이나, 설치 단계의 flash-attn 패키지로 이 이름을 만난다. GPU 세대와 정밀도(FP16·BF16 등)에 따라 지원 여부가 갈려서, 오래된 GPU에서는 설치가 안 되거나 다른 어텐션 구현으로 대체된다. 모델 품질을 올려 주는 기술이 아니라 같은 계산을 더 빨리, 메모리를 덜 쓰며 하는 기술이다. 학습이나 긴 프롬프트를 읽는 단계에서 효과가 특히 크고, 짧은 대화 위주라면 체감 차이가 작을 수 있다.
예시
사내 GPU로 긴 보고서를 요약하는 모델을 파인튜닝하던 팀이 입력 길이를 늘리자마자 메모리 부족 오류를 만났다고 하자. 팀은 먼저 쓰는 GPU 세대가 FlashAttention을 지원하는지 확인하고, flash-attn 패키지를 설치한 뒤 모델을 불러올 때 어텐션 구현 옵션을 바꾼다. 결과는 그대로이면서 메모리가 줄어 같은 GPU에서 더 긴 입력으로 학습을 이어 갈 수 있게 된다.