논문 리뷰 · 2026년 10월 21일
단백질 언어 모델에서 사전학습 데이터 필터링의 효과와 지속성
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
ESM-2 계열 모델을 바이러스 단백질을 제거한 데이터로 학습해 보니 해당 능력만 선택적으로 떨어졌지만, 약 80달러어치 GPU 시간의 파인튜닝으로 성능이 되돌아왔다.
문제
가중치를 공개하는 모델은 안전장치를 붙여도 파인튜닝으로 쉽게 풀린다. 그중 사전학습 단계에서 위험한 데이터를 아예 빼는 '데이터 필터링'이 가장 되돌리기 어려운 방법으로 알려져 있다. 하지만 지금까지 연구는 범용 LLM 위주였고, 단백질 언어 모델처럼 생물학 전용 모델에서는 검증되지 않았다. 이런 모델은 보통 오픈 웨이트로 공개되고 크기도 작아 수정하기 쉬우며, 오용되면 위험 병원체 설계에 쓰일 수 있다.
방법
ESM-2 구조로 8M부터 3B까지 다섯 가지 크기 모델을 사전학습했다. 제외 범위를 단계(tier)로 나눠 tier 0은 모든 바이러스 단백질과 그 동족체까지, tier 1은 모든 바이러스, tier 2는 진핵생물 감염 바이러스, tier 3은 사람 감염 바이러스로 좁혀간다. UniRef50 2021_04 대표 서열을 쓰고, 모든 조건에서 동일하게 15만 스텝, 약 315B 토큰을 학습했다. 평가는 마스킹 언어 모델링 손실, ProteinGym·EVEREST 돌연변이 효과 예측(Spearman 상관), 장거리 접촉 예측(선형 프로브) 세 가지다. 그다음 제거했던 서열로 파인튜닝하며 500스텝마다 점수를 재, 필터링 안 한 모델 수준에 도달하는 시점의 연산량을 exaFLOPs와 H100 비용으로 환산했다.
결과
- 필터링은 바이러스 단백질 성능만 떨어뜨리고 비바이러스 성능은 유지했다. 비바이러스 변화는 ±0.008 nats로, ±0.02 nats 범위 안에서 0과 통계적으로 동등했다(TOST, p<3e-12, n=3,000).
- 모델이 클수록 필터링 효과가 커졌다. 돌연변이 효과 예측에서 8M에서 3B로 키울 때 필터링 안 한 모델은 바이러스 Spearman이 +0.196 올랐지만 tier-1 필터 모델은 +0.071에 그쳤다. 비바이러스는 +0.232 대 +0.231로 거의 같았다.
- 효과는 사람 감염 바이러스, 특히 Retroviridae에 집중됐다. 3B tier-1 모델에서 Retroviridae가 전체 언어 모델링 성능 저하의 약 77.5%를 차지했고, 돌연변이 효과 예측에서도 유일하게 저하가 확실한 과(-0.342, n=6, 95% CI [-0.481,-0.203])였다.
- 제거했던 서열로 파인튜닝하면 성능이 완전히 복구됐다. 가장 비싼 3B 언어 모델링 복구가 14~24 exaFLOPs로, H100 기준 12~20시간, 시간당 4달러로 47~79달러였다.
- 장거리 접촉 예측에서도 tier-1 필터링은 35M 초과 모델의 바이러스 성능을 떨어뜨렸고(150M/650M/3B에서 각각 -1.58, -1.70, -2.80%p), 650M과 3B는 오히려 비바이러스 성능이 소폭 올랐다(+0.73, +0.60%p).
한계
복구 실험은 제거했던 바이러스 서열을 공격자가 구할 수 있다는 전제에 선다. 실제 접근성은 다를 수 있다. 복구 비용을 500스텝 간격으로만 측정해 구간으로 보고했고, 3B는 체크포인트가 4개뿐이라 구간이 넓다. 평가는 언어 모델링·돌연변이 효과·접촉 예측이라는 대리 지표이고, 실제 병원체 설계 위험과의 거리는 직접 측정하지 않았다. tier 2·3은 3B에서 학습하지 않았다. 또 비용 환산은 34% MFU와 시간당 4달러 가정에 따른 값이다.
의미
오픈 웨이트 생물학 모델의 안전장치를 정량적으로 평가한 드문 연구다. 데이터 필터링이 '선택적으로는 작동하지만 영구적이지는 않다'는 결론은, 모델이 커질수록 필터링 효과도 커지지만 복구 비용은 여전히 수십 달러 수준이라는 점에서 거버넌스 논의에 직접 쓰인다. 공개 전 필터링만으로 충분하다고 보는 현재 관행(Evo 2, ESM3-open)에 대한 반론 근거가 된다.
핵심 용어
- 단백질 언어 모델(pLM)
- 아미노산 서열을 텍스트처럼 다뤄 학습한 모델이다. ESM-2는 일부 아미노산을 가리고 맞히는 마스킹 방식으로 학습한 인코더 모델이다.
- 사전학습 데이터 필터링
- 위험할 수 있는 데이터를 학습 전에 아예 빼서 그 능력이 생기지 않게 하는 안전장치다. 학습 후에 지우는 방식보다 되돌리기 어렵다고 알려져 있다.
- Tamper-resistance(변조 저항성)
- 안전장치를 제거하는 데 드는 비용이 얼마나 큰지를 말한다. 비용이 작으면 공개 모델의 안전장치로는 의미가 약하다.
- Forget / Retain 도메인
- Forget은 성능을 떨어뜨리려는 대상(여기서는 바이러스 단백질), Retain은 성능을 지켜야 하는 나머지 영역이다. 좋은 필터링은 Forget만 떨어뜨린다.
원문
저자: Aaron Maiwald, Roderick McNeill, Jaeyoung Lee, Matthew A. Clarke, Lennart Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, 외 · 게시 2026-10-19 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.