CLIP을 넘어서: System One 의사결정 모델을 활용한 보정된 Few-shot 불량 검출

문제

제조 비전 검사 모델을 학습하려면 보통 많은 이미지가 필요하다. CLIP 기반 방법으로 클래스당 50~100장까지 줄였지만, 수율이 높거나 생산량이 적은 공정에서는 불량 이미지 50장도 모으기 어렵다. 또 CLIP의 불량 확률은 0.5 근처에 몰려 있어 합격·불합격 판정 근거로 쓰기에 신뢰도가 낮다.

방법

4단계 프레임워크다. (a) 선택형 질문, 정상·불량 클래스의 평이한 설명, 클래스당 k장의 기준 이미지로 검사 과제를 정의하고, 의사결정 모델의 Choice 출력에서 불량 확률을 얻는다. (b) Claude Code 에이전트가 개발용 이미지에서 AUC를 계산하고 잘못 분류된 이미지를 살펴 클래스 설명을 고친다. AUC가 0.02 이상 오를 때만 새 설명을 채택하며, 후보는 최대 6개다. (c) 별도 보정 세트로 Platt scaling을 적합해 확률을 보정한다. (d) 모델·설명·기준 이미지·보정 함수를 모두 고정한 채 새 이미지를 검사한다. 모델은 재학습하지 않는다.

결과

• 클래스당 기준 이미지 2장을 쓴 조건에서 테스트 정확도는 Jev 0.75~1.00, Clef-Flash 0.71~0.99로, 같은 기준 이미지를 쓴 CLIP(0.67~0.84)보다 높았다(5개 제조 사례).
• 에이전트로 설명을 다듬었을 때 모델-사례 조합 8개 중 6개에서 정확도가 유의하게 올랐다.
• Platt 보정은 모델-사례 구성 15개 중 13개에서 Brier score를 낮췄다.
• 재현용 코드와 R 패키지 'decisions', 코드 없이 쓸 수 있는 웹 앱을 공개했다.

한계

평가는 기존 연구에서 쓰인 5개 사례에 한정되며, 테스트 이미지도 그 연구에서 이미 사용된 것이다(에이전트는 접근하지 못하게 막았다). 금속 팬 사례는 이미지가 적어 설명을 다듬지 못했고 독립된 보정 세트도 없다. 보정 세트는 클래스당 17~25장으로 작다. Jev는 API 기반 비공개 모델이라 내부 동작을 알 수 없다.

의미

불량 샘플이 드문 다품종 소량 생산 현장에서, 이미지 몇 장과 텍스트 설명만으로 모델을 재학습하지 않고 검사를 시작할 수 있는 실용적 절차를 보여준다. 보정된 확률을 제공하므로 합격·불합격·재검사 판단에도 쓸 수 있다.

핵심 용어

System One 모델(구조화된 의사결정 모델)

자유 텍스트 대신, 정해진 선택지마다 확률을 출력하는 등 정형화된 판단만 내놓는 모델이다. Jev와 Clef-Flash가 이에 해당한다.

k-shot 학습

클래스마다 k장의 라벨된 예시만 추론 시점에 함께 넣어 분류하는 방식이다. 모델 가중치는 바꾸지 않는다.

Platt scaling

모델 점수의 logit에 로지스틱 회귀를 적합해, 실제 발생 빈도에 맞는 확률로 보정하는 방법이다.

Brier score

예측 확률과 실제 결과(0 또는 1)의 차이를 제곱해 평균한 값이다. 낮을수록 확률을 믿을 만하다는 뜻이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Fadel M. Megahed, Ying-Ju Chen · 게시 2026-10-30 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.