논문 리뷰 · 2026년 11월 10일

LongBanana: 긴 컨텍스트 다중 참조 이미지 합성을 위한 전문가 검증 벤치마크

LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis

데이터·평가 생성형 미디어 에이전트 중급 추천 28 cs.CV Kolors Team, Kuaishou Technology

참조 이미지 약 32장에 흩어진 단서를 모아 이미지 한 장을 만드는 과제 90개와 그래프 기반 체크리스트 평가를 만들어, 에이전트형 이미지 생성 시스템을 진단했다.

문제

실제 이미지 생성 요청은 많은 참조 이미지에서 필요한 것을 고르고, 비슷한 방해 이미지는 배제해야 한다. 또 속성과 관계를 올바른 대상에 연결해 하나의 이미지로 합성해야 한다. 기존 벤치마크는 편집, 개인화, 소수 참조 위주여서 이런 증거 활용 능력을 측정하지 못한다. 그럴듯해 보이지만 잘못된 참조를 쓴 출처 오류도 전체 점수 하나로는 드러나지 않는다.

방법

전문가가 설계한 시나리오를 LLM이 엔티티-관계 그래프로 구조화한다. 그래프의 노드·엣지·전체 그래프 제약을 원자적 체크리스트로 바꾸고, 각각을 Content Fidelity, Relational Binding, Global Constraint Satisfaction 세 차원으로 채점한다. 과제는 3×3 분류(장면 구성 / 외형 / 참조 추론)에 따라 90개를 만들었다. 최소 30개 과제에는 hard negative 참조가 들어 있다. 채점기 LongBananaEval은 항목마다 근거 자료를 모아 차원별 Critic에 보낸다. Critic은 필요하면 OCR, 개수 세기, 레이아웃 점검, 동일성 확인 도구를 호출하고 0/1/2점과 근거 기록을 남긴다. 생성 쪽에서는 LongBanana-Gen으로 직접 생성, 최소 에이전트 harness(Hermes-Agent, OpenCode, OpenClaw), 그리고 RPR(ReAct–Plan–Exec–Reflect) 워크플로를 비교했다.

결과

과제 90개, 체크리스트 항목 4,670개를 구축했다. 과제당 평균 참조 이미지 약 32장, 제약 약 20개, 평가 항목 약 50개다.
생성 결과 900개에 대한 사람 라벨 46,700개 중 15%(7,005개)를 두 명이 독립적으로 라벨링했다. 완전 일치율은 89.4%, quadratic weighted kappa는 0.83이었다.
Nano Banana 2를 고정한 조건에서, 최소 에이전트 harness가 직접 생성보다 종합 점수 프로필이 좋았다고 저자들은 보고했다.
RPR의 효과는 harness에 따라 달랐다. 검색한 근거와 수정 피드백을 안정적으로 활용하는 harness에서만 도움이 됐고, 그렇지 않으면 결과가 원래 의도에서 벗어났다(drift). 세부 분류별 최고 점수도 여러 방식에 흩어져 있어 압도적인 방식은 없었다.

한계

과제 수가 90개(세부 분류당 10개)로 작다. 에이전트 모델은 Claude Sonnet 4.6 하나, 이미지 백엔드는 세 종류만 비교했다. 그래프 구성에 LLM이 개입하며, 시나리오는 스토리보드·상품·장면 구성 사례 위주다. 제공된 본문이 실험 중간에서 잘려 있어 자동 채점기와 사람 라벨의 일치도, 시스템별 세부 점수는 확인하지 못했다.

의미

광고·상품 이미지처럼 많은 참조를 정확히 반영해야 하는 생성 작업에서는, 그럴듯함보다 '맞는 참조를 맞는 곳에 썼는가'가 중요하다. 이 벤치마크는 오류가 어느 항목에서 났는지 짚어 주는 감사 가능한 평가 틀을 제공한다. 에이전트형 이미지 생성 시스템을 개발할 때 공통 목표로 쓸 수 있다.

핵심 용어

다중 참조 이미지 합성: 여러 참조 이미지에서 대상의 외형·속성을 가져와 새 이미지 한 장으로 합성하는 과제다.
엔티티-관계 그래프 기반 체크리스트: 이미지에 나와야 할 대상(노드), 대상 간 관계(엣지), 장면 전체 제약을 각각 확인 가능한 작은 항목으로 나눈 평가표다. 어느 부분에서 실패했는지 구체적으로 짚을 수 있다.
Hard negative 참조: 겉보기에는 관련 있어 보이지만 써서는 안 되는 방해 이미지다. 모델이 이를 걸러 내는지 평가하는 데 쓴다.
Agent harness: 이미지 생성기를 감싸 참조 상태 관리, 근거 선택, 프롬프트 구성, 수정을 맡는 에이전트 실행 틀이다.

원문

저자: Haoxiang Cao, Yuxuan Zhang, Penghui Du, Bo Li, Jiajiong Cao, Yingying Fan, Zimeng Wu, Yifu Luo, 외 · 게시 2026-11-04 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.