NegBench

TL;DR

• Vision-Language Model의 부정(negation) 이해 능력을 평가하는 벤치마크 데이터셋
• 이미지, 비디오, 의료 도메인에 걸쳐 79K 예제, 18개 태스크 변형으로 구성
• 현대 VLM들이 부정 표현에서 chance level 수준(무작위로 찍었을 때 나올 확률)의 성능을 보임을 입증
• CVPR 2025 발표 (Alhamoud et al., MIT)

---

데이터셋 노트

---

1. 데이터셋 정보

• 이름: NegBench: Vision-Language Models Do Not Understand Negation
• 저자: Kumail Alhamoud, Shaden Alshammari, Yonglong Tian, Guohao Li, Philip Torr, Yoon Kim, Marzyeh Ghassemi
• 발표: CVPR 2025
• 설명:
  • VLM이 부정(negation)을 얼마나 잘 이해하는지 체계적으로 평가하는 대규모 벤치마크
  • “특정 객체가 없는 이미지를 검색하라”와 같은 실용적 시나리오에서 부정 이해가 필수적임에도, 기존 연구에서 거의 탐구되지 않은 영역
  • 합성 데이터 파인튜닝으로 부정 이해력을 개선할 수 있음을 실증
• 라이선스: MIT (코드 기준)
• 리소스:
  • GitHub: https://github.com/m1k2zoo/negbench
  • 프로젝트 페이지: https://negbench.github.io

⚠️ 주의: 평가 데이터셋 일부(CheXpert, COCO, VOC2007, MSR-VTT)는 각 원본 소스에서 별도 다운로드 필요.

---

2. 데이터 구조

모달리티 및 소스

모달리티	데이터 소스	태스크
이미지	COCO 2017 Val	MCQ, Retrieval
이미지	VOC2007	MCQ
이미지	Synthetic (Stable Diffusion)	MCQ, Retrieval
이미지 (의료)	CheXpert	Binary MCQ
비디오	MSR-VTT	MCQ, Retrieval

• 특징:
  • 79,000 예제, 18개 태스크 변형
  • 이미지·비디오·의료 3개 도메인을 아우르는 포괄적 평가
• 샘플 수: 79K (전체)

---

3. 구축 방식

• 방법: 규칙 기반 템플릿 + Llama 3.1 기반 rephrasing (MSR-VTT 비디오 캡션)
• 소스: COCO, VOC2007, CheXpert, MSR-VTT 등 기존 데이터셋의 캡션을 부정 표현으로 변환
• 파인튜닝 데이터 (벤치마크와 별도):
  • CC12M-NegCap: ~30M 부정 캡션 (CC12M에서 파생)
  • CC12M-NegMCQ: ~40M 부정 MCQ (CC12M에서 파생)

---

4. 태스크 및 활용

주요 태스크

1. Retrieval with Negation — 부정 쿼리(“X가 없는 이미지”)로 올바른 이미지/비디오를 검색
2. Multiple Choice Questions (MCQ) with Negated Captions — 부정 표현이 포함된 캡션 중 올바른 것을 선택

벤치마크 성능

주요 발견:

• 현대 VLM(CLIP, NegCLIP, CoNCLIP 등)이 부정 태스크에서 chance level에 가까운 성능 을 보임
• 부정을 포함한 쿼리에서 모델들이 부정어를 사실상 무시하는 경향

파인튜닝 효과 (CC12M 기반 합성 데이터):

방법	Negated Retrieval	Negated MCQ
베이스라인 (CLIP)	baseline	baseline
+ CC12M-NegCap	+10% recall	—
+ CC12M-NegMCQ	—	+40% accuracy

Recall +10% (Retrieval)

• 개선은 있지만 폭이 작음 — 부정 표현을 이해하는 것만으로는 retrieval의 근본적 한계를 해결하기 어려움을 시사

Accuracy +40% (MCQ)

• 폭이 큼 — MCQ는 선택지 간 비교 태스크라 부정 표현의 의미만 학습하면 바로 성능이 오르기 때문

---

Open Questions

• 부정 이해력 향상이 일반적인 VLM 성능에 미치는 영향 (trade-off 존재 여부)
• 더 복잡한 논리적 부정 (이중 부정, 조건부 부정)에 대한 확장 가능성
• 한국어 등 비영어 언어에서의 부정 이해력 평가 필요성

---

Reference

• NegConstraint — 텍스트 생성에서의 부정 제약 관련 데이터셋