NegConstraint

TL;DR

• 부정 제약 조건(Negative constraints)을 포함하는 복잡한 쿼리에 대한 정보 검색(IR) 시스템의 성능을 평가하기 위한 벤치마크 데이터셋.
• “A에 대해서 찾되, a는 제외해 줘”와 같은 논리적 일관성을 테스트.

---

📂 데이터셋 노트

1. 데이터셋 정보

• 이름: NegConstraint: Logical Consistency is Vital: Neural-Symbolic Information Retrieval for Negative-Constraint Queries(ACL 2025)

💡 Tip: 가능한 경우 원본 출처의 링크를 함께 기록하세요.

• 설명:
  • 부정 제약 조건(Negative Constraints)이 포함된 쿼리에 대해 Dense Retriever들이 얼마나 잘 대처하는지 평가하기 위한 데이터셋. (예: “X에 대한 문서를 찾되 Y는 제외해라”)
  • 위키피디아(Wikipedia) 덤프를 기반으로 구축되었으며, GPT-4o를 이용해 Positive/Negative 문서 쌍을 기반으로 복잡한 논리 쿼리를 생성함.
  • 논리식 기반으로 크게 3가지 유형의 쿼리를 포함함:
    1. $A-a$ : 집합 A에서 부분집합 a를 제외.
    2. $(A-a)\cup B$ : A(a 제외) 또는 B.
    3. $(A-a)\cup (B-b)$ : A(a 제외) 또는 B(b 제외).
  • GitHub 저장소
• 라이선스: 명시적 라이선스 확인 필요

⚠️ 주의: 라이선스를 확인하여 상업적 사용이 가능한지 반드시 확인하세요.

---

2. 데이터 구조

💡 Tip: 가능한 경우 데이터 셋 예시 스크린샷을 추가하세요.

• 특징:
  • 정보 검색(IR)을 위한 질의(Query)와 문서(Document)의 쌍으로 구성됨.
  • 각 쿼리마다 Positive(조건 충족), Negative(조건 위반), Irrelevant(무관함) 문서들이 포함되어 있음.
  • 단순한 의미적 유사성(Semantic Similarity)을 넘어 1차 논리(First-Order Logic, FOL) 기반의 논리적 일관성 검증 능력을 테스트함.
  • 샘플 수:
    • 총 366개 질의
      • $A-a$: 136개
      • $(A-a)\cup B$: 123개
      • $(A-a)\cup (B-b)$: 107개

3. 구축 방식

• 인간 주석 기반(human-annotated)으로 구성되었다.
• 논문 부록 기준으로, 경험 있는 annotator 3명이 Wikipedia passage를 선별했다.
• 이후 GPT-4o를 사용해 positive/negative 문서를 바탕으로 질의를 생성했다.

---

4. 태스크 및 활용

• 주요 태스크: Information-Retrieval , Logical-Reasoning
• 활용 목적: 기존 dense retriever가 negative constraint를 포함한 질의에서 얼마나 취약한지 평가하고, 그러한 한계를 보완하는 retrieval / reranking 기법을 비교하는 데 사용된다.
• 관련 방법: 출처 논문에서는 NS-IR을 제안해 FOL 기반 논리 일관성을 리랭킹에 반영한다.

---

🔗 Related Notes

• Neuro-Symbolic IR
• 1차 논리 (First-Order Logic)