Evaluating Relational Reasoning in LLMs with REL

Motivation

• Known: 관계적 추론(relational reasoning)은 인지과학에서 오래 연구된 핵심 인간 인지 능력으로, LLM 평가에서는 주로 graph나 knowledge graph, multi-hop QA와 같은 structured input 기반 태스크로 다뤄져 왔다.
• Gap: 기존 벤치마크들은 난이도를 입력 길이, entity 개수, vocabulary 등과 혼동된 형태로 측정하여 relational binding의 arity(항수)에서 비롯되는 어려움을 독립적으로 분리해내지 못했고, graph 중심 formalism에 의존해 폭넓은 과학적 추론 태스크로 일반화되지 않는다는 한계가 있다.
• Why: RC는 입력 크기 등 혼동 요인을 통제하면서 추론 난이도를 체계적으로 조절할 수 있는 원칙적인 축을 제공하며, 이를 통해 현재 LLM이 실패하는 고차항(higher-arity) 관계적 추론이라는 잘 정의된 영역을 식별할 수 있어 향후 추론 벤치마크 설계 및 모델 개선 방향에 중요한 시사점을 준다.
• Approach: Halford et al.의 인지과학적 relational complexity 개념을 LLM 평가에 도입하여 RC와 operand complexity(OC)를 형식적으로 정의하고, algebra(Raven's matrices/tensors), biology(계통수 추론), chemistry(SMILES 기반 분자 추론) 세 도메인에서 RC를 독립적으로 조절 가능한 생성형 벤치마크 REL을 구축했다.

Achievement

Figure 5. Model performance on REL-A tasks. RPMs at the top, with RPTs below. The models are given 8 answer choices, so

1. RC 개념의 형식화: 관계를 만족시키기 위해 동시에 결합되어야 하는 독립적 개체/변수의 최소 개수로 relational complexity를 정의하고, operand complexity(OC)와 구분하여 task-agnostic한 난이도 축을 제시했다.
2. REL 벤치마크 구축: algebra(REL-A), biology(REL-B), chemistry(REL-C) 세 도메인에 걸쳐 RC를 체계적으로 변화시키는 생성형 벤치마크 프레임워크를 개발했다.
3. 일관된 성능 저하 관찰: entity 총 개수를 고정한 상태에서도 RC 증가에 따라 frontier LLM들의 성능이 단조적으로 감소함을 확인했다(REL-A에서 RC 3→9일 때 45% 저하, REL-B1에서 RC 5→20일 때 93% 저하, REL-C1→C3에서 39.7% 저하).
4. 실패 원인 규명: 이러한 성능 저하가 test-time compute 증가나 in-context learning으로도 해소되지 않아, 단순한 추론 단계 부족이나 예시 노출 부족이 아니라 relational binding의 arity 자체에서 기인하는 근본적 한계임을 밝혔다.

How

Figure 4. From provided parameters, we generate a phylogenetic

• RPM(Raven's Progressive Matrices)을 예시로 사용해 RC를 형식적으로 정의: 하나의 relation을 적용하기 위해 동시에 표현되어야 하는 독립적 변동 원천(source of variation)의 개수로 RC를 산정(RC=1인 unary matching부터 다항 관계까지)
• Operand Complexity(OC)를 별도로 정의하여 role 자체의 개수가 아닌 role을 채우는 filler를 식별/추론하는 난이도를 분리
• REL-A: Raven's matrices 및 tensor 형태의 algebra 태스크에서 RC를 3에서 9까지 변화
• REL-B: 계통수(phylogenetic tree) 파라미터로부터 생성한 진화적 추론 태스크에서 RC를 5에서 20까지 변화(Fig. 4)
• REL-C: SMILES로 표현된 분자에 대한 화학적 구조 규칙성 추론 태스크에서 RC 수준(REL-C1~C3)을 변화
• 각 도메인에서 entity 개수, 입력 길이 등 confounding factor를 통제하거나 marginalize하여 RC의 순수한 효과를 분리
• test-time compute 증가 및 in-context learning(예시 제공) 조건에서도 RC에 따른 성능 저하가 지속되는지 검증

Originality

• 인지과학에서 오래 연구된 relational complexity 개념을 LLM 평가라는 새로운 맥락에 최초로 체계적으로 도입하고 형식화했다는 점에서 개념적 참신성이 있다.
• 기존 연구들이 graph-centric formalism에 국한되어 있던 것과 달리, algebra·biology·chemistry라는 이질적인 과학 도메인에 공통적으로 적용 가능한 task-agnostic 난이도 축을 제안했다.
• entity 개수와 RC를 독립적으로 통제하는 실험 설계를 통해 "entity 개수는 난이도의 noisy proxy에 불과하다"는 것을 실증적으로 보여준 점이 독창적이다.
• 생성형(generative) 벤치마크로 설계되어 난이도 수준별로 새로운 문제를 무한히 생성할 수 있어, 데이터 오염(contamination) 문제에서 비교적 자유롭다.

Limitation & Further Study

• 발췌된 본문에서는 세 도메인(algebra, biology, chemistry)에서의 RC 정의가 각기 다른 방식으로 구성되어 있어, 도메인 간 RC 수치가 진정으로 동일한 척도로 비교 가능한지에 대한 엄밀한 정당화가 더 필요해 보인다.
• OC(operand complexity)와 RC를 분리했다고 주장하지만, 실제 태스크에서 두 요인이 완전히 독립적으로 통제되었는지, 혹은 여전히 일부 혼입(confound)이 남아있는지에 대한 정량적 검증이 충분히 제시되었는지 확인이 필요하다.
• 세 도메인 외에 물리학, 언어적 추론 등 다른 과학/비과학 영역으로의 일반화 가능성은 아직 검증되지 않았으며, 후속 연구에서 다양한 도메인으로 RC 프레임워크를 확장할 필요가 있다.
• 성능 저하의 근본 원인이 관계적 결합(binding) 자체의 표상적 한계인지, 혹은 attention 메커니즘의 구조적 제약 등 다른 architectural 요인에서 기인하는지에 대한 메커니즘적 분석이 추가되면 연구의 설명력이 높아질 것이다.

Evaluation

총평: 인지과학의 relational complexity 개념을 LLM 평가에 창의적으로 접목시켜, entity 개수라는 표면적 난이도 지표와 구별되는 근본적인 관계적 추론의 한계를 명확히 드러낸 견고하고 시의적절한 연구이다.