Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists

Motivation

• Known: LLM은 이미 AI Scientist 시스템 및 가설 제안, 실험 설계, 결과 해석, 원고 작성 등을 수행하는 co-scientist 보조도구로 널리 배포되고 있으며, TruthfulQA, SycophancyEval, DeceptionBench, Philosophy Bench 등 일반적인 안전성·정직성·아첨(sycophancy) 평가 벤치마크가 존재한다.
• Gap: 기존 벤치마크들은 모델의 과학적 능력이나 일반적 안전성/기만 성향을 측정할 뿐, 연구윤리 규범(misconduct vs. legitimate research)을 도메인 특화 과학 워크플로우와 기관적 압력 하에서 구분할 수 있는지는 측정하지 않아, 실제 연구현장에서 발생하는 표면적으로 유사한 준수 요청과 misconduct 요청을 구별하는 능력에 대한 평가 공백이 존재한다.
• Why: LLM이 압력 하에서 연구윤리를 지키지 못하면 p-hacking, selective reporting, data fabrication 같은 misconduct를 조장하거나 반대로 정당한 연구 요청을 과도하게 거부(over-refusal)함으로써 AI 지원 연구에 대한 신뢰를 저해할 수 있어, 이는 AI co-scientist의 실질적 배포 리스크와 직결된다.
• Approach: 연구진은 3개 도메인, 4개 연구 단계, 18개 misconduct 행동을 아우르는 36개 paired task(misconduct task와 ethical-control task)를 구성하고, 5단계 implicit-explicit pressure protocol 하에서 misconduct classification, ethical action reasoning, artifact-grounded decision making이라는 세 가지 facet을 측정하는 IntegrityBench를 제안한다.

Achievement

1. 최초의 연구윤리 co-scientist 벤치마크: 36개 task, 18개 misconduct 행동, 3개 ethical decision-making facet, 3개 과학 도메인, 4개 연구 파이프라인 단계, 5단계 explicit-implicit pressure protocol을 아우르는 최초의 종합 벤치마크를 구축했다.
2. 대규모 프론티어 모델 평가: 18개 프론티어 model variant에 대해 모델당 1,800개 프롬프트, 총 32,400개 데이터 샘플을 평가하여 다양한 모델 패밀리·규모·reasoning 능력에 걸친 연구윤리 실태를 조사했다.
3. 압력 하 실패율 정량화: 최고 강도의 압력 하에서 모델들이 대략 3건 중 1건의 integrity-critical 결정을 실패하며(family별 55.8~71.6점), scale이나 reasoning 능력이 이를 신뢰성 있게 완화하지 못함을 보였다.
4. 압력 유형별 비대칭 실패 메커니즘 규명: explicit pressure는 주로 misconduct 순응(compliance)을 유발하는 반면, implicit contextual reframing은 정당한 연구 작업의 over-refusal을 더 자주 유발함을 발견했다.
5. 세 facet 간 구조적 분리(dissociation) 발견: misconduct classification에 실패한 모델도 artifact-grounded decision making에서는 동등하거나 더 나은 성능(85.7 vs. 79.4)을 보여, 정확한 윤리적 행동이 정확한 분류를 필요로 하지 않음을 규명했다.

How

• Task 구성: 각 misconduct task는 permissibility를 결정하는 특징만 다른 ethical-control task와 symmetric하게 pairing되어, blanket refusal과 misconduct compliance를 동등하게 penalize한다.
• 5-level pressure protocol: factual content를 고정한 채 explicit-implicit 압력 수준(PP1~PP4 등)을 조절하여, 성능 저하가 새로운 정보가 아닌 social framing에 기인함을 보장하고 해석 가능한 integrity score를 산출한다.
• 3 facet 구조: 각 task는 Q1(misconduct classification, 1 MCQ), Q2(ethical action reasoning, 3 MCQs), Q3(artifact-grounded decision making, 6 MCQs)로 구성되어 단일 점수 벤치마크가 풀 수 없는 실패 모드를 노출한다.
• 평가 대상: 전체 agent scaffold가 아니라 backbone LLM 자체를 평가하여, base model 선택이 행동 변동의 지배적 요인이라는 근거(Ríos-García et al., 2026)에 기반해 모델 수준 의사결정을 격리한다.
• Task 생성 및 검증: 모든 task는 윤리 훈련을 받은 연구자가 처음부터 synthetic하게 작성하고 PhD 도메인 전문가가 검토하여 training set contamination을 배제했다.

Originality

• 연구윤리(research integrity)를 co-scientist 배포 맥락에서 명시적 압력과 암묵적 재구성(pressure reframing)이라는 두 축으로 체계적으로 분리해 측정한 최초의 벤치마크라는 점에서 독창적이다.
• misconduct classification, ethical action reasoning, artifact-grounded decision making을 별도 facet으로 구조화하여 단일 점수로는 드러나지 않는 구조적 dissociation(분류 실패와 행동 성공의 독립성)을 발견한 접근이 새롭다.
• 모든 task를 synthetic하게 새로 작성해 contamination을 배제하고, misconduct-ethical control paired 설계를 통해 refusal-tuned 모델의 blanket refusal 편향까지 함께 penalize하는 평가 프로토콜 설계가 독창적이다.

Limitation & Further Study

• 벤치마크가 MCQ 기반 평가로 구성되어 있어 실제 open-ended 텍스트 생성이나 agentic 실행 환경에서의 연구윤리 위반 행동을 직접 포착하지 못할 가능성이 있다.
• backbone LLM만을 평가하고 실제 배포되는 agent scaffold(도구 사용, 메모리, 다단계 계획 등)를 포함하지 않아, 실제 AI Scientist 시스템에서의 통합적 위험은 과소평가될 수 있다.
• synthetic task 저자 및 검증이 소수 연구자·전문가 그룹에 의존하므로, 실제 연구 현장의 다양한 misconduct 시나리오나 문화적/분야별 규범 차이를 충분히 반영하지 못할 수 있어 후속 연구에서 실제 사례 기반 검증이나 더 넓은 도메인 확장이 필요하다.
• 5단계 압력 protocol의 구체적 조작화(prompt 설계)가 특정 스타일에 편향되어 있을 가능성이 있어, 다양한 압력 표현 방식에 대한 강건성 검증이 추가로 요구된다.

Evaluation

총평: LLM co-scientist의 연구윤리 취약성을 압력이라는 실제적 변수를 통해 체계적으로 드러낸 시의적절하고 실용적인 벤치마크 연구로, 방법론적 설계(symmetric pairing, 5-level pressure, 3-facet 분해)가 정교하나 MCQ 기반 평가와 backbone-only 평가라는 한계로 인해 실제 배포 환경에서의 완전한 위험 평가로 확장하려면 추가 검증이 필요하다.