CreditMap: Provenance Ledgers for Attribution in Human--AI Scientific Collaboration

Motivation

• Known: CRediT taxonomy는 인간 공동연구자를 위해 설계된 14개 표준 역할로 4,000개 이상의 저널에서 채택되었으며, W3C PROV-O는 entity-activity-agent 기반의 도메인 무관 provenance 표현 프레임워크로 널리 사용되어 왔다.
• Gap: 기존 binary disclosure statement나 CRediT는 AI의 기여 성격과 정도를 구분하지 못하고 "Software"나 "Writing"같은 조악한 범주로 뭉뚱그리며, 실행 수준(execution-level) provenance 시스템들은 무엇이 실행됐는지는 기록하지만 누가 어떤 자율성과 감독 하에 기여했는지의 사회기술적(sociotechnical) 수준은 다루지 못한다.
• Why: AI 생성 콘텐츠가 과학 문헌에서 빠르게 증가하는 상황에서 재현성, 공정한 기여 인정, 그리고 자동화 수준에 따른 구조화된 메타데이터 요구가 커지고 있어, 인간-AI 협업의 투명성을 담보할 표준화된 attribution 인프라가 시급하다.
• Approach: CreditMap은 PROV-O를 확장한 JSON-LD schema, 해시 체이닝 기반 위변조 탐지, 자동 provenance 캡처를 위한 Python 툴킷을 결합하고, 이를 구조적 표현력·audit-task 정확도·리뷰어 인식 개선이라는 세 가지 연구를 통해 실증적으로 검증한다.

Achievement

1. 구조적 표현력 입증(Study 1): 45개 instrumented session에서 CreditMap은 세션당 평균 6.7개의 고유 role을 포착한 반면 CRediT는 4.7개에 그쳤고, CRediT로 투영 시 세션당 평균 3.0개의 기여 구분이 손실됨을 정량적으로 보였다.
2. Audit-task benchmark 성능(Study 2): 250개의 ground-truth provenance query에서 완전한 CreditMap ledger는 94% 정확도를 달성했고, role+timeline(72%), role-only(68%), CRediT(18%), binary disclosure(0%) 순으로 schema 구성요소별 단계적 가치를 입증했다.
3. 리뷰어 인식 개선(Study 3): N=192, 4개의 frontier model을 활용한 LLM-simulated reviewer 실험(linear mixed-effects models)에서 CreditMap이 attribution fairness(d=3.31)와 trust(d=0.55)를 유의하게 향상시켰으며, rigor·reproducibility·overall recommendation에서도 유의하지만 상대적으로 작은 효과(d=0.24–0.43)를 확인했다.
4. 낮은 운영 오버헤드: 이벤트당 로깅 오버헤드가 0.1ms 미만(전형적 API 지연시간의 0.02% 미만)으로 실용적 배포가 가능함을 측정치(332 bytes/event, 0% correction rate)로 뒷받침했다.

How

• W3C PROV-O를 확장하여 cm:Contributor(prov:Agent 확장, human/ai_system/ai_assisted 구분), cm:Artifact(prov:Entity 확장, content hash 포함), cm:ContributionEvent(prov:Activity 확장, role·autonomyLevel 1-5·oversight 유형 포함) 세 핵심 클래스를 정의
• CRediT 14개 표준 role은 그대로 유지하면서 9개의 AI 특화 role(예: AI: Text Generation, AI: Text Editing 등)을 부모 CRediT role에 매핑해 하위 호환성 보장
• 각 ledger는 append-only hash chaining으로 직렬화되어 사후 변조를 탐지할 수 있는 JSON-LD 문서로 저장되며, deterministic한 CRediT projection 기능 제공
• Python 로깅 툴킷이 LLM API 호출을 가로채 자동으로 provenance event를 캡처(<0.1ms/event 오버헤드)
• Study 1은 45개 실제 세션에 툴킷을 계측(instrument)하여 role 다양성과 CRediT 투영 손실을 측정
• Study 2는 5단계 disclosure 조건(binary, CRediT, role-only, role+timeline, full CreditMap)에서 250개 ground-truth query에 대한 정답률을 비교하는 audit-task benchmark 설계
• Study 3은 4개의 frontier LLM을 reviewer로 활용한 시뮬레이션 실험을 linear mixed-effects model로 분석해 fairness, trust, rigor, reproducibility, overall recommendation에 대한 효과크기 산출

Originality

• CRediT를 대체하지 않고 하위 호환되는 형태로 확장하여, 기존 저널 인프라와의 통합 가능성을 유지한 채 AI 특화 표현력을 추가한 설계 원칙(backward compatibility)이 독창적
• autonomy level(1-5)과 human oversight 유형을 provenance event에 명시적으로 기록하여 단순 실행 로그가 아닌 사회기술적(sociotechnical) 수준의 귀속 정보를 담아낸 점
• 기존 execution-level provenance 시스템(WRROC, yProv4ML 등)과 달리 "누가 무엇을 기여했는가"에 초점을 맞추고, Table 1과 같이 scope·guarantee·CRediT interoperability 차원에서 체계적으로 위치시킨 비교 분석 제공
• LLM을 reviewer proxy로 활용해 attribution 스킴이 인지된 신뢰와 공정성에 미치는 영향을 대규모(N=192)로 정량화한 실험 설계

Limitation & Further Study

• Study 3의 reviewer perception 실험이 실제 인간 리뷰어가 아닌 LLM-simulated reviewer에 기반하므로, 저자들도 인정하듯 인간 대상 재현(replication) 전까지는 탐색적(exploratory) 결과로 취급해야 함
• Study 1의 45개 session, Study 2의 250개 query라는 표본 규모가 크지 않아 다양한 연구 분야·협업 형태로의 일반화 가능성이 제한적일 수 있음
• 현재 시스템은 documentary 수준의 위변조 탐지(hash chaining)만 제공하며, in-toto/SLSA나 W3C Verifiable Credentials 기반의 완전한 tamper-evident/verifiable 보증은 로드맵 단계로 남아있어 실제 위변조 공격에 대한 강건성 검증이 부족함
• 실제 저널·학회 워크플로우에 CreditMap을 도입하기 위한 채택 유인, 표준화 기구와의 협력, 다양한 LLM/도구 생태계와의 호환성 등 실무적 배포 장벽에 대한 논의가 상대적으로 제한적임
• 후속 연구로 실제 인간 리뷰어를 대상으로 한 재현 실험, 더 큰 규모의 다학제 세션 데이터 수집, 암호학적 검증 가능성(cryptographic verifiability) 강화가 필요함

Evaluation

총평: CRediT와 execution-level provenance 시스템의 간극을 메우는 실용적이고 체계적인 attribution 프레임워크로, 세 가지 보완적 연구를 통해 표현력·실용성·인지적 효과를 다각도로 입증했지만 핵심 신뢰성 실험이 LLM 시뮬레이션에 의존한다는 점은 향후 인간 검증이 필요한 명확한 한계다.