Experimental Attempts in Electronic Lab Notebooks: A Dataset Proposal for Scientific Debugging

Motivation

• Known: 기존 AI-for-science 자원(protocols.io, Chemotion Repository, iGEM wiki 등)은 성공적인 절차와 정제된 결과에 편향되어 있으며, open-notebook science는 실패 사례 공유를 지향하지만 아직 소규모에 머물러 있다.
• Gap: 공개된 notebook 유래 데이터셋은 대부분 의도된 절차와 성공 사례만을 다루고, 실패한 run, 편차(deviation), 트러블슈팅 응답과 그 근거(evidence span)를 명시적으로 포착하는 자료는 부재하다.
• Why: 실제 실험실 환경에서는 실패와 불완전한 증거 하에서의 디버깅이 핵심 능력인데, 최근 RCT 연구(Hong et al., 2026)에서도 LLM 보조가 초보 생물학 워크플로우 완수에 유의한 개선을 주지 못했다는 결과는 프로토콜 암기 이상의 디버깅 추론 능력이 필요함을 시사하며, 본 제안은 이 공백을 메울 실용적 데이터 자원의 필요성을 부각한다.
• Approach: 저자는 새로운 notebook 템플릿을 요구하는 대신 기존 ELN 및 notebook 유사 기록을 export-and-mapping 파이프라인으로 공통 스키마에 매핑하고, LLM-assisted pre-annotation과 인간 검증을 결합해 run-level experimental attempt 레코드를 구축하는 방안을 제시한다.

Achievement

1. 파일럿 코퍼스 구축: iGEM(4,000개 노트북), protocols.io(18,000개 프로토콜), Chemotion Repository(3,100개 화학 반응)를 이용해 공개 notebook 유사 자원을 대규모로 집계할 수 있음을 확인함.
2. 데이터셋 스키마 설계: goal, hypothesis, run text, observations, status, deviation, response action, evidence span 등 run-level 실험 시도 기록을 위한 필드 구조를 정의함.
3. 획득·주석 로드맵 제시: export-and-mapping 파이프라인과 LLM 보조 사전주석 + 인간 검증이라는 확장 가능한 수집 전략을 제안함.
4. 거버넌스 체계 설계: 상태 라벨(success/failure/partial/unclear), 트러블슈팅 라벨(detection/diagnosis/intervention/outcome), provenance 기록, tiered release(전면 공개~메타데이터 전용) 등 책임 있는 공유 방안을 구체화함.

How

• 기존 공개 소스(iGEM, protocols.io, Chemotion)에서 파일럿 코퍼스를 수집해 실행 가능성을 사전 검증함
• 새 템플릿 도입 대신 기존 ELN의 필드를 공통 스키마로 매핑하는 export-and-mapping 파이프라인을 설계함
• LLM을 이용한 run status, deviation type, response action, evidence span의 사전 주석 생성 후 타겟팅된 인간 검증(verification)으로 품질 관리를 수행함
• 각 주석에 directly sourced/inferred/LLM-suggested 여부와 provenance를 기록하고, de-identification, 위험 절차 redaction, tiered release 정책으로 배포를 관리함
• 화학·생물학을 초기 도메인으로 삼되 재료과학, 공학 등으로 스키마를 일반화할 수 있도록 설계함

Originality

• 성공적 프로토콜 중심의 기존 AI-for-science 데이터 자원과 달리, 실패한 run, 편차, 트러블슈팅 응답을 명시적으로 포착하는 run-level 실험 시도 레코드라는 새로운 데이터 단위를 제안함
• evidence span을 통해 추론된 라벨의 근거를 명시적으로 연결하는 스키마 설계는 신뢰성 있는 과학적 디버깅 평가를 가능하게 함
• 새로운 수집 템플릿을 강요하지 않고 기존 ELN을 매핑하는 실용적 획득 전략과 LLM-보조 주석 파이프라인을 결합한 점이 독창적임

Limitation & Further Study

• 본 논문은 workshop position/proposal 성격으로, 실제 데이터셋이 아직 구축·공개되지 않았으며 구체적 규모, 품질 지표, 벤치마크 성능 등의 실증 결과가 제시되지 않음
• 파일럿 코퍼스(iGEM 등)의 포맷 불안정성으로 대규모 추출이 어렵다는 문제가 언급되었으나 구체적 해결책은 제한적으로만 서술됨
• LLM-assisted pre-annotation의 정확도, bias, verification 비용에 대한 정량적 검증 계획이 부재함
• 초기 도메인이 화학·생물학에 집중되어 있어 타 도메인으로의 일반화 가능성은 추후 검증이 필요함
• 후속 연구로는 실제 데이터셋 구축, 벤치마크 태스크(run status 예측, deviation 식별, 원인 순위화 등) 설계 및 baseline 모델 평가가 요구됨

Evaluation

총평: 과학적 디버깅을 위한 실패 중심 실험 데이터셋이라는 시의적절하고 의미 있는 문제를 제기하지만, 아직 실제 데이터셋 구축이나 실증 평가 없이 제안 단계에 머물러 있어 향후 실현 여부에 따라 가치가 크게 달라질 workshop-level proposal 논문이다.