LAFA: A Framework for Reproducible Longitudinal Assessment of Protein Function Annotation Models

Motivation

• Known: CAFA는 단백질 기능 예측 방법을 3년 주기로 대규모 평가하는 커뮤니티 주도 벤치마킹 챌린지로, 고성능 방법론 발굴과 방법론 개선에 기여해왔다. 그러나 주기적 평가 외에는 새로운 방법의 연속적 평가와 성능 추적이 불가능하며, 주석이 축적되어도 재평가가 이루어지지 않는다.
• Gap: CAFA의 3년 주기 평가는 주석 축적 기간(4-6개월) 후 성능 재평가가 중단되어 후속 주석 유실에 따른 오평가 발생, 구식 학습 데이터로 인한 성능 저하, 방법 재현성 저하 등의 문제가 있다.
• Why: 연속적 벤치마킹은 방법론 개발의 빠른 반복, 축적되는 새로운 주석에 대한 동적 성능 평가, 장기적 진보 추적, 그리고 containerization을 통한 재현성 보증으로 단백질 기능 예측 분야의 과학적 진전을 가속화할 수 있다.
• Approach: LAFA는 containerized 단백질 기능 예측 방법을 호스팅하고, time point build와 time window evaluation의 두 가지 워크플로우로 정기적 UniProt-GOA 데이터 릴리스마다 predictions를 생성 및 평가한다. 시간 경과에 따라 축적되는 주석으로 연속적 성능 재평가를 수행하여 Open World assumption 문제를 완화한다.

Achievement

Fig. 1: The LAFA timeline. At each data release time point (here, starting Sep 2025), data are collected, and prediction

• LAFA 플랫폼 구축: 지속적 벤치마킹을 위한 웹 기반 시스템 구현으로 주기적 CAFA의 한계 극복
• 두-워크플로우 아키텍처: time point build (데이터 처리)와 time window evaluation (성능 평가)으로 재현 가능한 종단적 평가 체계 확립
• Containerization 기반 재현성: 방법의 코드, 의존성, 설정을 단일 포함 유닛으로 패키징하여 시간 경과에도 재현성 및 이용성 보증
• 동적 성능 추적: UniProt-GOA 릴리스(약 8주 간격) 주기로 연속 평가 수행하여 3년 주기 평가보다 세밀한 성능 변화 관찰 가능
• 공개 가용 자료: github에서 CAFA 헬퍼 스크립트, containerization 가이드, 평가 결과 공개

How

Fig. 1: The LAFA timeline. At each data release time point (here, starting Sep 2025), data are collected, and prediction

• 데이터 전처리 (time point build): UniProtKB, UniProt-GOA, GO Data Archive에서 정기적으로 원본 데이터 수집 및 처리
• 테스트 세트 구성: SwissProt의 550,000-580,000개 단백질을 고품질 테스트 세트로 유지하여 시간점 간 비교 기준 제공
• Containerized 방법 실행: 호스팅된 containerized 방법들이 각 시간점에서 predictions 생성
• 시간창 평가 (time window evaluation): 두 시간점 사이의 기간을 시간창으로 정의하고, 이전 시간점에서의 predictions을 축적된 새로운 주석으로 평가
• 웹 인터페이스: 프론트엔드에서 평가 결과 시각화 및 여러 시간창 간 비교 기능 제공
• Nextflow 기반 구현: 과학 워크플로우 시스템 Nextflow로 back-end 계산 처리 자동화

Originality

• 연속 벤치마킹 개념화: 3년 주기 CAFA 대신 정기적 데이터 릴리스에 동기화한 지속적 평가 패러다임 제시
• Time point build / Time window evaluation 분리: 주석 축적의 시간적 특성을 반영하여 역사적 snapshot 구축과 사후 평가를 분리하는 창의적 설계
• Containerization을 통한 재현성 강화: 단순 코드 공개 대신 완전한 실행 환경 포함으로 장기 재현성 보증
• Open World assumption 완화: 후속 주석 축적에 대한 사후 재평가로 초기 주석 축적 기간의 미검증 예측 문제 해결

Limitation & Further Study

• 계산 비용: 모든 hosted 방법을 정기적으로 재실행하는 데 소요되는 고성능 컴퓨팅 자원의 확장성 논의 미흡
• 채택 의존성: 방법 개발자들의 containerization 및 LAFA 호스팅 참여가 플랫폼의 성공을 좌우하나 동기 부여 전략 부족
• 학습 데이터 편향: 초기 container 제출 후 학습 데이터 업데이트 시 data leakage 방지 메커니즘 제한적
• 평가 지표 범위: 현재 precision, recall, F1-score 중심 평가로 다양한 응용 맥락의 필요성 미충분
• 후속 연구 방향: (1) 다양한 평가 지표 통합, (2) 커뮤니티 기반 학습 데이터 수집 가이드라인 수립, (3) 실시간 방법 추가 제출 처리 자동화, (4) 국제 데이터베이스와의 통합 확대

Evaluation

총평: LAFA는 단백질 기능 예측 벤치마킹의 패러다임을 3년 주기에서 연속 평가로 전환하는 중요한 인프라 기여로, containerization 기반 재현성 강화와 time point/time window의 창의적 설계가 돋보인다. 다만 커뮤니티 참여 확대 및 장기 지속 가능성 전략의 보강이 필요하다.