AI predictions and the expansion of scientific frontiers: Evidence from structural biology

Motivation

• Known: AI가 과학 탐구를 가속화할 수 있다는 기대가 있는 반면, 최근 연구는 AI가 기존의 잘 알려진 영역으로 집중을 좁힐 수 있다는 우려를 제기하고 있다. 또한 과학적 주의력이 친숙한 질문과 이미 탐구된 패러다임으로 점점 더 집중되는 경향이 있다.
• Gap: AI 모델의 예측 성능이 향상되었음에도 불구하고, 계산상 예측이 실제 발견으로 전환되는 과정에는 여전히 간격이 존재하며, 특히 실험실에서의 AI 채택률이 거시적 변화를 입증하기에는 충분하지 않았다. 따라서 AI가 실제로 과학적 경계를 확장하는지에 대한 대규모 실증적 증거가 부족했다.
• Why: AlphaFold2는 2억 개 이상의 단백질에 대한 구조 예측을 제공함으로써 역사적으로 확립된 표적의 집중적 활용과 광대한 구조적 암흑물질이 지배하던 분야에 전례 없는 규모의 예측 능력을 도입했다. 이는 AI-for-science 도구의 광범위한 채택 사례를 제공하여 AI가 과학적 주의의 방향을 실제로 변화시킬 수 있는지를 평가할 수 있는 독특한 기회를 제공한다.
• Approach: AlphaFold2 출시를 준실험적 설계로 활용하여 시계열 분석과 segmented linear regression을 수행했다. 서열 유사성 클러스터링(70% identity)을 기반으로 novel proteins 지표를 구성하고, pLDDT 신뢰도 점수와 알고리즘 인용 여부를 구분하여 분석했다. R-free와 resolution을 통해 AI 채택과 연구 방향 변화의 인과 메커니즘을 탐구했다.

Achievement

Figure 1: Adoption of AlphaFold2 in structural biology.

AlphaFold2 급속한 채택: 4년 내에 신규 구조의 20.5%가 AlphaFold2를 인용하는 논문과 관련되었으며, cryo-EM은 38.7%로 더 높은 채택률을 보였다.

새로운 단백질 연구의 반전: AlphaFold2 이전 연간 1.2 percentage point 감소하던 novel protein 비율이 출시 이후 통계적으로 유의미한 변화를 보였으며, 2024년 말까지 기대값보다 4.4 percentage point 높아졌다.

고신뢰도 예측의 효과: pLDDT > 70인 고신뢰도 예측 영역에서만 novelty 감소 추세가 중단되었고, 저신뢰도 예측 영역에서는 이러한 효과가 거의 나타나지 않았다.

하류 연구로의 확산: 구조 지식을 활용하는 248,191개 하류 논문에서 실험 구조를 갖지 않은 유전자와 덜 연구된 인간 유전자에 대한 참여가 2021년 이후 증가했다.

구성의 변화: AI 사용이 연구 품질 저하가 아니라 연구 초점의 변화를 반영하며, AlphaFold 인용 논문이 비인용 논문보다 38.3% 더 많은 novel protein 서열을 다룬다.

How

Figure 1: Adoption of AlphaFold2 in structural biology.

• Protein Data Bank의 245,396개 PDB 항목과 87,656개 관련 논문을 수집하고 AlphaFold 논문 인용을 AI 사용의 프록시로 활용
• Segmented linear regression으로 AlphaFold2 출시 전후 novelty 추세의 기울기 변화를 검정
• 서열 유사성 클러스터링(70% identity, alignment-based)을 통해 entity-level novelty 지표 구성
• pLDDT 신뢰도 점수에 따른 층화 분석으로 AI 예측 품질과 연구 방향 변화의 관계 파악
• R-free 및 resolution을 조건부 분석하여 AI 채택이 구성적 변화(compositional shift)임을 입증
• 단백질 서열 임베딩 기반 시각화로 AlphaFold 인용 항목이 기존 PDB와 다른 서열 공간 영역으로 집중됨을 확인

Originality

• AlphaFold2 출시를 준실험적 설계로 활용하여 광범위한 AI 채택의 거시적 효과를 평가하는 데 있어 독창적 접근
• 기존 연구가 개별 채택자 수준에 머물렀던 반면, 본 연구는 구조생물학 전체 분야 및 하류 생의학 논문까지 추적하는 포괄적 분석
• Novel protein 지표를 서열 유사성 클러스터링으로 정의하고, pLDDT 신뢰도 점수를 통해 AI 예측 품질의 역할을 구분하여 분석한 방법론적 혁신
• 질 저하 퍼즐을 해결하기 위해 resolution을 조건부로 통제하여 구성적 변화를 입증하는 인과 추론 강화

Limitation & Further Study

• 한정된 추적 기간: AlphaFold2 출시 이후 4년만 경과했으므로 장기적 효과를 평가하기에는 시간이 부족하며, 포화 추세가 실제로 달성되는지 확인 필요
• 인과성 식별의 한계: 준실험적 설계에도 불구하고 동시에 발생한 다른 기술적·제도적 변화의 영향을 완전히 배제하기 어려움
• AlphaFold 인용을 AI 사용의 프록시로 사용: 실제 AlphaFold 사용 여부를 직접 측정하지 못하므로 오분류 가능성 존재
• 구조 품질 지표의 제한성: R-free와 resolution이 AI 채택의 효과를 완벽하게 포착하지 못할 수 있으며, 다른 차원의 품질 지표 부족
• 다운스트림 효과 해석의 모호성: 하류 생의학 논문에서의 패턴이 AlphaFold 활용에 직접 기인하는지, 아니면 다른 경로를 통한 간접 효과인지 명확하지 않음

후속 연구: (1) AlphaFold3 및 다른 구조 예측 모델의 채택이 유사한 패턴을 보이는지 확인, (2) 다양한 생명과학 분야에서 유사한 분석 수행, (3) 개별 연구팀의 의사결정 과정에 대한 정성적 연구로 AI 보완성 메커니즘 탐구

Evaluation

총평: 본 논문은 AlphaFold2의 광범위한 채택을 준실험적 기회로 활용하여 AI가 실제로 과학적 경계를 확장할 수 있음을 처음으로 거시적 수준에서 입증한 획기적 연구다. 견고한 방법론, 포괄적인 데이터 추적(245,396개 구조), 신뢰도 있는 인과 분석(pLDDT 층화, resolution 조건부 통제)을 통해 AI 사용이 구성적 변화를 유도하고 새로운 단백질 탐구를 촉진함을 보여준다. 다만 4년이라는 제한된 추적 기간과 인용 기반 AI 사용 측정의 간접성이 있으나, 이는 과학에서의 AI 영향을 이해하는 데 중대한 기여를 하며 새로운 AI-for-science 모델의 개발과 정책 수립에 광범위한 함의를 제공한다.