An AI system to help scientists write expert-level empirical software

Motivation

• Known: 경험적 소프트웨어(empirical software)는 과학 발견의 핵심이며, 특히 단백질 구조 예측 등 여러 노벨상 수상 연구의 기초가 되었다. 그러나 도메인 특화 소프트웨어의 수동 개발은 매우 느리고 어렵다.
• Gap: 과학적 경험적 소프트웨어 개발의 병목은 수동적이고 직관에 의존하는 설계 과정으로, 체계적인 대안 탐색과 광범위한 최적화가 결여되어 있다.
• Why: 자동화된 소프트웨어 생성 시스템은 과학적 발견 사이클을 가속화하고, 인간이 탐색하기 어려운 솔루션 공간에서 고품질의 방법들을 발견할 수 있게 한다.
• Approach: ERA는 LLM이 코드를 반복적으로 수정하면서 Tree Search 알고리즘으로 탐색을 가이드하며, 과학 논문, 교과서, 검색 결과 등으로부터 추출한 연구 아이디어를 프롬프트에 주입하여 LLM의 코드 생성을 향상시킨다.

Achievement

• 생물정보학: scRNA-seq 배치 통합에서 공개 리더보드의 최고 인간 개발 방법을 능가하는 40개의 신규 방법 발견
• 역학: COVID-19 입원 예측에서 CDC 앙상블 및 모든 개별 모델을 초과하는 14개 모델 생성
• 지역공간 분석, 신경 활동 예측, 수치 적분 해결: 여러 과학 분야에서 전문가 수준의 소프트웨어 생성
• 시계열 예측: 새로운 규칙 기반 구성 방법 개발
• Kaggle Playground 벤치마크: 16개 대회에서 단일 LLM 호출, best-of-1000 LLM 호출, AIDE를 모두 능가하는 성능 달성

How

Figure 1 | Schematic and performance of ERA. a, Schematic of ERA algorithm. A scorable task,

• LLM이 현재 최고 성능 코드와 경쟁 설명을 입력으로 받아 개선된 코드 생성
• Tree Search 알고리즘으로 여러 코드 후보자들 중 탐색할 노드 선택 (exploitation-exploration 균형)
• 코드를 샌드박스 환경에서 실행하여 품질 메트릭 계산
• 과학 논문 요약, AI 보조 문헌, 전문가 조언 등의 연구 아이디어를 프롬프트에 통합
• 성공적인 구현들을 재조합하여 더 강력한 방법 생성
• Kaggle 대회에서 직접 평가하여 인간 성능과 보정

Originality

• LLM과 Tree Search의 결합으로 과학적 소프트웨어 자동 생성이라는 새로운 접근법 제시
• 외부 연구 아이디어의 자동 통합 메커니즘 (논문 요약, 검색 엔진 활용) 개발
• 6개의 서로 다른 과학 분야에 걸친 다양한 실증적 작업에서 tree search의 효과 입증
• 단순한 코드 돌연변이 시스템을 넘어 지식 통합 및 아이디어 재조합을 통한 혁신

Limitation & Further Study

• 평가 대상이 주로 명확한 정량 메트릭이 있는 '점수 가능한' 작업(scorable tasks)에 제한되어, 이론 개발이나 정성적 과학 문제에는 적용 어려움", '계산 비용이 보충 자료 Table S1에 나와 있지만 대규모 탐색에 상당한 자원 필요
• LLM의 코드 생성 능력에 의존하므로 모델 성능과 한계가 시스템 전체 성능을 제한할 수 있음
• Tree Search 전략의 최적성에 대한 이론적 분석 부족
• 후속 연구: 더 복잡한 과학 문제로의 확장, 멀티모달 입력 활용, 동적 메트릭 학습, 인간-AI 협력 강화 필요

Evaluation

총평: ERA는 LLM과 Tree Search를 결합하여 경험적 소프트웨어 개발을 자동화하는 혁신적 시스템으로, 생물정보학부터 역학까지 다양한 과학 분야에서 최첨단 성능을 달성함으로써 과학적 발견 사이클을 가속화할 수 있는 중요한 발전을 제시한다.