MolOpt-Eval: Can Frontier LLMs Perform Structure-Based Hit-to-Lead Optimization?

Motivation

• Known: LLM들은 수학, 코드 생성, 과학적 추론에서 이미 뛰어난 성능을 보여왔으며, 신약 개발에서 구조 기반 분자 최적화는 hit 화합물을 pocket geometry 제약 하에서 반복적으로 편집하여 binding affinity를 향상시키는 핵심 과제로 알려져 있다.
• Gap: LLM을 분자 최적화기(molecular optimizer)로 사용했을 때의 효능은 거의 탐구되지 않았으며, end-to-end 실험에서 실패가 관찰되더라도 그 실패가 구조 perception, strategy formulation, execution 중 어느 단계에서 기인하는지 분리하여 진단할 수 있는 방법론이 부재했다.
• Why: 실패 원인을 reasoning chain 단계별로 분리해야 각 능력 결핍에 맞는 개선 방향(예: structure-aware molecular foundation model 개발)을 제시할 수 있으며, 이는 LLM 기반 신약 발굴 파이프라인의 신뢰성 확보에 실질적으로 중요하다.
• Approach: 먼저 3개의 frontier LLM으로 실제 30개 protein-ligand complex에 대해 end-to-end hit-to-lead 최적화 실험을 수행해 문제를 확인한 뒤, MolOpt-Eval이라는 진단 벤치마크를 설계하여 Structural Perception, Strategy Discovery, Strategy Execution 세 단계와 Chain-of-Thought quality 분석으로 실패 원인을 세분화하여 14개 LLM을 평가한다.

Achievement

Figure 1. End-to-end affinity optimization test. Each point denotes

1. End-to-end 실패 입증: Boltz-2로 예측한 pIC50 변화가 음의 회귀 기울기를 보여, 개선은 저친화성 리간드에 집중되고 고친화성 리간드는 오히려 악화되어 정향적 최적화가 아닌 평균으로의 회귀 현상임을 규명.
2. 3단계 진단 벤치마크 구축: 30개 DUD-E 타겟, 150개 active protein-ligand complex, PLIP 기반 상호작용 주석을 활용해 구조 인지-전략 발견-전략 실행을 독립적으로 평가하는 10개(초록 상 13개) 태스크 설계.
3. 핵심 병목 식별: 2D 분자 구조(micro-F1=0.92)와 단백질 fold 분류(최대 90%)는 높은 정확도를 보이나 3D interaction perception은 F1<0.40으로 급락, 전략은 화학적으로 타당(>93%)하고 SMILES 유효성도 높지만(>95%) Boltz-2 co-folding 검증 시 의도한 상호작용 달성률은 2.5% 미만임을 규명.
4. 모델 간 격차 소멸 및 거리 민감도 분석: 가장 어려운 태스크에서는 모델 간 성능 차이가 사라져 패러다임 자체의 한계임을 시사했고, distance sensitivity 실험으로 LLM이 공간 정보를 처리는 하지만 이를 정확한 상호작용 예측으로 전환하지 못함을 확인.

How

Figure 3. Radar plots compare the best-performing model from each vendor across selected metrics in Stage 1&2 (left) and

• DUD-E에서 30개 단백질 타겟 선정, 각 타겟당 co-crystallized ligand와 분자 다양성 샘플링으로 선정한 4개 추가 활성 화합물로 총 150개 protein-ligand complex 구성
• PLIP을 이용해 hydrogen bond, hydrophobic contact, π-stacking, salt bridge 등 4종의 non-covalent interaction을 프로그래밍적으로 주석 처리하여 구조 기반 context로 모델 입력에 포함
• 전략 실행(Strategy Execution)을 전략 생성과 독립적으로 평가하기 위해 (X, Y, Z) triplet 형태의 전문가 큐레이션 최적화 전략 데이터셋 별도 구축
• GPT, Claude, Gemini, Kimi, GLM 계열의 14개 frontier LLM을 통일된 실험 조건 하에서 벤치마크
• 최적화된 분자의 실제 결합 상호작용 실현 여부는 Boltz-2 co-folding으로 검증
• Chain-of-Thought trace를 분석하여 사실 오류, 논리적 불일치, 추론-실행 간 불일치를 진단하는 Inference Quality 모듈 별도 운영
• distance sensitivity 실험을 통해 LLM이 리간드-포켓 간 거리 변화에 반응하는지 별도 검증

Originality

• 기존에는 LLM을 분자 최적화에 end-to-end로 적용한 결과만 보고되었으나, 본 논문은 reasoning chain을 perception-strategy-execution의 세 인지 단계로 명시적으로 분해하여 실패 지점을 국소화하는 진단적 프레임워크를 처음 제시
• 2D/3D 구조 인지, 화학적 타당성, 실제 물리적 상호작용 실현 여부를 각각 독립된 지표(micro-F1, SMILES validity, Boltz-2 co-folding 기반 interaction 달성률)로 분리 측정하는 방식이 독창적
• distance sensitivity라는 통제된 실험을 통해 LLM의 공간 인지와 공간 예측 능력 간의 괴리를 정량적으로 입증한 점이 새로움

Limitation & Further Study

• 벤치마크가 DUD-E 유래 30개 타겟과 PLIP 기반 상호작용 주석에 의존하므로, 실제 신약 개발 현장의 더 다양하고 노이즈가 많은 구조 데이터에 대한 일반화 가능성은 검증되지 않음
• Boltz-2와 같은 co-folding 예측 도구 자체의 정확도에 의존적이어서, 예측 오차가 진단 결과에 혼입될 가능성 존재
• LLM에 텍스트/구조 기반 context만 제공되었을 뿐, 3D 구조를 직접적으로 처리하는 멀티모달 또는 그래프 기반 입력 방식과의 비교는 제한적으로 이루어져, 후속 연구로 structure-aware molecular foundation model과의 비교 실험이 필요
• 태스크 수(10~13개)와 모델 수(14개) 확장 시 결과의 안정성에 대한 추가 검증이 요구됨

Evaluation

총평: LLM을 구조 기반 분자 최적화에 적용할 때의 실패 원인을 reasoning chain 단계별로 분해하여 정량적으로 진단한 체계적이고 시의적절한 연구로, 3D spatial reasoning이 핵심 병목임을 설득력 있게 제시하지만 벤치마크의 외부 검증 도구(Boltz-2, PLIP) 의존성과 일반화 가능성은 추가 검토가 필요하다.