PepLang-Bench - Evaluating Large Language Models Understanding On Peptide Related Tasks

Motivation

• Known: LLM은 ChemCrow, CACTUS, ChemOrch, MECo 같은 tool-augmented 접근과 ChemDFM, Ether-0, NatureLM 같은 domain-specific reasoning model을 통해 소분자 화학(functional group identification, SMILES generation, IUPAC naming, solubility editing 등)에서 상당한 진전을 보였고, ChemBench·ChemLLMBench·ChemCoT-Bench·ChemPro 같은 벤치마크로 평가되어 왔다.
• Gap: 그러나 이러한 벤치마크와 domain-specific model들은 대부분 small-molecule 화학 및 일반 화학 지식에 초점을 맞추고 있어, sequence convention·chemical notation system(SMILES, HELM)·structural reasoning(선형-환형 변환)을 동시에 요구하는 peptide 특화 과제에 대해서는 체계적으로 검증된 바가 없으며, RDKit의 HELM parser도 canonical amino acid에 한정되어 non-canonical monomer를 지원하지 못한다.
• Why: Peptide는 소분자와 단백질 사이에 위치하며 사슬형·stapled·cyclic 구조와 D-amino acid, N-methylation, lipidation 등 다양한 non-canonical 변형을 포함해 신약개발에서 핵심적인 모달리티이므로, LLM이 이러한 이질적 표현(sequence, SMILES, HELM, 3D 구조) 간 cross-modal reasoning을 얼마나 잘 수행하는지 규명하는 것은 향후 peptide 특화 추론 모델 개발과 강화학습 기반 학습 신호 설계에 중요하다.
• Approach: 저자들은 verifiable reward function을 갖춘 7개 과제(GRAVY, pI, instability index 예측; SMILES↔HELM 변환; linear↔cyclic SMILES 변환)를 therapeutic 및 synthetic peptide 데이터셋에 대해 정의하고, code interpreter 사용 유무에 따른 8개 generalist/domain-specific LLM의 성능과 실패 양상을 비교 분석했다.

Achievement

Figure 1. Overview of PepLang-Bench. (a) Datasets: Two peptide subsets; a therapeutic set composed of naturally occurrin

1. 혼재된 generalist 성능 패턴 규명: GPT-5는 GRAVY에서 99.7%지만 pI에서는 21.1%에 그치고, Gemini-3-Pro는 반대로 GRAVY 4.0%, pI 64.0%를 기록하는 등 모델별로 상반된 강약점이 드러났다.
2. code interpreter의 과제 의존적 효과 발견: 코드 실행이 pI(+70%), instability index(+86%), 대부분의 notation conversion(L→C therapeutic +84%, C→L therapeutic +81%)을 크게 개선하지만, therapeutic peptide의 SMILES→HELM 변환은 93.8%에서 82.5%로 오히려 하락하는 trade-off를 확인했다.
3. noncanonical residue에 의한 일반화 격차 노출: Aib, D-amino acid 등 non-proteinogenic 잔기를 포함한 synthetic peptide에서 SMILES→HELM 정확도가 GPT-5는 93.8%→26.2%, Gemini-3-Pro는 81.0%→27.0%로 급락하여 현재 화학 특화 사전학습이 다루지 못하는 distribution gap을 드러냈다.
4. domain-specific model의 체계적 실패 모드 분석: ChemDFM-R 등 domain-specific model은 notation·structural adaptation 과제에서 0.92 이상의 confidence를 보고하면서도 정확도 0%를 기록했으며, amino acid를 주기율표 원소로 오인하는 domain confusion, 반복적 degenerate reasoning loop, sequence hallucination, non-canonical residue 무시 등의 구체적 오류 패턴을 확인했다.
5. 전문가 prompt 개선 연구: linear-to-cyclic 변환 과제에서 도메인 전문가와 함께 prompt를 개선한 결과 측정 가능한 성능 향상은 있었으나 실용 수준에는 미치지 못해, 더 나은 prompting이 근본적 격차를 해소하지는 못함을 보였다.

How

• 7개 과제를 3개 범주(property prediction, notation conversion, structural adaptation)로 조직하고 각 과제에 task-specific verifiable reward function을 설계
• therapeutic peptide 데이터셋과 non-canonical residue를 포함한 synthetic peptide 데이터셋을 병행 평가하여 distribution gap을 노출
• 8개 모델(generalist: GPT-5, o4-mini, Gemini-3-Pro, Qwen 3.5; domain-specific: ChemDFM-R, ChemDFM-v2.0, Ether-0, NatureLM-8x7B)을 code interpreter 유무 조건에서 비교
• reasoning trace를 정성 분석하여 domain confusion, sequence hallucination 등 실패 유형을 도출
• 도메인 전문가와 함께 linear-to-cyclic 변환 과제에 대한 targeted prompt refinement 실험을 수행하여 실패가 표면적 프롬프팅 문제인지 근본적 한계인지 검증

Originality

• 기존 화학 벤치마크(ChemBench, ChemLLMBench, ChemCoT-Bench, ChemPro)가 다루지 않은 peptide 특화 사슬형·환형 구조 변환 및 notation 변환 과제를 최초로 체계화
• amino acid sequence, SMILES, HELM 등 이질적 표현 간 cross-modal 변환을 하나의 벤치마크에서 통합 평가
• code interpreter 사용이 과제에 따라 상반된 효과(도움 vs 저해)를 낸다는 trade-off를 실증적으로 규명
• D-amino acid, Aib 등 non-canonical residue를 포함한 synthetic peptide를 별도 구성해 domain-specific 사전학습의 distribution gap을 드러냄
• verifiable reward function을 제공하여 향후 강화학습 기반 peptide 특화 추론 모델 훈련의 신호로 활용 가능하게 설계

Limitation & Further Study

• 8개 모델, 7개 과제로 범위가 제한적이며, 데이터셋 규모나 다양성(예: 얼마나 많은 peptide 샘플이 포함되었는지)에 대한 상세 정보가 발췌본에서는 부족함
• domain-specific model들이 대부분 peptide 전용으로 post-training되지 않았기에, 비교가 다소 불공정할 수 있어 peptide 특화 사전학습 모델과의 비교가 추가로 필요함
• code interpreter의 저해 효과(SMILES→HELM 하락) 원인에 대한 심층 분석(왜 코드 실행이 특정 변환에서 오히려 해가 되는지)이 본문에서 충분히 규명되지 않음
• prompt 개선 연구가 linear-to-cyclic 한 과제에만 국한되어 일반화 가능성이 제한적이며, 향후 다양한 과제에 대한 prompt engineering과 실제 peptide 특화 reinforcement learning 훈련을 통한 후속 검증이 필요함

Evaluation

총평: Peptide라는 중요하지만 그동안 간과된 화학 모달리티에 대해 최초로 체계적인 LLM 벤치마크를 제시하고, code interpreter의 양면성과 non-canonical residue에 대한 일반화 격차 등 실용적으로 중요한 통찰을 제공하는 의미 있는 workshop-level 연구이다.