Flexible Kernels for Protein Property Prediction

Motivation

• Known: 단백질 특성(binding affinity, thermostability 등)은 대체로 개별 mutation에 대해 근사적으로 additive하며, BLOSUM/PAM 같은 substitution matrix는 진화적 아미노산 치환 유사도를 log-odds 형태로 인코딩하는 고전적 bioinformatics 도구로 알려져 있다. 또한 AlphaFold2와 같은 구조 예측 기반 foundation model embedding이 protein property 예측의 discriminator로 활용되고 있다.
• Gap: 기존 protein property 예측 방법은 foundation model embedding에 의존하는 복잡한 모델이거나 elementary kernel(linear, RBF)에 그쳐, 데이터 효율성·불확실성 추정 품질·multi-task 적용성을 동시에 만족시키는 방법이 부족했으며, substitution matrix의 infinite divisibility 성질을 활용한 학습 가능한 커널 구조도 제시된 바 없었다.
• Why: sparse한 실험 데이터로부터 정확하고 불확실성 추정이 가능한 protein property landscape 모델을 구축하는 것은 protein design 파이프라인에서 생성 모델과 판별 모델을 잇는 핵심 요소이며, 데이터 효율적이고 multi-task에 적합한 방법론은 실제 실험 자원이 제한된 상황에서 실질적 가치를 지닌다.
• Approach: BLOSUM 계열 substitution matrix가 갖는 infinite divisibility 성질을 이용해 학습 가능한 Hadamard power 지수를 커널 하이퍼파라미터로 도입하고, 이를 linear kernel과 결합해 local linearity를 내재한 Gaussian process kernel을 구성하며, 이를 foundation model 기반 구조 정보로 조건화해 확장한다.

Achievement

Figure 2. Predictive performance as a function of the number of training data points in the cross-validation setting. We

1. 광범위한 벤치마킹: 21개 데이터셋과 3가지 상이한 데이터 규모(regime)에서 30개 이상의 protein property predictor를 비교하는 종합적 벤치마크를 수행했다.
2. 경량 sequence-only GP의 우수성: 수백만 파라미터의 foundation model에 의존하는 복잡한 structure-conditioned predictor보다 sequence 정보만 사용하는 GP가 더 나은 성능을 자주 보였다.
3. structure-conditioned multi-task GP 레시피: foundation model embedding을 이용해 zero-shot으로 구조를 반영한 커널을 만드는 간단하면서도 강력한 multi-task GP 학습법을 제시하고, 이것이 local supervised learning 방법을 확실히 능가함을 보였다.

How

Figure 3. Predictive performance of GP models as a function of the

• BLOSUM 등 substitution matrix를 correlation matrix 형태(Eq.10)로 정규화해 k(x,x)=1을 만족하는 커널의 기본 요소로 사용
• 대부분의 BLOSUM 계열 행렬이 positive semi-definite일 뿐 아니라 infinite divisible함을 관찰하고, Hadamard power S^∘α의 지수 α를 landscape별 학습 가능한 하이퍼파라미터로 도입해 아미노산 간 유사도 강도를 조절
• linear kernel klin과 임의의 커널 k'을 곱한 형태 k'klin이 위치별 계수 β(x)에 GP prior를 부여하는 것과 동치임을 보여, local linearity를 명시적으로 내재화
• 이러한 sequence kernel을 구조 예측 foundation model의 embedding으로 조건화하여 structure-aware substitution matrix 역할을 하는 structure-conditioned kernel로 일반화
• 다중 protein property landscape에 대해 GP를 multi-task 형태로 학습시켜 데이터가 부족한 상황에서도 성능을 끌어올림
• 하이퍼파라미터에 적절한 prior(Sec. 3.5)를 부여해 최적화 안정성 확보

Originality

• substitution matrix의 infinite divisibility라는 수학적 성질을 최초로 관찰하고 이를 학습 가능한 커널 지수로 활용한 점
• local linearity를 커널의 곱셈 구조(product kernel k'klin)로 명시적으로 유도하여 이론적 정당성을 제공한 점
• foundation model embedding을 구조 조건화된 substitution matrix 형태로 재해석하여 sequence 커널과 자연스럽게 결합시킨 zero-shot 구조 커널 구성법
• GP 기반 접근을 21개 데이터셋, 30개 이상 baseline과 비교하는 대규모 벤치마크로 실증한 점

Limitation & Further Study

• 발췌된 본문에서는 고정 길이 서열과 정렬된 시퀀스를 전제로 하고 있어 가변 길이나 정렬이 어려운 단백질에 대한 일반화 가능성이 제한적일 수 있음
• GP의 계산 복잡도가 데이터 수에 대해 cubic(O(N^3))이라는 점이 대규모 landscape에는 확장성의 제약이 될 수 있음
• BLOSUM 계열 외 다른 substitution matrix(PAM 등)의 infinite divisibility 여부와 실제 성능 차이에 대한 심층 분석이 추가로 필요
• 후속 연구로는 sparse GP 근사나 inducing point 방법을 통한 확장성 개선, 다양한 구조 foundation model과의 결합 비교, classification task로의 확장 검증 등이 기대됨

Evaluation

총평: substitution matrix의 수학적 성질과 local linearity라는 생물물리학적 통찰을 GP 커널 설계에 정교하게 결합한 참신하고 실용적인 연구로, 실험적 검증 규모도 상당히 크다는 점에서 protein property 예측 커뮤니티에 실질적 기여를 할 것으로 평가된다.