Trusted Convergence and Knowing What We Know Together: Privacy-Aware Knowledge Discovery Across Neurodegenerative Disease Institutes

Motivation

• Known: 기존에 RAG는 지식 집약적 과제에서 parametric LLM보다 우수하며, BioClinicalBERT나 PubMedBERT 같은 도메인 특화 fine-tuning이 일반 목적 embedding보다 임상·생의학 텍스트에서 성능이 좋다는 것이 알려져 있다. 또한 federated learning이 raw data 교환 없이 기관 간 모델 학습을 가능하게 하는 방법으로 활용되어 왔다.
• Gap: 현재 AI 도구들은 검증되지 않은 웹 소스에 의존하며, 안전하고 품질 관리된 지식 공유 메커니즘이 없다. 특히 신경과학 특화 embedding model이 공개적으로 존재하지 않으며, 기관 간 privacy-aware 지식 발견을 지원하는 RAG framework도 부재하다.
• Why: 알츠하이머 등 신경퇴행성질환 치료법 개발을 가속화하려면 서로 다른 기관의 전문성이 어디서 수렴하는지 파악하는 convergence science가 필수적이지만, 문헌량 폭증과 기관 간 데이터 공유 제약이 이를 방해하고 있어 이를 해결하는 신뢰 가능한 도구가 중요하다.
• Approach: DZNE와 UK DRI의 큐레이션된 기관 문헌 코퍼스에 기반한 도메인 적응형 RAG framework를 구축하고, 신경과학 특화 embedding model을 fine-tuning하며, raw text 교환 없이 embedding만 공유하여 기관 간 공통 연구 주제를 식별하는 방법을 제시한다.

Achievement

Figure 3. Accuracy of large language models on biomedical MCQ benchmarks across three retrieval configurations. Five gen

1. 도메인 적응형 embedding model: 기관 코퍼스로 fine-tuning하여 recall@1 0.678, MRR@20 0.780을 달성해 baseline 대비 향상된 검색 성능을 보였다.
2. Privacy-aware embedding 공유 방식: raw text 교환 없이 DZNE와 UK DRI 간 공유 연구 주제와 협력 기회를 식별하는 embedding-sharing 접근법을 제시했다.
3. Reasoning vs non-reasoning LLM 비교: query 복잡도 tier별로 실험하여, 복잡한 질의에는 신뢰 가능한 기관 지식 기반 RAG가 필수적이며, 선택적 generative fine-tuning은 도메인 특화 synthesis 과제에서만 이득을 준다는 것을 실증했다.
4. 오픈소스 배포: DZNE 8,884편, UK DRI 2,672편의 논문에 대해 버전 관리가 엄격한 lightweight application으로 Giovanna를 배포하여 재현성을 확보했다.
5. 계산 효율성: 별도 GPU 없이 동작하며 지식베이스 확장 시 재학습이 필요 없어, 대규모 agentic AI 시스템 대비 환경적으로 책임 있는 대안임을 제시했다.

How

Figure 3. Accuracy of large language models on biomedical MCQ benchmarks across three retrieval configurations. Five gen

• DZNE(전문 PDF 8,884편, plaintext abstract 9,814건)와 UK DRI(전문 PDF 2,672편)의 기관 문헌 코퍼스를 수집·구축
• SimCSE 등 unsupervised/self-supervised/supervised contrastive learning(CL) 기법을 활용해 신경과학 특화 embedding model을 기관 abstract 데이터로 fine-tuning
• NDD(신경퇴행성질환) 및 public benchmark MCQ를 생성하는 파이프라인(Fig 1, Fig 2)을 구축하여 평가 데이터셋 마련
• reasoning model과 non-reasoning model을 simple/institutional/multi-document synthesis 등 query-complexity tier로 나누어 RAG 유무에 따른 정확도 비교(Fig 3)
• 도메인 적응형 embedding으로 topic modelling(예: BERTopic 계열)과 저자 단위 분석을 수행해 시간에 따른 연구 주제 변화(Fig 4)와 기관 간 연구 영역 중첩(Fig 5)을 시각화
• raw text 없이 embedding만 교환하여 기관 간 공통 주제를 식별하는 privacy-aware 방식 적용

Originality

• 기존 RAG 시스템들이 공개 웹 검색에 의존하는 것과 달리, 기관 통제 하의 curated 문헌만을 근거로 하는 privacy-first 설계를 채택함
• 신경과학 특화 embedding model을 공개 도메인 최초로 제시함
• raw text 교환 없이 embedding만으로 기관 간 연구 융합을 식별하는 새로운 embedding-sharing 프로토콜을 고안함
• federated learning 대비 조정 오버헤드가 적은 경량 대안으로서 dense representation 공유를 활용함

Limitation & Further Study

• 두 기관(DZNE, UK DRI)에 한정된 사례 연구로, 더 많은 기관·질환 영역으로의 일반화 가능성이 검증되지 않음
• embedding 공유 방식이 실제로 얼마나 privacy를 보장하는지(예: embedding inversion 공격 등)에 대한 정량적 보안 분석이 부족함
• MCQ 기반 benchmark로 LLM 성능을 평가하는 방식이 실제 연구자 질의의 복잡성과 완전히 일치하지 않을 수 있음
• 후속 연구로 더 많은 기관을 포함한 대규모 federated 배포, embedding 공유의 프라이버시 보장에 대한 정형적 검증, 그리고 실제 연구자 대상 사용성 평가가 필요함

Evaluation

총평: 신경과학 연구기관 간 신뢰 가능하고 프라이버시를 보존하는 지식 발견이라는 실질적 문제를 다루는 실용적이고 시의적절한 연구로, 도메인 특화 embedding fine-tuning과 embedding 공유 프로토콜이라는 구체적 기여가 돋보인다. 다만 두 기관에 국한된 검증 범위와 프라이버시 보장에 대한 정량적 분석 부족은 향후 확장 및 보완이 필요하다.