StarCoder 2 and the Stack v2: The next generation

Motivation

• Known: Code LLM 분야에서 GitHub Copilot, CodeLlama, DeepSeekCoder 등의 기존 모델들이 개발되어 왔으며, 이들은 코드 생성 및 완성 작업에서 높은 성능을 보였다. BigCode 프로젝트는 StarCoder와 The Stack v1을 통해 이미 오픈 접근 방식의 코드 LLM 개발을 선도해왔다.
• Gap: 기존 오픈 가중치 모델들은 훈련 데이터를 공개하지 않아 투명성 부족, 테스트 벤치마크 오염 여부 파악 불가, 재현성 및 재사용성 제한이라는 문제가 있었다. The Stack v2는 Software Heritage Persistent Identifiers (SWHIDs)를 공개하여 완전한 데이터 투명성과 개발자 옵트아웃 메커니즘을 제공함으로써 이러한 간극을 해소하고자 한다.
• Why: 코드 LLM의 책임 있는 개발과 과학적 재현성을 위해서는 훈련 데이터의 완전한 공개와 투명성이 필수적이다. 또한 작은 모델도 더 큰 모델을 능가하는 성능 달성은 효율적인 모델 설계의 중요성을 보여준다.
• Approach: Software Heritage의 Merkle DAG 기반 아카이브에서 최신 주요 브랜치 저장소를 추출하고 내용 해시 기반 중복 제거를 수행한다. GitHub 이슈, Pull Request, Kaggle 노트북, 코드 문서, 수학 및 추론 관련 자연언어 데이터셋 등 고품질 데이터 소스들을 신중하게 선택하여 결합한다. 데이터 준비 과정에서 중복 제거, 저질 코드 필터링, PII 제거, 악성 코드 제거, 개발자 옵트아웃 처리를 수행한다.

Achievement

Figure 1: File-level license assignment logic.

StarCoder2-3B 성과: 유사 규모 다른 Code LLM (StableCode-3B, DeepSeekCoder-1.3B)을 대부분의 벤치마크에서 능가하며 StarCoderBase-15B와 동등 이상의 성능 달성. StarCoder2-15B 성과: CodeLlama-13B를 크게 능가하고 CodeLlama-34B와 동등 이상 성능. DeepSeekCoder-33B와 비교 시 저자원 프로그래밍 언어(D, Julia, Lua, Perl)에서 동등 이상, 코드 실행 추론 및 수학 추론 벤치마크에서 우수. StarCoder2-7B 성과: CodeLlama-7B 능가하나 DeepSeekCoder-6.7B 미달. 900B+ 고유 토큰의 훈련 데이터셋으로 4배 규모 확대 성취.

How

Figure 1: File-level license assignment logic.

• 두 단계 훈련 프로세스 적용: 초기 4k 컨텍스트 윈도우로 기본 모델 훈련 후 16k 컨텍스트 윈도우로 미세조정
• Chinchilla 계산 최적값을 초과하여 3.3~4.3조 토큰으로 훈련 진행
• 데이터셋에 대해 최대 5 에포크 제한 준수
• HumanEval, MBPP, CodeChef 등 포괄적인 코드 LLM 벤치마크 수트에서 평가
• Software Heritage의 SWHIDs 공개로 완전한 데이터 추적 가능성 확보
• OpenRAIL 라이선스로 모델 가중치 공개

Originality

• Software Heritage 기반 구축으로 619개 프로그래밍 언어 포괄 범위 확대
• SWHIDs 공개를 통한 완전한 데이터 투명성 제공 (기존 오픈 가중치 모델과 차별화)
• 개발자 옵트아웃 메커니즘 체계화로 데이터 거버넌스 개선
• GitHub 이슈, Pull Request, Jupyter/Kaggle 노트북 등 다양한 보조 데이터 소스 통합
• PII 제거, 악성 코드 필터링 등 데이터 정제 프로세스 구체화

Limitation & Further Study

• StarCoder2-7B 모델의 성능이 예상보다 부진하여 명확한 원인 분석 부족
• 기존 compute-optimal 가이드라인(Chinchilla)을 초과한 훈련의 장기적 영향 미검증
• 저자들이 StarCoder2-7B의 상대적 성능 저하 이유를 명시하지 못함
• 후속 연구: 모델 크기별 최적 훈련 토큰 수 재검토, 저자원 언어 성능 최적화 방법 탐색, 데이터 품질 지표의 세분화

Evaluation

총평: 이 논문은 대규모 코드 LLM 개발에 있어 데이터 투명성과 책임 있는 개발의 표준을 제시한다. StarCoder2 모델들은 다양한 크기와 다양한 프로그래밍 언어 환경에서 경쟁력 있는 성능을 달성하며, Software Heritage 기반의 데이터 인프라와 SWHIDs 공개는 과학적 재현성을 크게 향상시킨다. 다만 StarCoder2-7B의 예상 외 성능 미달에 대한 분석이 부재한 점이 아쉽다.