Learning skillful medium-range global weather forecasting

์ €์ž: Remi Lam, Alvaro Sanchez-Gonzalez, Matthew Willson, Peter Wirnsberger, Meire Fortunato, Ferran Alet, Suman Ravuri, Timo Ewalds, Zach Eaton-Rosen, Weihua Hu, Alexander Merose, Stephan Hoyer, George Holland, Oriol Vinyals, Jacklynn Stott, Alexander Pritzel, Shakir Mohamed, Peter Battaglia | ๋‚ ์งœ: 2023-12-22 | DOI: 10.1126/science.adi2336 📄 PDF


Essence

GraphCast๋Š” Graph Neural Network ๊ธฐ๋ฐ˜์˜ ๊ธฐ๊ณ„ํ•™์Šต ๋ชจ๋ธ๋กœ, ๊ณผ๊ฑฐ ์žฌ๋ถ„์„ ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ํ•™์Šตํ•˜์—ฌ 10์ผ ์•ž์˜ ๋‚ ์”จ๋ฅผ 0.25ยฐ ํ•ด์ƒ๋„๋กœ 1๋ถ„ ์ด๋‚ด์— ์˜ˆ์ธกํ•˜๋ฉฐ, ๊ธฐ์กด์˜ ์ˆ˜์น˜ ๊ธฐ์ƒ ์˜ˆ๋ณด ์‹œ์Šคํ…œ์„ 90% ์ด์ƒ์˜ ๊ฒ€์ฆ ํ•ญ๋ชฉ์—์„œ ๋Šฅ๊ฐ€ํ•œ๋‹ค.

Motivation

Achievement

Figure 2

Fig. 2. Global skill and skill scores for GraphCast and HRES in 2018.

How

Originality

Limitation & Further Study

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

์ดํ‰: GraphCast๋Š” Graph Neural Network์˜ ํšจ์œจ์„ฑ๊ณผ ๊ธฐ๊ณ„ํ•™์Šต์˜ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ํ•™์Šต ๋Šฅ๋ ฅ์„ ๊ฒฐํ•ฉํ•˜์—ฌ, ์ „ํ†ต ์ˆ˜์น˜ ๊ธฐ์ƒ ์˜ˆ๋ณด๋ฅผ ๋Šฅ๊ฐ€ํ•˜๋Š” ํ˜์‹ ์ ์ธ ์ค‘๊ธฐ ์˜ˆ๋ณด ์‹œ์Šคํ…œ์„ ์ œ์‹œํ•œ๋‹ค. ๊ณ ์†ยท๊ณ ์ •ํ™•ยท๊ณ ํ•ด์ƒ๋„์˜ ์‹ค์šฉ์  ์„ฑ๋Šฅ๊ณผ ๊ทนํ•œ ๊ธฐ์ƒ ์˜ˆ์ธก ์‘์šฉ ๊ฐ€๋Šฅ์„ฑ์œผ๋กœ ๊ธฐ๊ณ„ํ•™์Šต ๊ธฐ๋ฐ˜ ๋ณต์žก ๋™์—ญํ•™๊ณ„ ๋ชจ๋ธ๋ง์˜ ํฐ ์ง„์ „์„ ๋‚˜ํƒ€๋‚ธ๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
342๋ฒˆ ๋…ผ๋ฌธ์€ ํ™˜๊ฒฝ๊ณผํ•™์— ํŠนํ™”ํ•œ ํŒŒ์šด๋ฐ์ด์…˜ ๋ชจ๋ธ ์„œ๋ฒ ์ด๋กœ 2206์—์„œ ๋‹ค๋ฃจ๋Š” ๊ธฐ์ƒ AI ๋ชจ๋ธ์˜ ์ด๋ก ยท์‘์šฉ์  ๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ๋ฅผ ๋ณด์™„ํ•ฉ๋‹ˆ๋‹ค.
๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
2206๋ฒˆ ๋…ผ๋ฌธ์€ ๊ธ€๋กœ๋ฒŒ AI ๊ธฐ๋ฐ˜ ์ค‘๊ธฐ ๊ธฐ์ƒ์˜ˆ์ธก ๋ชจ๋ธ GraphCast๋ฅผ ์ œ์•ˆํ•˜์—ฌ, 2985์˜ ์ง€์—ญํ™” ํƒœํ’ ์˜ˆ์ธก๋ชจ๋ธ ์—ฐ๊ตฌ์˜ ๊ธฐ๋ฐ˜์ด ๋˜๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
2218 ๋…ผ๋ฌธ์€ Transformer ๊ณ„์—ด ๋ชจ๋ธ์„ ์ด์šฉํ•œ ๊ณ ํ•ด์ƒ๋„ ๋‚ ์”จ ์˜ˆ์ธก์œผ๋กœ, 2206์˜ GraphNeural ๋ฐฉ์‹๊ณผ ์ง์ ‘ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
2206 ๋…ผ๋ฌธ์€ GraphCast ๊ธฐ๋ฐ˜์˜ ๋‚ ์”จ ์˜ˆ๋ณด๋กœ์„œ, FuXi์™€ ๊ธฐ์ˆ ์  ์ฐจ๋ณ„์ ์„ ๋น„๊ตํ•˜๊ธฐ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์•™์ƒ๋ธ” ๊ธฐ๋ฐ˜ ๊ธฐ์ƒ ์˜ˆ์ธก ์‹œ์Šคํ…œ์˜ ๋Œ€์•ˆ์  ์ ‘๊ทผ๋ฒ•์„ ์ œ์‹œํ•˜๋Š” ์—ฐ๊ตฌ์ด๋‹ค
๋‹ค๋ฅธ ์ ‘๊ทผ
๋จธ์‹ ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ ๊ธฐ์ƒ ์˜ˆ์ธก ๋ชจ๋ธ์˜ ์‹ค์šฉ์  ์ ์šฉ์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋ฌผ๋ฆฌ ํ˜„์ƒ ๋ฐ์ดํ„ฐ์—์„œ ๋ถˆํ™•์‹ค์„ฑ์„ ์ •๋Ÿ‰ํ™”ํ•˜๋Š” ๋จธ์‹ ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ ์œ ์‚ฌํ•œ ์ ‘๊ทผ๋ฒ•์„ ๋‹ค๋ฃจ๋Š” ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
๋Œ€๊ทœ๋ชจ AI ๊ธฐ๋ฐ˜ ๋Œ€๊ธฐ ์˜ˆ์ธก ๋ชจ๋ธ๋กœ ์œ ์‚ฌํ•œ ์ „์—ญ ์˜ˆ๋ณด ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฅธ ์•„ํ‚คํ…์ฒ˜๋กœ ํ•ด๊ฒฐํ•œ๋‹ค
๋‹ค๋ฅธ ์ ‘๊ทผ
๊ธฐํ›„ ๋ชจ๋ธ๋ง์„ ์œ„ํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ์—๋ฎฌ๋ ˆ์ดํ„ฐ์˜ ์„ค๊ณ„ ๋ฐ ์ ์šฉ์„ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ „์—ญ ๋Œ€๊ธฐ ์‹œ์Šคํ…œ ์˜ˆ์ธก์„ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ AI ๊ธฐ๋ฐ˜ ๋Œ€์•ˆ์  ์ ‘๊ทผ๋ฒ•์„ ์ œ์‹œํ•˜๋Š” ์—ฐ๊ตฌ์ด๋‹ค
๋‹ค๋ฅธ ์ ‘๊ทผ
Transformer ๊ณ„์—ด ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ค‘๊ธฐ ๋‚ ์”จ ์˜ˆ์ธก ์„ฑ๋Šฅ์„ ๋น„๊ตยท๋ถ„์„ํ•œ ๋Œ€์•ˆ์  ML ๋ฐฉ๋ฒ•๋ก ์ด๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
LLaMP๋Š” ์žฌ๋ฃŒ๊ณผํ•™ยท์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋„๊ตฌ์™€ RAG ๊ฒฐํ•ฉ์œผ๋กœ, GraphCast๋ฅ˜ ๊ธฐ์ƒ ์˜ˆ์ธก์—์„œ๋„ LLM ๊ธฐ๋ฐ˜ ๊ณ ์‹ ๋ขฐ๋„ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ž‘์—… ์ ์šฉ์˜ ๋ฐœ์ „ ๊ฐ€๋Šฅ์„ฑ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
2985๋Š” GraphCast Framework๋ฅผ ์ง€์—ญ AI ํƒœํ’ ์˜ˆ์ธก์— ํ™•์žฅ ์ ์šฉํ•œ ๋…ผ๋ฌธ์œผ๋กœ, 2206์˜ ๊ธ€๋กœ๋ฒŒ ์‹œ์Šคํ…œ๊ณผ ์‹ค์งˆ์ ์ธ ๋น„๊ต ๋ฐ ์ง€์—ญํ™” ๋ชจ๋ธ๋กœ์˜ ์‘์šฉ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
ํ›„์† ์—ฐ๊ตฌ
๊ธฐ์ƒ ๋ฐ ๊ธฐํ›„ ๊ณผํ•™ ๋ฌธ์ œ์—์„œ AI ๊ธฐ๋ฐ˜ ๊ณผํ•™์  ๋ฐœ๊ฒฌ ์—”์ง„์„ ์–ด๋–ป๊ฒŒ ๊ตฌํ˜„ํ• ์ง€์— ๊ด€ํ•œ ๋ฐฉํ–ฅ์„ฑ์„ ์ œ์‹œํ•œ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
๊ธฐ๊ณ„ํ•™์Šต๊ณผ AI๋กœ ๊ธ€๋กœ๋ฒŒ ๋‚ ์”จ ์˜ˆ์ธก ๋ชจ๋ธ์„ ๊ฐœ๋ฐœยทํ‰๊ฐ€ํ•˜๋Š” ๋…ผ๋ฌธ์€ Mechanistic Interpretability ํˆด์ด ์‹ค์ œ ๊ธฐ์ƒ ๊ณผํ•™์— ์ ์šฉ๋˜๋Š” ๋งฅ๋ฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
2206์˜ ๊ธ€๋กœ๋ฒŒ ๋‚ ์”จ์˜ˆ์ธก ML ๊ธฐ๋ฒ•์ด 3261์˜ ๊ณ ์ฐจ์› ๊ธฐํ›„ ์ž„๋ฒ ๋”ฉ ๋ถ„์„ ๋ฐ ์‹ค์ฆ์  ๊ฒ€์ƒ‰ ์‚ฌ๋ก€์— ์ง์ ‘ ์ ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •