Artificial intelligence for partial differential equations in computational mechanics: A review
์ ์: Yizheng Wang, Jinshuai Bai, Zhongya Lin, Qimin Wang, C. Anitescu, Jia Sun, M. Eshaghi, YuanTong Gu, Xi-Qiao Feng, X. Zhuang, T. Rabczuk, Yinghua Liu | ๋ ์ง: 2024 | URL: https://arxiv.org/abs/2410.19843 📄 PDF
Essence
Fig. 1. The role of AI4PDEs in AI4Science, along with an introduction to AI4PDEs in computational mechanics, including s
๋ณธ ๋
ผ๋ฌธ์ ๊ณ์ฐ์ญํ ๋ถ์ผ์์ ํธ๋ฏธ๋ถ๋ฐฉ์ ์(PDE)์ ํด๊ฒฐํ๊ธฐ ์ํ ์ธ๊ณต์ง๋ฅ ์๊ณ ๋ฆฌ์ฆ์ ํํฉ์ ์ข
ํฉ์ ์ผ๋ก ๊ฒํ ํ ๋ฆฌ๋ทฐ ๋
ผ๋ฌธ์ด๋ค. Physics-Informed Neural Networks(PINNs), Deep Energy Methods(DEM), Operator Learning, Physics-Informed Neural Operator(PINO)๋ฅผ ํฌํจํ AI4PDEs์ ์ฃผ์ ๋ฐฉ๋ฒ๋ก ์ ์ ๋ฆฌํ๊ณ , ๊ณ ์ฒด์ญํ, ์ ์ฒด์ญํ, ์์ฒด์ญํ ๋ถ์ผ์ ์์ฉ์ ์ฒด๊ณ์ ์ผ๋ก ๋ถ๋ฅํ์ฌ ์ ์ํ๋ค.
Motivation
- Known: ์ ๊ฒฝ๋ง์ ์ด์ฉํ PDE ํด๊ฒฐ ๊ฐ๋
์ 1990๋
๋ ํ๋ฐ๋ถํฐ ์กด์ฌํ์ผ๋, ์ต๊ทผ deep learning, GPU ์ปดํจํ
, PyTorch/TensorFlow ๊ฐ์ ์๋๋ฏธ๋ถ ๋๊ตฌ์ ๋ฐ์ ์ผ๋ก PINNs(2019)๊ฐ ์ฃผ๋ชฉ๋ฐ์ผ๋ฉด์ ๋ณธ๊ฒฉํ๋์๋ค. ๊ณ์ฐ์ญํ์์ AI์ ํตํฉ์ surrogate model ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์ฃผ๋ ๋ฐฉ๋ฒ๊ณผ ๋ฌผ๋ฆฌ ๋ฒ์น์ ์์คํจ์์ ํฌํจํ๋ ๋ฐฉ๋ฒ์ ๋ ๊ฐ์ง ๋ฐฉํฅ์ผ๋ก ์งํ๋์ด ์๋ค.
- Gap: ์์ ๋ฐ์ดํฐ ์ฃผ๋ surrogate model์ ๋ฐ์ดํฐ์ ์ ์ฃผ(curse of dimensionality), ๋๋์ ๊ณ ํ์ง ๋ฐ์ดํฐ ํ์, ํด์๊ฐ๋ฅ์ฑ ๋ถ์กฑ ๋ฑ์ ํ๊ณ๊ฐ ์์ผ๋ฉฐ, ๋ฌผ๋ฆฌ ์ ๋ณด ๊ธฐ๋ฐ ๋ฐฉ๋ฒ๋ ๋ฐ์ดํฐ ๋ถ์กฑ, ์ก์, ์๋ณ ๊ฐ๋ฅ์ฑ ๋ฌธ์ ๋ก ์ธํด ์์ง scientific discovery ์ธก๋ฉด์์ ๋ฏธ์ฑ์ํ ์ํ์ด๋ค. ๋ํ ์๋ก ๋ค๋ฅธ ๊ธฐํํ, ์ฌ๋ฃ, ๋ฌผ๋ฆฌ ๊ณผ์ ์ ๊ฑธ์น ์ง์ ์ ์ด ๋ฅ๋ ฅ์ ํ์ ํ ๋ถ์กฑํ๋ค.
- Why: ๊ณ์ฐ์ญํ์ ๋ฌผ๋ฆฌ ๋ฌธ์ ๋ฅผ PDE๋ก ๋ชจ๋ธ๋งํ๋ฉฐ, AI๋ฅผ ์ด์ฉํ PDE ํด๊ฒฐ์ ์ ํต์ ์์นํด์(FEM ๋ฑ)์ ๊ณ์ฐ ๋น์ฉ์ ํฌ๊ฒ ๊ฐ์์ํค๋ฉด์๋ ์ ํ๋๋ฅผ ์ ์งํ ์ ์๋ค. ๋ํ ๋ฏธ์ง์ ๋ฌผ๋ฆฌ ํ๋ผ๋ฏธํฐ๋ ๊ตฌ์ฑ ๊ด๊ณ์ ์๋ณ์ ํตํด ๊ณผํ์ ๋ฐ๊ฒฌ์ ๊ฐ๋ฅํ๊ฒ ํ๋ฏ๋ก ๋ฏธ๋ ๊ธฐ์ด ๋ชจ๋ธ ๊ฐ๋ฐ์ ํต์ฌ ์ฐ๊ตฌ ๋ฐฉํฅ์ด๋ค.
- Approach: PINNs, DEM, Operator Learning, PINO ๋ฑ ์ฃผ์ AI4PDEs ์๊ณ ๋ฆฌ์ฆ์ ์๊ฐํ๊ณ , ๊ฐ ๋ฐฉ๋ฒ์ ๋ฌผ๋ฆฌ ์ ๋ณด ํฌํจ ๋ฉ์ปค๋์ฆ๊ณผ ์ ์ฉ ๋ฒ์๋ฅผ ์ค๋ช
ํ๋ค. ๊ณ ์ฒด์ญํ(ํ์ฑ, ํ์์ฑ, ์ดํ์ฑ, ํ๊ดด), ์ ์ฒด์ญํ(์๋ ฅ์ญํ, ๊ณต๊ธฐ์ญํ, ์ถฉ๊ฒฉํ), ์์ฒด์ญํ(์ฐ์กฐ์ง ๋ณํ, ํ๋ฅ) ๋ฑ์ ์์ฉ ์ฌ๋ก๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ถ๋ฅํ๊ณ , Hybrid ์ ๊ทผ๋ฒ๊ณผ foundation model ๊ธฐ๋ฐ ์๋ก์ด ๋ฐฉํฅ์ ํจ๊ป ๋ค๋ฃฌ๋ค.
Achievement
Fig. 1. The role of AI4PDEs in AI4Science, along with an introduction to AI4PDEs in computational mechanics, including s
์ฃผ์ ์ฑ๊ณผ ๋ชฉ๋ก:\n- AI4PDEs์ ์ธ ๊ฐ์ง ์ฃผ์ ํจ๋ฌ๋ค์(PINNs, Operator Learning, PINO) ๋ฐ ๊ธฐ์ด ์ด๋ก ์ ๋ฆฌ\n- ๊ณ์ฐ์ญํ ์ผ๋ ๋ถ์ผ์ ๊ฑธ์น 400๊ฑด ์ด์์ ์์ฉ ์ฌ๋ก ์ฒด๊ณ์ ๋ถ๋ฅ\n- ๋ฌผ๋ฆฌ ์ ๋ณด ๊ธฐ๋ฐ ์ ๊ฒฝ๋ง์ ๋ฐ์ดํฐ ํจ์จ์ฑ ๋ฐ ํด์๊ฐ๋ฅ์ฑ ๊ฐ์ ๋ฉ์ปค๋์ฆ ๋ช
ํํ\n- Surrogate model๊ณผ operator learning์ ์ฅ๋จ์ ์ ๊ฐํ-์ฝํ ๋งค๊ฐ๋ณ์ ์ธก๋ฉด์์ ๋น๊ต ๋ถ์\n- Foundation model๊ณผ hybrid numerical solver๋ก์ ๋ฏธ๋ ๋ฐฉํฅ ์ ์
How
Fig. 3. AI for PDEs method: Schematic of PINNs strong form [2].
- PINNs์ ๊ฐํ(strong form) ๋ฐ ์ฝํ(weak form, DEM) ๊ณต์ํ ์คํค๋ง ์ค๋ช
\n- Neural operator์ ํ์ต๊ณผ ํ๊ฐ ๋ฐฉ์ ์๊ฐ\n- ๊ฐ ๋ฐฉ๋ฒ์ ๋ฌผ๋ฆฌ ์ ์ฝ ํฌํจ ๋ฉ์ปค๋์ฆ ๋ฐ ์์คํจ์ ๊ตฌ์ฑ ๋ฐฉ์ ์์ธ ๊ธฐ์ \n- ๊ณ ์ฒดยท์ ์ฒดยท์์ฒด์ญํ ๋ด ์ ๋ฐฉํฅ(forward) ๋ฐ ์ญ๋ฐฉํฅ(inverse) ๋ฌธ์ ํด๊ฒฐ ์ ๋ต ๋น๊ต\n- Hybrid ์ ๊ทผ๋ฒ: AI4PDEs์ FEM์ ๋ณ๋ ฌ ์ฌ์ฉ์ผ๋ก ๋ค์ค ์ค์ผ์ผ ์๋ฎฌ๋ ์ด์
๊ฐ์ํ\n- Implicit programming ๊ฐ๋
์ ํตํด ๋ฐ์ดํฐ ๊ธฐ๋ฐ ๋ชจ๋ธ ๊ตฌ์ฑ ๋ฐฉ์ ์ค๋ช
Originality
- ๋ฐ์ดํฐ-๋ฌผ๋ฆฌ ์ตํฉ ์ ๋ต์ ๋ช
ํํ: Inductive bias๋ก์์ PDE ์ญํ ์ ์ด๋ก ์ ์ผ๋ก ์ ๋ฆฝํ๊ณ , ์์ ๋ฐ์ดํฐ ์ฃผ๋ ๋ฐฉ๋ฒ๊ณผ์ ๋น๊ต๋ฅผ ํตํด ๋ฌผ๋ฆฌ ์ ๋ณด ํฌํจ์ ํต์ฌ ๊ฐ์น ์ ์\n- ๊ณ์ฐ์ญํ ํตํฉ ์ฒด๊ณ: ๊ณ ์ฒดยท์ ์ฒดยท์์ฒด์ญํ์ ํฌํจํ ํฌ๊ด์ ๋ถ๋ฅ ์ฒด๊ณ ๊ตฌ์ถ์ผ๋ก AI4PDEs์ ์ ์ฉ ๋ฒ์ ๋ช
ํํ\n- Implicit programming ๊ฐ๋
: ์ ํต์ ๋ช
์์ ํ๋ก๊ทธ๋๋ฐ๊ณผ AI ๊ธฐ๋ฐ ์๋ฌต์ ํ๋ก๊ทธ๋๋ฐ์ ๊ทผ๋ณธ์ ์ฐจ์ด๋ฅผ ์ฒด๊ณํ\n- ๋ฏธ๋ ๋ฐฉํฅ ์ ์: Reinforcement learning ๊ธฐ๋ฐ ์ ์ด, Generative surrogate, Foundation model ๋ฑ ์ ํฅ ๋ฐฉํฅ์ ์กฐ๊ธฐ ์ ์\n- Hybrid ํจ๋ฌ๋ค์ ๊ฐ์กฐ: AI4PDEs๊ฐ ์ ํต ์์นํด์ ๋์ฒด๊ฐ ์๋ ์ํธ๋ณด์์ ์ญํ ์ ๊ฐ์กฐํ๋ ๊ด์ ์ ๊ณต
Limitation & Further Study
ํ๊ณ ๋ฐ ํ์ ์ฐ๊ตฌ:\n- ํ์ฌ AI4PDEs๋ ์ฃผ๋ก ์ ๋ฐฉํฅ ๋ฌธ์ ํด๊ฒฐ ๋ฐ ์ ํ๋ ์ญ๋ฐฉํฅ ๋ฌธ์ ์๋ง ์ฑ์, ๋ฏธ์ง ๋ฌผ๋ฆฌ ๋ฒ์น ๋ฐ๊ฒฌ(scientific discovery) ์ธก๋ฉด์ ๋ฏธ์ฑ์\n- ๋ฐ์ดํฐ ๋ถ์กฑ, ๋
ธ์ด์ฆ ์ฒ๋ฆฌ, ๋น์๋ณ์ฑ ๋ฌธ์ ๋ก ์ธํด ์ค๋ฌด ์์ฉ์์ ์์ง ํ๊ณ\n- ํ์ต๋ ๋ชจ๋ธ์ ์๋ก ๋ค๋ฅธ ๊ธฐํํ, ์ฌ๋ฃ, ๋ฌผ๋ฆฌ ๊ณผ์ ์ ๋ํ ์ผ๋ฐํ ๋ฅ๋ ฅ ๋ถ์กฑ\n- ์ ๋ขฐ์ฑ, ์๋ ด์ฑ ์ด๋ก ์ด ๋ถ์์ ํ์ฌ ์์ ์ด ์ค์ํ ๊ณตํ ์์ฉ์ ์ ์ฝ\n- Operator learning์ ๊ณ ์ฐจ์ ๋ฌธ์ (curse of dimensionality) ํ์ฅ์ฑ ๋ฏธํก\n- Foundation model ๊ธฐ๋ฐ scientific computing์ ๊ฐ๋
๋จ๊ณ๋ก ์ค์ ๊ตฌํ ๊ฒฝํ ๋ถ์กฑ
Evaluation
Novelty: 3/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
์ดํ: ๋ณธ ๋
ผ๋ฌธ์ AI4PDEs ๋ถ์ผ์ ํํฉ์ ๊ณ์ฐ์ญํ ๋งฅ๋ฝ์์ ๊ฐ์ฅ ํฌ๊ด์ ์ผ๋ก ์ ๋ฆฌํ ๊ณ ํ์ง ๋ฆฌ๋ทฐ์ด๋ค. ๋ฌผ๋ฆฌ ์ ๋ณด ๊ธฐ๋ฐ ์ ๊ฒฝ๋ง์ ํต์ฌ ๊ฐ์น๋ฅผ ๋ช
ํํ ์ ์ํ๊ณ , ์ธ ๋ ๋ถ์ผ์ ๊ฑธ์น ์์ฉ์ ์ฒด๊ณ์ ์ผ๋ก ๋ถ๋ฅํ๋ฉฐ, ๋ฏธ๋ ๋ฐฉํฅ์ ๊ท ํ์ก๊ฒ ์ ์ํ๋ค. ๋ค๋ง ์ด๋ก ์ ๋ถ์(์๋ ด์ฑ, ๊ทผ์ฌ ์ค์ฐจ)์ ์ฌํ, ์ค์ ๊ณ ์ฐจ์ ๋ฌธ์ ์ ์ฑ๊ณต ์ฌ๋ก ํ์ถฉ, ์ ๋ขฐ์ฑ ํ๊ฐ ๋ฐฉ๋ฒ๋ก ์ ์ ์๊ฐ ์ถ๊ฐ๋๋ฉด ๋์ฑ ๊ฐ๋ ฅํ ๊ธฐ์ฌ๊ฐ ๋ ๊ฒ์ด๋ค.
๊ฐ์ด ๋ณด๋ฉด ์ข์ ๋
ผ๋ฌธ
๊ธฐ๋ฐ ์ฐ๊ตฌ
PDE์์ AI ๋ฐฉ๋ฒ๋ก ์ ์ ๋ฐ์ ์ญํ ์ ๋ค๋ฃจ๋ ์๋ฒ ์ด๋ก, PINNs์ ์์น์ ์๋ฏธ๋ฅผ ๋ ๋์ ๋งฅ๋ฝ์์ ์ดํดํ๋ ๋ฐ ๊ธฐ๋ฐ์ ์ ๊ณตํ๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
3374 ๋
ผ๋ฌธ์ ๋ถ๋ถ ๋ฏธ๋ถ๋ฐฉ์ ์ ๊ธฐ๋ฐ ํ๊ฒฝ์์ AI ์ ์ฉ์ ์ด๋ก ์ ํ ๋๋ฅผ ์ ๊ณตํ์ฌ, FuXi์ ๊ฐ์ ์๋ณด ์์คํ
๊ฐ๋ฐ์ ๊ธฐ์ด๋ฅผ ์ค๋ช
ํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
Physics-Informed Neural Networks and Extensions ๋
ผ๋ฌธ์ PINN, PINO ๋ฑ ๊ณ์ฐ์ญํ PDE ์๋ฒ์ ๊ธฐ์ ์ ์์์ ์ฐ๊ตฌ ํ๋ฆ์ ์ข
ํฉ์ ์ผ๋ก ์ ๊ณตํ๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
3374 ๋
ผ๋ฌธ์ด ํฌ๊ด์ ๋ฆฌ๋ทฐ๋ฅผ ์ ๊ณตํ๋ค๋ฉด 364 ๋
ผ๋ฌธ์ ํต์ฌ neural operator ๊ฑด์ถ๊ณผ ์ค์ ์ ์ฉ, ๊ทธ๋ฆฌ๊ณ ๋ฒ ์ด์ง์ ์ญ๋ฌธ์ ๋ฑ ์ค๋ฌด ํ์ฉ ์์๋ฅผ ๊ฐํํฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
Neural Operator์ ์ค๊ณ์ ์ฑ๋ฅ์ ๊ตฌ์กฐ์ ์ผ๋ก ๋ถ์ํ๋ฉฐ 3374๊ฐ ๋ฆฌ๋ทฐํ๋ Operator Learning์ ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ ์ ๊ณตํ๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
๊ธฐ๊ณํ์ต์ ํตํ ๋ฏธ๋ถ๋ฐฉ์ ์ ๋ฐ ์์๊ณ ํด๊ฒฐ์ ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ด ๋ฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
AI for PDEs ์ต์ ์๋ฒ ์ด๋ ์ ๊ฒฝ๋ง ๊ธฐ๋ฐ ์์ยทPDE ๋ฌธ์ ํด๊ฒฐ(์: NQS ๋ฑ)์ ๊ธฐ๋ฐ์ ์ ๊ณตํด ๋ณธ ๋
ผ๋ฌธ ๋ชจ๋ธ์ ์ด๋ก ์ ์ ๋น์ฑ์ ์ค๋ช
ํ๋ค.
๋ค๋ฅธ ์ ๊ทผ
Piflow๋ ๋ค์ค ์์ด์ ํธ ๊ณผํ์ ๋ฐฉ์ ์ ๋ฐ๊ฒฌ ํ์ดํ๋ผ์ธ์ ์ ๊ณตํ๋ฉฐ PDE ๋ฌธ์ ํด๊ฒฐ์ ๋ํ ๋์์ AI ํจ๋ฌ๋ค์์ ๋ณด์ฌ์ค๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
Lang-PINN ๋
ผ๋ฌธ์ ์์ฐ์ด โ ๋ฌผ๋ฆฌ ์ ์ฝ ์ ๊ฒฝ๋ง(PINN) ์ง์ ์ฐ๋ ๊ธฐ๋ฒ์ ์๊ฐํ์ฌ ๋ฅ๋ฌ๋ ๊ธฐ๋ฐ PDE ํด๋ฒ์ ๋ค์ํ ๊ตฌํ ๋ฐฉ๋ฒ์ ํ์ธํ ์ ์๋ค.
๋ค๋ฅธ ์ ๊ทผ
PDE ๋ฌธ์ ์ AI๋ฅผ ์ ์ฉํ ์ต์ฒจ๋จ ๋ฐฉ๋ฒ์ ์ ๋ฐ์ ์ผ๋ก ๋ค๋ฃจ๋ ๋
ผ๋ฌธ์ผ๋ก AutoNumerics์ ์ ๊ฒฝ๋ง ๋์์ฑยท์๋ํ ๋ฐฉ์๊ณผ ๋น๊ตํ ์ ์์ต๋๋ค.
ํ์ ์ฐ๊ตฌ
364 ๋
ผ๋ฌธ์ Neural Operator์ ์ค์ฉ์ ๊ตฌํ ๋ฐ ๋น๊ต ๋ถ์์ ์ค์ ์ ์ผ๋ก ๋ค๋ฃจ์ด, 3374 ๋
ผ๋ฌธ์ ์ข
ํฉ ๋ฆฌ๋ทฐ๋ฅผ ์ค์ ์ ์ฉ ์์๋ก ๋ณด์ํฉ๋๋ค.
ํ์ ์ฐ๊ตฌ
Neural Operator ๊ธฐ๋ฐ์ ์ค์ ์ธ๋ฒ์ค ๋ฌผ๋ฆฌ ๋ฌธ์ ์ ์ฉ ์ฌ๋ก๋ก, 3374์ ๋ฆฌ๋ทฐ์ ๊ธฐ๋ฐํ ์ค์ง์ ํ์ฅ ์ฌ๋ก๋ค.
ํ์ ์ฐ๊ตฌ
์ธ๊ณต์ง๋ฅ์ผ๋ก PDE ํด์ ๋ฐ ํด์ ์์ ์ฑ ๋ณด์ฅ ๋ฌธ์ ๋ฅผ ๋ฒ์ฉ์ ์ผ๋ก ๋ค๋ฃจ๋ ์๋ฒ ์ด๋ก, ๋ณธ ๋
ผ๋ฌธ์ ๋์นญํ ๋ฐฉ๋ฒ์ ๋์ฑ ํ์ฅํฉ๋๋ค.
์์ฉ ์ฌ๋ก
๋ณธ ๋
ผ๋ฌธ์ด ๋ค๋ฃจ๋ PDE AI ์ต์ ๋ํฅ์ด ํ๊ฒฝ๊ณผํ ๋ฑ ์ค์ธ๊ณ ๋ฌธ์ ์ ์์ฉ๋๋ ์ฌ๋ก๋ค์ 342์์ ๊ตฌ์ฒด์ ์ผ๋ก ์ดํด๋ณผ ์ ์๋ค.
๋ฐ๋ก /๋นํ
๋ฅ๋ฌ๋ ๊ธฐ๋ฐ PDE ํด๋ฒ์์ ๋ฌผ๋ฆฌ ๋ด์ฌํ ๋ฐ neural operator ์ ์ฉ์ ๊ฐ๋ฅ์ฑ๊ณผ ํ๊ณ, ์์ฑ์ ํ์ฉ์ ๋ํด ๋นํ์ ์ผ๋ก ์กฐ๋งํฉ๋๋ค.
๐ง Audio Overview
์ด ๋
ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํ์บ์คํธํ ์ค๋์ค๋ก ์์ฑํฉ๋๋ค. (Gemini ยท ํค๋ ๋ธ๋ผ์ฐ์ ์๋ง ์ ์ฅ ยท ์์ฑ๋ณธ์ ์ด๋ฉ์ผ๋ก๋ ์ ์ก)
โธ ๊ณ ๊ธ: ๊ตฌ์ฑ ๋ฐฉํฅ(๋๋ณธ ์์ฑ ์ง์นจ) ์ง์ ์์