์ ์: Ziqi Ni, Yahao Li, Kaijia Hu, Kunyuan Han, Ming Xu, Xingyu Chen, Fengqi Liu, Yicong Ye, Shuxin Bai | ๋ ์ง: 2024-11-10 | DOI: 10.48550/arXiv.2411.08063 📄 PDF
Essence
MatPilot์ ๊ตฌํ๋ ์ธ๊ฐ-๊ธฐ๊ณ ํ์
ํ๋ ์์ํฌ
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ๊ธฐ๋ฐ์ผ๋ก ํ MatPilot์ ์์ฐ์ด ์ธํฐํ์ด์ค๋ฅผ ํตํด ์ฐ๊ตฌ์์ AI ์์ด์ ํธ ๊ฐ์ ํ์
์ ๊ฐ๋ฅํ๊ฒ ํ๋ฉฐ, ์ ์์ฌ ๋ฐ๊ฒฌ์ ์ํ ์ธ์ง ๋ชจ๋๊ณผ ์คํ ๋ชจ๋์ ํตํฉ์ ํตํด ํจ์จ์ ์ธ ๊ฒ์ฆ, ์ง์์ ํ์ต, ๋ฐ๋ณต์ ์ต์ ํ๋ฅผ ์คํํ๋ AI ์ฌ๋ฃ ๊ณผํ์์ด๋ค.
Evaluation
์ดํ: MatPilot์ LLM ๊ธฐ๋ฐ์ ์ธ๊ฐ-๊ธฐ๊ณ ํ์
ํ๋ ์์ํฌ๋ฅผ ํตํด ์ฌ๋ฃ ๊ณผํ ์ฐ๊ตฌ์ ํ์ ์ ๋ชจ์ํ ์ผ์ฌ ์ฐฌ ์ฐ๊ตฌ๋ก, ํนํ ๊ณ ์ฒด ์ฌ๋ฃ์ ์ ์ฃผ๊ธฐ ์๋ํ ์คํ ์ธก๋ฉด์์ ์์๊ฐ ํฌ๋ค. ๋ค๋ง ๊ธฐ์ ๊ฒ์ฆ์ ๊น์ด, ์ ๋์ ์ฑ๊ณผ์ ๋ช
์, ์ผ๋ฐํ ๊ฐ๋ฅ์ฑ์ ๋ํ ์ฒด๊ณ์ ์
์ฆ์ด ํฅํ ๋ณด๊ฐ๋์ด์ผ ํ๋ค.
๊ฐ์ด ๋ณด๋ฉด ์ข์ ๋
ผ๋ฌธ
๊ธฐ๋ฐ ์ฐ๊ตฌ
์ด ๋
ผ๋ฌธ์์ ์ฌ์ฉ๋ ํ์ดํ๋ผ์ธ์ ๋ฒค์น๋งํฌ์ ํจ์จ ํ๊ฐ๊ฐ LLM ๊ธฐ๋ฐ ์ ์์ฌ ๋ฐ๊ฒฌ์ ์ฑ๋ฅ ํ๊ฐ์ ์ง์ ์ ์ผ๋ก ๊ธฐ์ด๊ฐ ๋ฉ๋๋ค.
๊ธฐ๋ฐ ์ฐ๊ตฌ
346๋ฒ ๋
ผ๋ฌธ์ ๋ฐ์ดํฐ ํจ์จ์ ๋ฅ๋ํ์ต๊ณผ ํ์ด๋ฐ์ด์
๋ชจ๋ธ ๊ฐ๋
์ ์๊ฐํด, 522๋ฒ์ ์ ์์ฌ ๋ฐ๊ฒฌ LLM ์์ด์ ํธ๊ฐ ํ์ฉํ ์ ์๋ ์ด๋ก ์ ๊ธฐ๋ฐ์ ์ ๊ณตํ๋ค.
๋ค๋ฅธ ์ ๊ทผ
734๋ฒ ๋
ผ๋ฌธ์ ๋ฐ์ด์ค๋ฉ๋์ปฌ ํ
์คํธ ์ฒ๋ฆฌ(ScispaCy)๋ฅผ ์ํ ๋๊ตฌ๋ฅผ ์ ๊ณตํด, 522๋ฒ์ ์ฌ๋ฃ ๊ณผํ ์์ฐ์ด ์ธํฐํ์ด์ค์ ๋น๊ต๋๋ LLM ํ์ฉ ์ฌ๋ก์ด๋ค.
๋ค๋ฅธ ์ ๊ทผ
ํํ ๋๋ ์ฌ๋ฃ๊ณผํ ๋ถ์ผ AI ์๋ํ์ ๊ด๋ จ ์ฐ๊ตฌ์ด๋ค.
๋ค๋ฅธ ์ ๊ทผ
์ฌ๋ฃ๊ณผํ์์ LLM ๊ธฐ๋ฐ AI ๊ณผํ์ ์ญํ ์ ํนํ์ํค๋ ๋ค์ํ ์์คํ
์ค๊ณ ์ฌ๋ก๋ฅผ ์ ์ํ์ฌ, HoneyComb๊ณผ์ ์ฐจ๋ณํ๋ ๊ตฌํ์ ํ๊ตฌํ ์ ์๋ค.
๋ค๋ฅธ ์ ๊ทผ
RAG ๊ธฐ๋ฐ LLM ์์ด์ ํธ๋ฅผ ํ์ฉํ ๊ณผํ(ํนํ ์ฌ๋ฃ/๊ณตํ) ์๋ฎฌ๋ ์ด์
์๋ํ๋ผ๋ ์ธก๋ฉด์์ ์ง์ ๋น๊ต๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
์ ์์ฌ ํ์์์ ์๋ฆฌ ๊ธฐ๋ฐ ๋ค์ค์์ด์ ํธ ํ๋ ฅ์ ํฌ๋ช
์ฑ ๋ฐ ํจ์จ์ฑ ์ถ๊ตฌ๋ผ๋ ๋ค๋ฅธ ์ ๊ทผ๋ฒ์ ์ ์ํ๋ค.
๋ค๋ฅธ ์ ๊ทผ
LLM ๊ธฐ๋ฐ ๊ณผํ ์ฐ๊ตฌ ์์คํ
์ ๊ฐ์ ๊ณผ ์ฝ์ ์ ํ๊ฐํ๋ ์ ์ฌํ ๋นํ์ ๋ถ์ ์ฐ๊ตฌ์ด๋ค.
๋ค๋ฅธ ์ ๊ทผ
MatPilot ๋
ผ๋ฌธ์ ๋ฌผ๋ฆฌ์ ๋ฐ ์ฌ๋ฃ๊ณผํ์ ๋ฐ์ดํฐ์ ๋ํ AI ์์ด์ ํธ ๊ธฐ๋ฐ ํ๊ฐ์ ์ถ์ฒ์ ์ ์ฉํ์ฌ, PHYSICS ๋ฐ์ดํฐ์
์ ๋ชฉ์ ๊ณผ ๋ฐ์ ํ๊ฒ ๋ง๋ฟ์ ์๋ค.
๋ค๋ฅธ ์ ๊ทผ
Frame-wise LLM ๊ธฐ๋ฐ ์ฌ๋ฃ ๊ณผํ ์๋ํ ์์ด์ ํธ(MATPilot)๋ก, RAG ๊ธฐ๋ฐ ์ค๊ณ ์ธ ๋ฒค์น๋งํฌ์ฉ ํ๋ ์์ํฌ๋ฅผ ์ ์ํฉ๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
MatPilot์ LLM ๊ธฐ๋ฐ ๋ฌด๊ธฐ/๊ธ์ ์์ฌ ๋ฐ๊ฒฌ์ ๋ค๋ฃจ๋ฉฐ, MatterGPT๋ฅผ ์ฌ์ฉํ๋ 3117๊ณผ ๋ค๋ฅธ foundation/Large model ๋ฅ๋ ฅ์ ๋น๊ต ๊ฐ๋ฅํ๊ฒ ํ๋ค.
๋ค๋ฅธ ์ ๊ทผ
522๋ LLM ๊ธฐ๋ฐ ์ฌ๋ฃ ํ์์ ์ค์ ์ผ๋ก ํ์ง๋ง, 3156์ฒ๋ผ LLM+retrieval-augmented generation ๋ฐฉ์๊ณผ ์ค์ ๊ฒ์ฆ ์ฌ๋ก๋ฅผ ๋ค๋ฃน๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
522๋ LLM๊ณผ ํ๋กฌํํธ ์ ๋ต์ ์ด์ฉํด ์ฌ๋ฃ ๊ณผํ ํ์์ ์ํํ๋ ํ๋ ์์ํฌ๋ก, 3148์ LLM+์ฌ๋ฃ๋ฐ๊ฒฌ ํ์ดํ๋ผ์ธ๊ณผ ๋น๊ต๋ ์ ์์ต๋๋ค.
๋ค๋ฅธ ์ ๊ทผ
ํ๋ก๊ทธ๋๋ฐ ํ๋ ์์ํฌ์ ๋๊ท๋ชจ LLM์ ๊ฒฐํฉ์ผ๋ก ์์จ ์ฌ๋ฃ์ฐ๊ตฌ ์๋ฎฌ๋ ์ด์
์ ๊ตฌํํ๋ ค๋ ์๋๋ก, ์ ์ฌ ๋ฌธ์ ์ ๋ค๋ฅด๊ฒ ์ ๊ทผ.
ํ์ ์ฐ๊ตฌ
์ฌ๋ฃ๊ณผํ์์ Foundation Model, LLM ๋ฑ ์ต์ AI ๊ธฐ์ ์ด ์ค์ ๋ก ์ด๋ป๊ฒ ์๋ํ์ ์ ์ฉ๋๋์ง ํญ๋๊ฒ ์๋ฒ ์ดํ๋ค.
์์ฉ ์ฌ๋ก
El Agente์ ํ๋ ์์ํฌ๋ MatPilot๊ณผ ๊ฐ์ด LLM ๊ธฐ๋ฐ์ ๋ค์ํ ๊ณผํ ๋ถ์ผ(์: ์์ฌ) ์๋ํ ์์คํ
์ ์์ฉยทํ์ฅ๋ ์ ์์ต๋๋ค.
์์ฉ ์ฌ๋ก
522๋ฒ ๋
ผ๋ฌธ์ ์ฌ๋ฃ ๊ณผํ ๋ถ์ผ์์ LLM์ ํ์ฉํ AI ๊ณผํ์ ์ฌ๋ก๋ฅผ ์ ๊ณตํ๋ฏ๋ก, 007๋ฒ์ ์์ฌ MD ์๋ํ์ ๋ํ ์ค์ ์ ์ฉ์ฑ๊ณผ ํ์ฅ์ฑ์ ํจ๊ป ํ์ํ ์ ์์ต๋๋ค.
์์ฉ ์ฌ๋ก
ํํ/์ฌ๋ฃ ๋ถ์ผ์์ LLM ๊ธฐ๋ฐ ์์ด์ ํฑ AI๊ฐ ์ค์ ์๋ํ ๊ณผ์ ์ ์ด๋ป๊ฒ ์ ์ฉ๋๊ณ ์๋์ง ์ฌ๋ก๋ฅผ ์ ์ํ๋ค.
์์ฉ ์ฌ๋ก
Plan-execute-summarize ๋ฃจํ๋ฅผ ํตํ ์ฌ๋ฃ๊ณผํ์ ๋ฐ๊ฒฌ ํ๋ก์ธ์ค๊ฐ ๋ฌผ์ง ์ค๊ณ์ ์ต์ ํ๋ก์ ์ค์ ํ์ฅ์ ๋ณด์ฌ์ค๋๋ค.