Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art

์ €์ž: Hayato Ikoma, Teruko Mitamura (Carnegie Mellon University) | ๋‚ ์งœ: 2025 | DOI: arXiv:2502.06316 📄 PDF


Essence

Figure 1

ํŠนํ—ˆ ์‹ฌ์‚ฌ ๊ณผ์ •: ์‹ฌ์‚ฌ๊ด€์ด ํŠนํ—ˆ ์ฒญ๊ตฌํ•ญ๊ณผ ์„ ํ–‰๊ธฐ์ˆ  ๋ฌธ์„œ๋ฅผ ๋น„๊ตํ•˜์—ฌ ๊ฑฐ์ ˆ ์ด์œ ๋ฅผ ํŒ๋‹จํ•˜๊ณ , ์ถœ์›์ธ์ด ์ฒญ๊ตฌํ•ญ์„ ์ˆ˜์ •ํ•œ ํ›„ ์žฌ์‹ฌ์‚ฌํ•˜๋Š” ๋ฐ˜๋ณต ๊ณผ์ •

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด๋ชจ๋ธ(LLM)์˜ ํŠนํ—ˆ ์‹ ๊ทœ์„ฑ(novelty) ํ‰๊ฐ€ ๋Šฅ๋ ฅ์„ ์ตœ์ดˆ๋กœ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒ€์ฆํ•˜๊ธฐ ์œ„ํ•ด, ์‹ค์ œ ํŠนํ—ˆ ์‹ฌ์‚ฌ ์‚ฌ๋ก€๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•˜๊ณ  ๋‹ค์–‘ํ•œ ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ๋น„๊ต ๋ถ„์„ํ•œ ์—ฐ๊ตฌ์ด๋‹ค.

Motivation

Achievement

Figure 2

ํŠนํ—ˆ ์‹ฌ์‚ฌ ๊ณผ์ •์˜ ์ „์ฒด ํ๋ฆ„๊ณผ ๋ฐ์ดํ„ฐ ์ถ”์ถœ ์ถœ์ฒ˜: ๋น„์‹ ๊ทœ ์‚ฌ๋ก€๋Š” ์›๋ณธ ์ฒญ๊ตฌํ•ญ, ์‹ ๊ทœ ์‚ฌ๋ก€๋Š” ์ˆ˜์ •๋œ ์ฒญ๊ตฌํ•ญ ์‚ฌ์šฉ

  1. ์ตœ์ดˆ ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•: 2014-2015๋…„ USPTO IPC G06F(์ „์ž ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ) ๋ถ„์•ผ 3,975๊ฑด์˜ ํŠนํ—ˆ ์‚ฌ๋ก€๋กœ๋ถ€ํ„ฐ ์ฒญ๊ตฌํ•ญ-์ธ์šฉ๋ฌธํ—Œ ์Œ ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์„ฑ (ํ›ˆ๋ จ:๊ฒ€์ฆ:ํ…Œ์ŠคํŠธ = 80:10:10, ๊ธธ์ด ํŽธํ–ฅ ์ œ๊ฑฐ๋ฅผ ์œ„ํ•œ ์ „์ฒ˜๋ฆฌ ์ ์šฉ)
  2. ๋ชจ๋ธ ์„ฑ๋Šฅ ๋น„๊ต: ๋ถ„๋ฅ˜ ๋ชจ๋ธ(Longformer)์€ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€์— ์ œํ•œ์  ์„ฑ๋Šฅ์„ ๋ณด์˜€์œผ๋‚˜, ์ƒ์„ฑ ๋ชจ๋ธ(Llama, GPT-4o)์€ ํ•ฉ๋ฆฌ์  ์ˆ˜์ค€์˜ ์ •ํ™•๋„๋กœ ์˜ˆ์ธกํ•˜๊ณ  ์ฒญ๊ตฌํ•ญ๊ณผ ์„ ํ–‰๊ธฐ์ˆ  ๊ฐ„ ๊ด€๊ณ„๋ฅผ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ์Œ์„ ์ž…์ฆ
  3. ์‹ค๋ฌด ์ ์šฉ์„ฑ ๊ฒ€์ฆ: ์‹ค์ œ ํŠนํ—ˆ ์‹ฌ์‚ฌ ํ”„๋กœ์„ธ์Šค๋ฅผ ๋ฐ˜์˜ํ•œ ๊ฑฐ์ ˆ ํ†ต์ง€์„œ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ์œผ๋กœ ๋ชจ๋ธ ์„ค๋ช…์˜ ์‹ ๋ขฐ์„ฑ ๋ฐ ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ ํ™•๋ณด

How

Originality

Limitation & Further Study

Evaluation

Novelty: 4.5/5 Technical Soundness: 3.5/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

์ดํ‰: ๋ณธ ๋…ผ๋ฌธ์€ ํŠนํ—ˆ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€๋ผ๋Š” ๋ฏธํƒ์ƒ‰ ์˜์—ญ์—์„œ ์‹ค์ œ ์‹ฌ์‚ฌ ์‚ฌ๋ก€ ๊ธฐ๋ฐ˜ ๋ฐ์ดํ„ฐ์…‹์„ ์ฒ˜์Œ ๊ตฌ์ถ•ํ•˜๊ณ  LLM์˜ ๋Šฅ๋ ฅ์„ ๊ฒ€์ฆํ•œ ์˜๋ฏธ ์žˆ๋Š” ์—ฐ๊ตฌ์ด๋‹ค. ์ƒ์„ฑ ๋ชจ๋ธ์˜ ๊ฐ€๋Šฅ์„ฑ์„ ๋ณด์—ฌ์ฃผ์—ˆ์œผ๋‚˜, ๋ถ„๋ฅ˜ ๋ชจ๋ธ ๋ถ€์ง„์˜ ์›์ธ ๋ถ„์„, ์„ค๋ช…์˜ ์ž๋™ ํ‰๊ฐ€ ๋ฉ”ํŠธ๋ฆญ ๊ฐœ๋ฐœ, ๊ทธ๋ฆฌ๊ณ  ๋‹ค์–‘ํ•œ ๊ธฐ์ˆ  ๋ถ„์•ผ๋กœ์˜ ์ผ๋ฐ˜ํ™”๊ฐ€ ํ•„์š”ํ•˜๋‹ค.

๊ฐ™์ด ๋ณด๋ฉด ์ข‹์€ ๋…ผ๋ฌธ

๊ธฐ๋ฐ˜ ์—ฐ๊ตฌ
779๋Š” ์„ค๊ณ„ ๋ถ„์•ผ์˜ ๋ฌธ์ œ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ํ˜‘์—… ์‹œ์Šคํ…œ์„ ๋…ผ์˜ํ•˜๋ฉฐ, 178์˜ ํŠนํ—ˆ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€์™€ ํ‰๊ฐ€ ๋ฌธ์ œ์˜ ๊ตฌ์กฐยทํ‰๊ฐ€๊ธฐ์ค€ ๋…ผ์˜๊ฐ€ ์—ฐ๊ด€๋œ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์˜ ํŠนํ—ˆ ๋ถ„์„ ๋ฐ ์ง€์‹์žฌ์‚ฐ๊ถŒ ํ‰๊ฐ€ ๋Šฅ๋ ฅ์„ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒ€์ฆํ•˜๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LiveIdeaBench ๋…ผ๋ฌธ์€ LLM์˜ ๊ณผํ•™์  ์ฐฝ์˜์„ฑ๊ณผ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€๋ฅผ ๋งน๊ฒ€ ๋Œ€์กฐ ์‹คํ—˜์œผ๋กœ ๋ถ„์„ํ•˜์—ฌ, ํŠนํ—ˆ ์‚ฌ๋ก€์™€ ๋Œ€์กฐ์ ์ž…๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
178๋ฒˆ ๋…ผ๋ฌธ์€ ํŠนํ—ˆ์˜ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€์— LLM์„ ์ ์šฉํ•˜์—ฌ ๊ตฌ์กฐ์  ์œ ์‚ฌ์„ฑ ๋น„๊ต์™€ ์œ ์‚ฌํ•œ ์ƒˆ๋กœ์šด ์ ‘๊ทผ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
ํŠนํ—ˆ ์‹ ๊ทœ์„ฑ ๋ฐ ํ˜์‹ ์„ฑ ํ‰๊ฐ€์—์„œ LLM์˜ ํ™œ์šฉ ๊ฐ€๋Šฅ์„ฑ์„ ํƒ๊ตฌํ•˜๋Š” ๊ด€๋ จ ๋…ผ๋ฌธ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์„ ํ™œ์šฉํ•œ ํŠนํ—ˆ ๋ฌธ์„œ ์ฒ˜๋ฆฌ ๋ฐ ์‹ฌ์‚ฌ ์ž๋™ํ™”๋ฅผ ์—ฐ๊ตฌํ•˜๋Š” ์œ ์‚ฌํ•œ ์‘์šฉ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
์ „๋ฌธ ๋„๋ฉ”์ธ์—์„œ LLM์˜ ํŒ๋‹จ ๋Šฅ๋ ฅ๊ณผ ์ธ๊ฐ„ ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€ ๋น„๊ต๋ฅผ ๋‹ค๋ฃจ๋Š” ๊ด€๋ จ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
LLM์˜ ์ „๋ฌธ์  ํ‰๊ฐ€ ๋ฐ ํŒ๋‹จ ๋Šฅ๋ ฅ์„ ๋ฐ์ดํ„ฐ์…‹ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฒด๊ณ„์ ์œผ๋กœ ๊ฒ€์ฆํ•˜๋Š” ์œ ์‚ฌํ•œ ์—ฐ๊ตฌ์ด๋‹ค.
๋‹ค๋ฅธ ์ ‘๊ทผ
3377์€ AI ๊ธฐ๋ฐ˜ ์ž๋™ ์ตœ์‹ ํ•™์ˆ  ํŠธ๋ž˜ํ‚น๊ณผ SOTA ํ‰๊ฐ€๋ฅผ ๋‹ค๋ฃจ๋ฉฐ, 178์˜ AI๋ฅผ ํ†ตํ•œ ํŠนํ—ˆ ์‹ ๊ทœ์„ฑ ํŒ๋‹จ๊ณผ ์—ฐ๊ฒฐํ•ด๋ณผ ์ˆ˜ ์žˆ๋‹ค.
์‘์šฉ ์‚ฌ๋ก€
ํŠนํ—ˆ ๋“ฑ ๋‹ค์–‘ํ•œ ๋„๋ฉ”์ธ์—์„œ ์—ฐ๊ตฌ ์•„์ด๋””์–ด์™€ ์‹ ๊ทœ์„ฑ ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ๋ฒค์น˜๋งˆํ‚น์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
← ๋ชฉ๋ก์œผ๋กœ ๋Œ์•„๊ฐ€๊ธฐ

๐ŸŽง Audio Overview

์ด ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ํŒŸ์บ์ŠคํŠธํ˜• ์˜ค๋””์˜ค๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. (Gemini ยท ํ‚ค๋Š” ๋ธŒ๋ผ์šฐ์ €์—๋งŒ ์ €์žฅ ยท ์™„์„ฑ๋ณธ์€ ์ด๋ฉ”์ผ๋กœ๋„ ์ „์†ก)
โ–ธ ๊ณ ๊ธ‰: ๊ตฌ์„ฑ ๋ฐฉํ–ฅ(๋Œ€๋ณธ ์ž‘์„ฑ ์ง€์นจ) ์ง์ ‘ ์ˆ˜์ •