/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/779_Supporting_assessment_of_novelty_of_design_problems_using_co

Motivation

• Known: 기존 문헌에서는 design solution의 novelty를 평가하는 다양한 방법(frequency-based, distance-based measures)이 존재하며, SAPPhIRE 모델을 이용한 product 수준의 novelty 평가 방법도 제안된 바 있다.
• Gap: 기존 연구들은 design solution의 novelty에 초점을 맞추었을 뿐, task clarification 단계에서 다루는 design problem 자체의 novelty를 평가한 연구는 없었다.
• Why: design solution의 전체 novelty는 문제(problem)의 novelty와 해법(solution)의 novelty 모두에 의해 영향을 받으므로, 초기 단계에서 문제의 novelty를 평가하면 더 적은 비용으로 효과적인 의사결정과 자원 배분이 가능해진다.
• Approach: SAPPhIRE 모델의 여러 추상화 수준(State change, Action, Parts, Physical Phenomena, Input, oRgan, Effect)을 이용해 현재 문제와 과거 문제를 기술하고, 각 수준에서 텍스트 유사도를 계산하여 문제 간 거리를 novelty 척도로 삼는다.

Achievement

Framework for the assessment of novelty of design problems

1. Problem SAPPhIRE 프레임워크 제안: SAPPhIRE 모델을 design problem 기술에 적용하여 novelty 평가를 위한 8단계 방법론을 개발함.
2. 자동화된 유사도 계산: BERT semantic similarity와 word-vector 기반 cosine distance를 결합하여 action level 매칭 및 나머지 SAPPhIRE 수준에서의 sentence/word similarity를 자동 계산함.
3. 사례 연구를 통한 적용성 시연: 실제 artifact와 관련된 stakeholder의 current problems를 patent 및 web source에서 수집한 past problems와 비교하여 novelty를 산출함으로써 프레임워크의 실용성을 검증함.

How

Framework for the assessment of novelty of design problems

• (1) patent 및 온라인 검색을 통해 'past problems' 수집
• (2) 설문/survey를 통해 stakeholder로부터 'current problems' 수집
• (3) 각 problem을 SAPPhIRE 모델(Problem SAPPhIRE)로 기술
• (4) action level에서 BERT semantic similarity로 1차 매칭
• (5) 매칭된 문제쌍에 대해 나머지 SAPPhIRE 수준에서 word-vector 변환 후 cosine distance로 sentence/word similarity 계산
• (6) 각 수준별 Similarity score 산출, Novelty = (1 − Similarity)로 계산
• (7) 전체 novelty score를 산출하여 current problem의 상대적 novelty 결정

Originality

• 기존에 design solution의 novelty 평가에 국한되었던 SAPPhIRE 기반 접근을 design problem 수준으로 확장하여 적용한 최초의 시도로 보임.
• 수작업 기반의 기존 novelty 평가 방식(문헌에서 보고된) 대신 BERT 및 word-vector 기반 자동화 유사도 계산을 도입하여 확장성과 효율성을 높임.
• SAPPhIRE의 여러 추상화 수준을 계층적으로 활용해 action level 매칭 후 세부 수준 비교를 수행하는 단계적 비교 전략을 설계함.

Limitation & Further Study

• 발췌된 본문에서 실제 사례 연구의 정량적 결과나 검증(타당성, 평가자 간 일치도 등)이 충분히 제시되지 않아 프레임워크의 실효성 검증이 제한적임.
• 텍스트 유사도 기반 접근이 SAPPhIRE 각 구성요소의 의미적 뉘앙스를 얼마나 정확히 포착하는지에 대한 정성적/정량적 검증이 부족함.
• past problem 데이터베이스의 포괄성(patents, web sources)에 따라 novelty 측정 결과가 크게 좌우될 수 있어, 데이터베이스 구축의 편향 문제에 대한 논의가 필요함.
• 후속 연구로는 다양한 도메인과 대규모 문제 집합에 대한 검증, 그리고 평가자 간 신뢰도 분석 등이 요구됨.

Evaluation

총평: 디자인 문제의 novelty를 SAPPhIRE 모델과 자동화된 텍스트 유사도로 평가하는 새로운 시도로서 학술적 의의가 있으나, 발췌본 기준으로 실증적 검증과 결과 제시가 부족해 추가적인 실험 및 타당성 검토가 필요하다.