A Data-Driven Analysis for Engineering Conferences: The Institute of Industrial and Systems Engineering (IISE) Annual Conference Proceedings (2002-2025)

Essence

Figure 2: Major research a) domains and b) sub-areas in IISE proceedings (2002–2025) — Mixtral:8x22b.

2002-2025년 IISE 학술대회 논문 9,350개와 Google Scholar 인용 데이터 8,958개를 활용하여 산업시스템공학(ISE) 분야의 지적 진화를 LLM 기반 분류, NLP, Network Science를 통해 체계적으로 매핑한 20년 규모의 데이터 기반 분석 연구이다.

Motivation

Known: 학술대회 논문집은 공학 분야의 주요 출판 수단이지만 데이터베이스 선택에 따라 결과가 달라지며, bibliometric 분석은 LDA, BERTopic 등 NLP 기법과 citation/co-authorship network를 통해 학계 구조를 파악할 수 있다는 것이 알려져 있다.
Gap: 기존 연구는 단일 데이터베이스 사용으로 포괄성과 품질 간 trade-off가 있었으며, ISE 분야의 20년 규모 종합적 지적 역사를 LLM 기반 도메인 분류로 추적한 연구가 부재했다.
Why: ISE 분야의 핵심 기여, 도전과제, 미래 방향을 파악하기 위해 장기간 학술 활동의 주제 진화, 인용 영향력, 협력 네트워크를 종합 분석할 필요가 있으며, 이는 연구자와 교육자에게 데이터 기반 로드맵을 제공한다.
Approach: ProQuest(메타데이터 품질)와 Google Scholar(인용 커버리지)를 결합한 이중 데이터베이스 전략으로 상호검증하고, LLM 기반 domain-aware 분류로 주제 진화를, citation network와 co-authorship network로 영향력과 협력 구조를 분석했다.

Achievement

포괄적 데이터셋 구축: ProQuest 9,350개 + Google Scholar 8,958개 논문을 deduplication(fuzzy matching 85% threshold), 저자명 정규화(Jaccard similarity)로 통합하여 20년 ISE 연구의 검증된 기초 데이터 확보
LLM 기반 주제 매핑: IISE Call for Abstracts에서 추출한 계층적 도메인 지식베이스로 LLM(Llama, Mixtral, DeepSeek, Gemini 등)을 통한 자동 분류로 지배적/신흥/쇠퇴 주제 추적
네트워크 분석: 상위 200개 인용 논문의 citation network와 co-authorship network를 구성하여 영향력 있는 저자/논문과 지식 확산 패턴 규명
재현성 보장: 투명한 4단계(Planning-Collection-Analysis-Results) 체계적 리뷰 절차 적용 및 큐레이션 데이터셋·결과 공개 약속으로 후속 연구 기반 제공

How

Figure 3: Author-level a) citation and b) co-author networks for top 200 cited papers between 2002 and 2025.

이중 데이터베이스 전략: ProQuest 구조화 메타데이터 + Google Scholar 광범위 인용 커버리지 병렬 활용으로 coverage-quality 균형 달성
데이터 정제: DOI 매칭 및 rapidfuzz library의 token_sort_ratio scorer(85% 임계값) 활용 fuzzy title matching으로 중복 제거, 불완전 레코드 필터링, 저자명 정규화(last name + first initial)
LLM 기반 도메인 분류: IISE CfA에서 추출한 계층적 도메인-서브분야 지식베이스를 LangChain으로 구현하여 1차 도메인→2차 도메인→1차 서브분야 순차 분류, 신뢰도 레벨(High/Medium/Low) 기록
시간 추이 분석: 연도별 도메인/서브분야 prevalence(%) 계산으로 지배적(높은 지속 prevalence), 신흥(증가 추세), 쇠퇴(감소 추세) 주제 식별
네트워크 구성 및 분석: Google Scholar 데이터로 directed citation network(상위 200 논문) 및 co-authorship network 구성하여 영향력 노드 및 협력 생태계 시각화

Originality

첫 규모 이중 데이터베이스 기반 엔지니어링 컨퍼런스 분석: ProQuest와 Google Scholar의 상호 보완적 강점(메타데이터 vs. 인용 커버리지)을 통합하여 coverage와 quality를 동시에 확보한 혁신적 방법론
LLM 기반 도메인 인식 분류의 실제 적용: 단순 keyword-based 또는 topic modeling(LDA/NMF)이 아닌 LLM을 활용한 domain-aware hierarchical classification으로 해석 가능성과 정확도 향상
20년 종단 분석: 2002-2025년 ISE 분야의 주제 진화, 인용 영향력, 협력 구조를 통합하여 처음으로 종합적 지적 역사 수립
재현성·공개성 강조: 체계적 리뷰 절차 투명성 공시 및 데이터셋·결과 공개 약속으로 학술 커뮤니티 신뢰도 강화

Limitation & Further Study

데이터 선택 편향: ProQuest와 Google Scholar 모두 특정 출판자/국가 편향 가능성이 있으며, IISE 논문집만 분석하여 다른 주요 컨퍼런스(IEEE, ACM 등)와의 비교 불가
LLM 분류의 정확도 검증 미흡: 제시된 분류 신뢰도(High/Medium/Low)가 절대 정확도를 의미하지 않으며, ground truth 검증 데이터 없이 LLM 할루시네이션 가능성 존재
Citation 데이터 불완전성: Google Scholar의 누락, 오류 가능성 및 상위 200 논문만 분석으로 tail 논문의 영향력 미포착
시간 추이 해석 제한: 논문 수 증가/감소가 실제 연구 관심도 변화인지 학술대회 규모 변화인지 구분 불가능
후속 연구 제안: (1) 인간 전문가 annotation을 통한 LLM 분류 정확도 벤치마킹, (2) 다중 ISE/공학 컨퍼런스 비교 분석, (3) semantic drift 분석을 통한 각 주제의 개념적 진화 추적, (4) 국가/기관별 협력 패턴 상세 분석

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 본 논문은 공학 분야 컨퍼런스 논문집의 20년 규모 지적 진화를 이중 데이터베이스 기반 LLM/NLP/Network Science로 체계적으로 매핑한 우수한 데이터 기반 학문사 연구이다. 이중 데이터베이스 전략, LLM 도메인 인식 분류, 재현성 강조는 bibliometric 방법론을 혁신했으나, LLM 분류 정확도 검증과 단일 컨퍼런스 분석의 제약이 개선 과제이다.