[KCI] KCC 2025 · Accepted · 우수논문상[KCI] KCC 2025 · Accepted · Best Paper
LLM 기반 의미론적 특성 공학을 활용한 퓨-샷 테이블 학습 자동화 프레임워크An Automated Few-Shot Tabular Learning Framework Using LLM-Based Semantic Feature Engineering
저자: 이형준, 김준태Authors: Hyungjoon Lee, Juntae Kim
컬럼 이름과 메타데이터 사이의 attention으로 핵심 피처를 고르고, LLM이 그 위에서 비선형 변환·상호작용 피처를 생성하는 파이썬 코드를 직접 작성합니다. 생성된 피처를 feature-bagging으로 앙상블해, 데이터가 16샷뿐인 환경에서도 성능을 냅니다.It selects key features via attention between column names and metadata, then has an LLM write the Python code that generates nonlinear transformations and interaction features on top. The generated features are ensembled through feature bagging, delivering performance even with only 16 shots of data.
7개 공개 의료 데이터셋에서 TPOT·H2O·AutoGluon·MLJAR·TabPFN을 평균 성능으로 앞섰습니다.Across seven public medical datasets it outperformed TPOT, H2O, AutoGluon, MLJAR, and TabPFN on average.
0.763F17개 데이터 평균 F1-scoremean F1 across 7 datasets
5autoML평균 최고 성능best average performance
0.70%→0.76%요소 제거: base→full 성능(Acc)ablation: base → full (Acc)
Large Language Models
AutoML
Feature Engineering
Feature Bagging
Few-shot Learning
Tabular Data