[7주차 총정리] 정형데이터를 위한 인공신경망 모델, TabNet 기초 정리

참조: https://www.notion.so/TabNet-9336b1657d524445bed38538dc1368d2

TabNet 간단 리뷰

 

TabNet

정형 데이터(Table data)를 위한 딥러닝 모델

xgboost, lgbm, catboost과 같은 decision tree-based gradient boosting 기법들과 신경망 모델의 장점을 이용한 모델

Feature selection, Feature engineering 가능

해석 가능(interpretable)한 모델

 

 

진행 단계

1. Sequential Attention(순차적 주의) 매커니즘 이용하여 각 의사결정 단계에서 추론할 Feature 선택

2. 학습 능력이 가장 두드러진 기능에 TabNet 사용

(모델 capacity와 관련된 변수들에게 고성능 모델 결과를 내는 변수를 활용하도록)

3. Interpretability, 효과적 학습 가능

(변수 선택 마스크의 시각화)

 

 

* TabNet논문: https://openreview.net/forum?id=BylRkAEKDH