멋쟁이 사자처럼 AI SCHOOL 5기 검색 결과

해당 글 76건

[7주차 총정리] Gradient Descent 활용한 신경망 학습 과정 (Neural Network Optimization)

Gradient Descent 활용한 신경망 학습 과정 1. Weight Initialization 모든 Parameter θ 초기화 - 초기화 시점의 작은 차이가 학습의 결과를 뒤바꿀 수 있으므로 보다 나은 초기화 방식을 모색하게 됨 - Perceptron의 Linear Combination 결과값 (Activation function의 입력값)이 너무 커지거나 작아지지 않도록 만들어주는 것이 핵심 - 발전된 초기화 방법들을 활용해 Vanishing gradient 또는 Exploding gradient 문제를 줄일 수 있다 1) Xavier Initialization (자비에 초기화) - 활성화 함수로 Sigmoid 함수나 tanh 함수를 사용할 때 권장 - 다수의 딥러닝 라이브러리들에 default..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 4. 28. 01:55

[7주차 총정리] 딥러닝, 활성화 함수 (Activation function) 기초 총정리

Perceptron - 뉴런을 본따 만든 알고리즘 하나의 단위 참고: 이미지에서 hidden layer Input : Visible pixels 1rd hidden layer : edges 2nd hidden layer : corners and contours (simple shapes) 3rd hidden layer : object parts (shapes) Output : object identity 가장 적합한 θ들의 set 찾기 위한 2가지 연산 1. 넘겨져 온 데이터와 θ들의 Linear Combination 계산 (행렬 합&곱) - GPU가 행렬 빠르게 연산 2. 선형결합 결과에 Activation Function (활성화 함수) 적용 - Linear Combination의 결과값이 Non-l..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 4. 27. 01:48

[7주차 총정리] 정형데이터를 위한 인공신경망 모델, TabNet 기초 정리

참조: https://www.notion.so/TabNet-9336b1657d524445bed38538dc1368d2 TabNet 간단 리뷰 TabNet 리뷰! 드디어 table (정형 데이터)를 위한 효과적인 딥러닝(인공신경망) 모델이 나타났습니다! www.notion.so TabNet 정형 데이터(Table data)를 위한 딥러닝 모델 xgboost, lgbm, catboost과 같은 decision tree-based gradient boosting 기법들과 신경망 모델의 장점을 이용한 모델 Feature selection, Feature engineering 가능 해석 가능(interpretable)한 모델 진행 단계 1. Sequential Attention(순차적 주의) 매커니즘 이용하여 각..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 4. 27. 00:57

[7주차 총정리] Deep Learning 기초 개념 정리

딥러닝 DataSet -> Data cleaning -> Modeling -> Predict -> Evaluate - 신경망 내부에서 자체적으로 데이터의 중요한 Feature 찾거나 구성함 머신러닝: - DataSet -> Data cleaning -> Feature Engineering -> Modeling -> Predict -> Evaluate - 사람이 직접 데이터의 중요한 부분들을 찾아 Feature로 정해주어야 함 장점 - Let the data speak. (우리의 선입견 배제) - 사람이 직접 Feature를 design하는 일이 줄어듬 단점 - 10,000 단위 이상의 large amounts of labeled data 필요 (이를 해결하고자 Data Augmentation으로 데이터 ..
멋쟁이 사자처럼 AI SCHOOL 5기/Today I Learned 2022. 4. 26. 21:34