Chapter 9. 왜 RNN보다 트랜스포머가 더 좋다는 걸까?

연속적인 데이터 예시와 행렬과 벡터 식으로 RNN 이해하기입력이 3개인 H3 까지만 고려해서 Backpropagation을 해보자$$\displaylines{h_1=\tanh (x_1W_x+b)\\ h_2=\tanh (x_2W_x+h_1W_h+b) \\ h_3=\tanh (x_3W_x+h_2W_h+b) \\ \hat{y}_3 = h_3 W_y + b_y \\ L_3=CE(y_3, \hat{y}_3)}$$위와 같을 때, \(\frac{\partial L_3}{\partial W_y}\), \(\frac{\partial L_3}{\partial W_h}\),  \(\frac{\partial L_3}{\partial W_x}\) 를 구해보면,$$\frac{\partial L_3}{\partial W_y}= \..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 12. 15.
• textsms

Chapter 8. 왜 CNN이 이미지 데이터에 많이 쓰일까?

CNN은 어떻게 인간의 사고방식을 흉내냈나신경 다발(connections)을 잘 끊어냄이미지를 인식할 때 뇌의 일부분만 활성화 되더라는 실험 결과과연 첫 layer에서 모든 필셀의 값을 다 보려는게 좋은 걸까? 아니라는 것!위치별 특징을 추출함이미지를 FC Layer에 넣으면 한 픽셀 한 픽셀 너무 세세하게 본다.FC Layer에서는 왼쪽 그림이나 오른쪽 그림이나 학습 방식에서 차이가 없음CNN에서는 사전 정보(위치, 배치 등)을 가이드로 주고 학습하는 것과 비슷하다.즉, 위치별 특징을 찾는 연산이다.CNN은 어떻게 특징을 추출할까100x100 이미지에 100x100 크기의 커널을 10개 사용하면 10000 입력 10 출력하는  FC Layer와 동일하다.3D 이미지에 대한 Convolution다양한 C..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 12. 14.
• textsms

Chapter 7. 깊은 신경망의 고질적 문제와 해결 방안

DNN, 무턱대고 깊게 만들면?Vanishing gradient 문제가 생길 것layer가 많으면 입력 층에 가까울수록 미분이 사라진다..!저어기 앞에서 줄 잡고 흔들어봤자 저어기 뒤까지 전달이 안된다. (미분을 직관적으로 표현) 주범은 sigmoid (최대 기울기=1/4)gradient 소멸 -> update X -> 앞단에 이상한 weight -> 깊은게 오히려 독이 됨Overfitting 문제가 생길 것 +) loss landscape가 꼬불해지는 문제Vanishing Gradient의 해결책 - ReLUReLU를 사용하면 1 이상에서 값을 그대로 출력하기 때문에 gradient도 그대로 뒤로 보낼 수 있음..Vanishing/Explosion Gradient 에 관한 추가 설명 [책 요약] 밑바닥..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 12. 12.
• textsms

Chapter 6. 인공 신경망, 그 한계는 어디까지인가?

Universal Approximation Theorem (왜 하필 인공신경망인가)MLP는 \(f_2(f_1(WX+b))\)처럼 행렬 곱과 Activation 함수가 결합된 단순한 형태이다. 하지만 이론상으로, 히든 레이어 한개만 있으면 어떤 연속 함수든 만들어 낼 수 있다. 이것이 Universal Approximation Theorem 이며, 인공 신경망의 성공 요인이다.예를 들어, 키가 입력이고 출력이 몸무게인 함수를 만든다고 가정하자.위 그림 처럼 데이터 1개 당 2개의 노드만 있으면 loss를 0으로 만들 수 있다. 예를 들어, x=160, y= 60 이면, 가장 위의 노드를 통해서 60이 출력되고, 아래 모든 노드들은 step activation function에 의해 모두 0처리 되므로  x..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 12. 10.
• textsms

Chapter 5. 이진 분류와 다중 분류

선형 분류와 퍼셉트론 non-linear activation 으로 이진 분류 문제 풀어보자 (unit step function)입력: 키와 몸무게출력: 1 (빼야 할 사람) 또는 0 (쪄야 할 사람)선형 분류(경계가 선형)에 쓰일 수 있다.hidden layer없이 unit step function을 activation으로 사용하면 퍼셉트론이라 함3D로 표현되는 것 확인 (입력과 출력과의 관계는 비선형)1. 미분불가 (gradient descent 못 씀)2. 너무 빡빡하게 분류한다unit step function을 조금 부드럽게 만들어보자 -> sigmoid!1. 전구간 미분 가능2. 좀더 부드러운 분류가 가능!확률(혹은 정도)로 해석 가능가장 멀리 찢어 놓는 합리적인 분류 기준 선을 찾게 됨step ..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 12. 1.
• textsms

Chapter 4. 딥러닝, 그것이 알고 싶다.

MLP를 행렬과 벡터로 나타내기첫번째 히든 레이어까지만 볼 때$$f_1(\begin{bmatrix} x_{1} & x_{2}\end{bmatrix} \begin{bmatrix} w_{1} & w_{3} & w_{5} \\ w_{2} & w_{4} & w_{6}\end{bmatrix}+\begin{bmatrix}b_{1} & b_{2} & b_{3}\end{bmatrix})$$두번째 히든 레이어까지 보면,$$f_2(f_1(\begin{bmatrix} x_{1} & x_{2}\end{bmatrix} \begin{bmatrix} w_{1} & w_{3} & w_{5} \\ w_{2} & w_{4} & w_{6}\end{bmatrix}+\begin{bmatrix}b_{1} & b_{2} & b_{3}\end{b..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 11. 27.
• textsms

Chapter 3. 인공신경망이란?

인공 신경망, weight와 bias의 직관적 이해, 인공 신경망은 함수다!인공 신경인간의 신경을 흉내낸 것노드(혹은 unit)와 엣지(혹은 connection)로 이루어져있다.웨이트(중요도)를 곱하고 바이어스(민감도)와 함께 더하고, 액티베이션!여러가지 액티베이션이 존재. 여기서 본 건 unit step (계단) function주어진 입력(강아지면)에 대해 원하는 출력이 나오도록 웨이트, 바이어스를 정해줘야 한다.근데, AI가 스스로 적절한 웨이트, 바이어스를 알아내기 때문에 대박! how? Input layer & output layer (& hidden layer)깊은 인공 신경망? (DNN: Deep Neural Network)노드끼리 싹다 연결한 층은 FC (fully-connected) lay..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 11. 26.
• textsms

Chapter 2. 왜 현재 AI가 가장 핫할까?

(근데 강의 제목이랑 내용이 상관이 없네..)AI vs ML vs DL (Rule-based vs Data-based)인공지능이란AI(Artificial Inteligence): 인간의 지능을 인공적으로 만든 것!지능이란 지적 능력이다. 예를 들면 개와 고양이를 분류 하는 능력중요한건 How? 인간은 어떻게 개와 고양이를 분류하지?인간의 사고방식을 흉내내자! (이것이 딥러닝의 핵심)일반인에게 이런식으로 AI가 인간의 지능을 모방한 것이라고 설명하면 일반인들은 대부분 큰 오해를 할 수밖에 없다. 왜냐하면 지능이란 말이 너무나 추상적이기 때문에, 인공지능의 범위가 엄청 거대하다고 생각한다. 인공지능 vs 머신러닝 vs 딥러닝지도 학습비지도 학습 반대로, 정답을 모른다.군집화 (K-means, DBSCAN, ..

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 11. 25.
• textsms

Chapter1. 딥러닝을 위한 필수 기초 수학-2

16. 랜덤 변수와 확률 분포랜덤 변수는 함수다!The term 'random variable' in its mathematical definition refers to neither randomness nor variability but instead is a mathematical function 랜덤 변수(X)는 사건이 입력이고 특정 실수의 값을 출력해주는 함수사건 → X → 실수값동전의 앞면 → X → 1동전의 앞면 → X → 2그냥 one-hot encoding 하는 느낌인데? Mapping 함수 느낌랜덤 변수는 대문자로, 실수 값으로 변환되고 난 값은 소문자로 표현이 실수값을 확률로 변환해주는 것이 확률 함수사건 → X → 실수 값 → P → 확률동전이 앞면 → X → 1 → P(1) → 0...

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 11. 17.
• textsms

Chapter1. 딥러닝을 위한 필수 기초 수학-1

01. 함수와 다변수 함수함수란 무엇인가?어떤 집합의 각 원소를 다른 집합의 유일한 원소에 대응시키는 이항 관계.그럼 다음과 같은 경우는 함수가 아닌가?$$ z=f(x,y)= \begin{bmatrix} xy^2 \\ x+y \end{bmatrix} $$출력이 2개이지만 위 경우도 함수이다. 출력의 2개의 값을 하나의 벡터라고 본다면, 결국 유일한 원소에 대응시키는 이항관계로 볼 수 있기 때문이다(벡터 함수..?)그럼 원의 방정식(\(x^2+y^2=1\))은 함수인가?(링크)위 정의에 따르면 \(y^2=x\) 는 함수가 아니다. x에 대해서 대응되는 y가 두개이기 때문.근데 만약 아래처럼 표기하면, 위에서 출력의 2개의 값을 하나의 벡터로 본 경우하고 똑같아지는거 아닌가? 그럼 얘도 함수로 봐야하는데....

• format_list_bulleted 인공지능/[강의] 혁펜하임 딥러닝 강의
• · 2024. 11. 17.
• textsms