이 글에서는 로지스틱 함수를 일반화하여 소프트맥스 함수를 유도하는 과정을 살펴봅니다. 읽기 전에 선형 회귀, 로지스틱 회귀와 소프트맥스 함수의 활용에 대해 알아야 합니다. 선형 회귀를 분류에 적용하기 우리가 아는 일반적인 선형 회귀는 다음 그림이다. 이는 독립변수가 하나일 때의 모형이다. 독립변수가 여러 개일 때의 multiple linear regression의 식은 다음과 같다. $$ \large{y={\beta}_0+{\beta}_1x_1+...+{\beta}_nx_n} $$ 이를 분류(classification)에 활용하기 위해, 간단히 \(y\)를 \(p\)로 바꿔보자. $$ \large{p={\beta}_0+{\beta}_1x_1+...+{\beta}_nx_n} $$ 이 식의 문제점은 \(p\..
0. 계산 그래프를 이용해 편미분을 구하는 방법이란? $$ z=(a+b) \cdot c|_{a=50, b=70, c=2} =240 $$ 이 식을 위의 그림처럼 계산 그래프로 표현할 수 있다. 역전파법을 이용해서 편미분을 구하면 $$ \left.\frac{\partial z}{\partial a}\right|_{a=50, b=70, c=2}=2 $$ $$ \left.\frac{\partial z}{\partial b}\right|_{a=50, b=70, c=2}=2 $$ $$ \left.\frac{\partial z}{\partial c}\right|_{a=50, b=70, c=2}=120 $$ 로 해석적으로 구한 해와 일치함을 확인할 수 있다. 왜 1부터 시작하는지, 왜 덧셈은 그냥 흐르고 곱셈은 반대쪽..
Transpose property \( (A+B)^T=A^T+B^T \) \( (AB)^T=B^TA^T \) \( (A^{-1})^T=(A^T)^{-1} \) \( A^T \) is invertable exactly when \(A\) is invertable. Transpose의 정의 : 세로줄을 가로줄로 바꾸는 행위(X) 모든 \(x\)와 \(y\)에 대해, \((Ax)^Ty=x^T(A^Ty)\)이도록 하는 \(A^T\)를 \(A\)의 transpose라고 한다.(O) Subspace의 정의 : 다음을 만족하는 벡터들의 집합을 subspace라 한다. If \(v\) and \(w\) are vectors in the subspace and \(c\) is any scalar, then (i) \(v..
