(07.30) W04_L04 Gradient method

https://www.youtube.com/watch?v=coTT9X_ovtk&index=18&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz

---

진구
결석률이 왜 높지 하고 보니 아침에 괄호 '(' 2 개로 바꾸었는데 없는 지 알고 페이지가 하나 더 추가되어 있었다.
그래서 아래 페이지를 삭제하고 한 곳으로 모았다.
(( 로 바꾼 이유는 너무 밑으로 밀려서이다.

---

느낀점(07.30):
big-O 를 보고 머신러닝처럼 연산이 많은 분야는 역시 자료구조 알고리즘과 어느정도 밀접한 연관이 있을 것이라 예상해 볼 수 있다.
전에 하던 자료구조 알고리즘 스터디도 마무리하면 좋겠다.

GD를 보니 딥러닝 공부할 때의 SGD가 생각나서 반가웠다.
아이디어는 비슷하다, 최대화해야하는 함수를 설정하고 미분값 만큼 더해줌으로써 최대화하는 방향으로 빠르게 이동한다.
하지만 도출 과정이 쉽지는 않았다. 테일러 급수로 전개해서 근사화하고 초기값을 주고 이동할 때 식이 어떻게 전개되는지 보여줬다.
사실 식 한 스텝 한 스텝이 완전히 잘 이해되지는 않는다. 내일 예시를 보며 한번더 곱씹어볼 생각이다.

learning rate h 는 사람이 잘 정한다?라고 했는데 이것 또한 중요한 이슈임을 우리는 알고 있다.
하지만 여기서는 방향이 더 우선이 되기 때문에 일단 그렇게 말한 것.

---

승관(2018.07.30):

• 세타값을 Approximation 하는 방법중 하나가 Gradient regression classifier 이다.
• x라고 표현되어 있는 점을 계속해서 움직이게(Lower or Higher) 해준다.
• x값의 이동에는 두개의 변수(Direction and Speed)가 필요하며, 그 중에서 Direction이 중요하다.

---

(07.31)성빈: Taylor Expansion

infinite sum of terms로 만들어줌

Gradient Des/Ascent 방향과 속력을 찾음

방향이 중요하다.

f(x1 + hu) = f(x1) + f’(x1)u 특정한 속력h를 지니고서 unit direction벡터를 진행해 나가겠음 gradient method는 결국 방향을 가진 유닛벡터를 찾는것이 가장 중요한 과정, 속력은 다르더라도 언젠가는 도달하기 때문에 사용자가 설정해준다.

---

민규 (2018.07.30): 지난 시간까지 logistic regression을 모델링하고 최적화하기 위해 미분을 수행했었다. 그러나 numerical 미분은 풀리지 않았다. 그래서 이번 강의에서 딥러닝에서도 사용하는 gradient descent/ascent 기법을 배웠다. gradient descent는 taylor 급수에서부터 시작한다. 1학년 미적분학에서 배운내용인데 역시 1학년 때 놀면 안되는 것이었다. 아무튼 다항식꼴로 대부분의 그래프를 만들 수 있는 이 급수를 통해서 gradient descent를 유도해낼 수 있다. 여기서 h라는 learning rate를 통해서 식이 근사화될 수 있다. 왜냐하면 h는 보통 소수점이기 때문이다. 이렇게 numerical한 방법으로 풀 수 없었던 logistic regression을 이제 analytic한 미분 방법을 통해서 해결할 수 있다.

---

대하(2018.07.30):

이번 시간에는 파라미터에 존재하는 model을 iterative 한 방법으로 해를 찾기 위한 방법 중의 하나인 gradient descent 방법에 대해서 알아보았다.

여기서 중요한 부분은 왜 방향이 (-)인지 아는 것이 중요하다.

또한 빅 오 표기법으로 식에 constraint를 주어서 유한하게 표현하는 방법도 알 수 있었다.

이제 다음 시간에 regression model에서 gradient descent 방법이 적용되는 것을 확인할 수 있다.

---