GDG devFest 2016 텐서플로우 세미나 들은 내용

기계학습

30년대 :: 오징어 = 엑손 (자이언트 엑손) 인간이 볼 수 있는 가장 큰 신경세포, 모델링. 호치킨 헉슬리 모델

모든 뉴럴네트워크 안에 들어가는 것은 헉슬리모델을 어떻게 구현할 것인가..?

헉슬리모델을 단순화한게 FN MODEL 

FN모델들을 가지고 좀 더 단순하게 계산한게 ANN : Artificial Neural Network

우리가 어쩌면 지성체를 만들 수 있지 않을까?

70년대 ::

뉴럴네트워크에서 하는 일들...

뱃속에서 나와서 인풋아웃풋이 생기고 뇌세포들이 정렬되기 시작한다..100일동안 !

STDP 비슷한 타이밍에 동작하는 뉴런들은 서로 연결이 강해지더라.

Spike Timing 

90년대 :: 

구현할 수 있는 것은 다 알았다고 생각했다.

SNN, SOM (가장 자주 만나는 뉴럴 네트워크)

한 때 중간 망했는데...

------

왜 지금 ! 머신러닝인가?

STDP -> NN

HH -> FN

RELU

논리게이트 : 두개의 인풋을 받아서 하나의 아웃풋을 만들어냄..

NN 오른쪽 박스를 어떻게 만들어내는..

------

뉴럴 네트워크

1990s : Self-organizing Map(코호엔) : 뉴럴네트워크로 처음 그려낸 것.. 

어떤 종류의 피쳐를 가지고 있는지.. 알아내는 것

MNIST 손으로 쓴 데이터가 얼마나 되든간에 열가지 중의 하나..

Dimension Reduction 차원축소

양립할 수 없는 애들이 차원이다.

-------

Self-organizing Map

첫 격자가 있는데.. 표현하고자 하는 데이터가 있다. 

어디에 쓰일까? ==> 로봇 청소기

------- 

오버 피팅 문제

이전에는 데이터를 많이 줄 수가 없었다. 

수렴 => 너무 커지게 되면 아리송한 사과를 넣으면 배가 나온다 ? 웨이트를 낮춰도 별로 티가 안나는 일이 일어남. 한번 강화된 서킷이 계속 강화된 상태로 있다.

속도 = 뭔가 크게 만들려면 무한대로 해야 하는데..인간의 대뇌피질의 레이어도 서로 연결이 안 되어있다. 

레이어가 보통 3~5개에 뉴런 10000개 쓰는게 90년대 일..

여담 = 가로로 된 줄무늬가 있는 방에서만 원숭이를 3개월 키우면 그 이후에는 가로가 아닌 줄무늬를 인식하지 못한다. 

당시에는 하드웨어적으로 해결하기로 함..

-------

2012년 가을 ! 

딥러닝..

레이어를 22개까지 미친 척 해봄

그림을 엄청 놓으니..

Supervised Learning -> Reinforcement Learning

강아지그림을 넣으니.. n번째 레이어의 몇번째 뉴런이 항상 참조가 되더라 ? 

CNN (2001)

DNN (2012)= LSTM = 똥구멍에서 입으로..? = 최근의 번역기 쪽에서 발전

------

Embedding Dimension

심장박동 : 가장 낮을때를 주기로 자르면 ?

Principal Component 가 임베딩 디멘젼에 해당함.

PCA 

ICA : 매우 많은 데이터를 100% 표현을 못한다. 최대한 많이 표현하는 차원의 수를 찾는 것.

Hyper Dimension

2000차원

40000차원 ? 단어수만큼 차원이 있다.

Hyper Plane

면처럼, 구분을 함.

SL -> SVM

Soft Vector -> Soft Vector Machine

롱텀 메모리 : 과거의 어떤 결과가 현재에 영향을 미침

숏텀 현재의 : 

El parol : 산타페 카페 이름.. 정원이 60~70. 어떤날은 50명이고 어떤 날은 70. 

전날이 70일때는 다음날 무조건 50.. 엘파롤의 고객수 그래프가..어떤 수의 고객으로 되어있냐에 따라 엄청나게 달라짐.

주체들이 얼마나 시계열의 이전을 기억할 수 있는가...?

------

Potential landscape

Gradient Descent

현재 내가 있는 곳에서 기울기가 가장 심한 곳으로 가보는 것.

Cost and Minimalzation

-> estimator (내 위치 평가 ? )

Global Minimum

Local Minimum

------

Convex Function

Gradient Descendant

----

실습