RSS

Category Archives: Deep Learning

Link

https://github.com/rasmusbergpalm/DeepLearnToolbox

 
Leave a comment

Posted by on June 18, 2014 in Deep Learning

 
Link

http://kourouklides.wikia.com/wiki/Deep_Learning#Books_and_Book_Chapters

 
Leave a comment

Posted by on June 18, 2014 in Deep Learning

 
Link

http://www.pyimagesearch.com/2014/06/09/get-deep-learning-bandwagon-get-perspective

 
Leave a comment

Posted by on June 18, 2014 in Deep Learning

 
Link

https://code.google.com/p/visual-rbm/

 
Leave a comment

Posted by on June 17, 2014 in Deep Learning, Programming

 

[term] representation

2014.05.29

Representation 이란 말은 최근에 deep learning 진영에서 ICLR(International Conference on Learning Representation) 이란 학회를 만들면서 처음 듣게 되었다.  물론 영어 단어 자체로서의 “representation”이란 말은 어느 정도 들어봤지만, scientific term으로서는 생소하다.

위키피디아[1]를 보니까 representation learning이 feature learning과 비슷한 개념인거 같이 들린다.  아니 솔찍히 말하면 목적이 같아 보인다.  그렇다고 해서 representation이 feature와 비슷한 개념인지는 확실히 모르겠다.

2014.06.12

최근 Civera의 “Inverse Depth Parametrization for Monocular SLAM”을 보고 있는데, 3차원 좌표를 표현하는데 있어서 representation 이란 말을 쓰고 있다.  즉, 우리가 일반적으로 쓰는 Euclidean coordinate 상의 좌표 표현법([10, 14, 33]^T 같은 3차원 vector)을 XYZ representation이라고 부르고 있고, inverse depth representation이라고 해서 6차원의 vector로 다르게 표현하는 것을 얘기하고 있다.  두 representation에서는 서로 1대 1 호환이 가능하다.  즉, XYZ representation을 가지고도 모든 3차원 좌표를 표현할 수 있고, inverse depth representation을 가지고도 모든 3차원 좌표를 표현할 수 있다.  해당 논문에서는 inverse depth representation이 XYZ representation보다 Kalman filter를 쓰는 SLAM에서 더 유리하기 때문에 쓴다고 했다. 따라서 representation은 말 그대로 어떤 현상이나 공간을 표현하는 방식인거 같다.  실체는 하난데, 어떤 목적을 위해서는 이 representation을 쓰고, 다른 목적을 위해서는 저 representation을 쓰는 것이 아닐까 한다.

주목할만한 것은 이 논문에서는 representation과 parametrization이란 말을 거의 동일한 의미로 쓰고 있다.  Hough transform을 설명하는 [2]에서도 line을 표현하는데 있어서, rho와 theta로 표현하는 polar coordinate representation이 slope와 intersection으로 표현하는 방식보다 Hough transform에 더 적합하기 때문에 쓴다고 하고 있다.  또한 rho, theta, slope, intersection을 parameter들이라고 말하고 있으며, representation과 parametrization을 동일한 의미로 취급하고 있다.

그렇다면 rotation을 표현하기 위한 방법들인 Euler angle, angle-axis, 3 by 3 matrix, quaternion 들도 representations for rotation이 아닌가[3]?  결국 learning representation은 여러 가능한 representation 중에서, 어떤 목적(예를 들어 classification)에 제일 맞는 representation을 사람이 지정해 주는게 아니라 자동으로 학습하게 하는 것인거 같다.  이건 어디까지나 내 생각인데, Deep neural net에서의 representation learning이라는 것이 결국, 쉽게 생각하거나 구할 수 있는 (raw) representation으로서의 data가 vector 형태로 input layer로 들어가서 상위 layer들을 한단계 한단계 거치면서 해당 목적(classification)에 적합한  representation으로서의 vector로 변환되어서 마지막엔 결국 간단한 perceptron 만으로도 선형 분류가 가능한 형태가 되어지는게 아닐까? (누군가 태클 좀 걸어줘~~)

[1] http://en.wikipedia.org/wiki/Feature_learning#cite_note-pami-1

[2] http://en.wikipedia.org/wiki/Hough_transform

[3] http://en.wikipedia.org/wiki/Euler_angles#Relationship_to_other_representations

 
Leave a comment

Posted by on May 29, 2014 in Deep Learning, Terms

 

What Does a Neural Network Actually Do?

Great article of new insight

Some Thoughts on a Mysterious Universe

There has been a lot of renewed interest lately in neural networks (NNs) due to their popularity as a model for deep learning architectures (there are non-NN based deep learning approaches based on sum-products networks and support vector machines with deep kernels, among others). Perhaps due to their loose analogy with biological brains, the behavior of neural networks has acquired an almost mystical status. This is compounded by the fact that theoretical analysis of multilayer perceptrons (one of the most common architectures) remains very limited, although the situation is gradually improving. To gain an intuitive understanding of what a learning algorithm does, I usually like to think about its representational power, as this provides insight into what can, if not necessarily what does, happen inside the algorithm to solve a given problem. I will do this here for the case of multilayer perceptrons. By the end…

View original post 1,775 more words

 
Leave a comment

Posted by on May 26, 2014 in Deep Learning