RSS

[review] Joint Detection, Tracking and Mapping by Semantic Bundle Adjustment

22 May

발표 : CVPR 2013

제목 : Joint Detection, Tracking and Mapping by Semantic Bundle Adjustment

저자 : Nicola Fioraio Luigi Di Stefano

소속 : University of Bologna

 

이 논문은 솔찍히 어떻게 CVPR에 accept 되었는지 의심스러울 정도로 엉성한 논문이다.  아마 결과 동영상 보고 붙였나 보다.  하기 나도 그거 보고 읽었으니까.

이 논문에서 제일 문제가 되는 것은 notation이다.  일례로 이 논문에서는 []이 무슨 transform처럼 사용되는데 우리말로 하면 완전 “거시기”다.  논문에대가 계속 “거시기”란 말을 남발을 하고 있는 것이다.

거기다가 bold체의 \bf{x} 는 graph의 vertex로 등장하더니, 2D point 좌표도 됐다가 3D point 좌표도 되고 나중에는 막 inverse도 붙어서(\bf{x}^{-1}) function이다 transform처럼 행동하기도 한다. 헐…

그러한 X같음은 이 논문이 전체적인 프레임을 [1]에 근거하고 있기 때문이기도 하다.  [1]에서 보면 그냥 vision쪽 sparse bundle adjustment를 가지고, 무슨 graph optimization이네 뭐네 하면서 놀고들 있다.  내가 이래서 ICRA 논문, 특히 vision 쪽 논문을 X으로 본다.  Computer vision 학회에 냈으면 ACCV에 붙기도 어려운 논문이다.

암튼 이 논문을 이해하려면, [1]을 이해해야 한다.  [1]에서는 아래 그림과 같은 framework를 설정하고 거기서 몇가지만 바꿀 수 있는 옵션을 주면 general graph optimization을 풀 수 있는 시스템이 된다고 한다. (ㅋㅋ)

Clipboard01

 

암튼 여기서 중요한 것은 보통 bundle adjustment에서는 아래 그림([2]에서 퍼옴)에서 처럼, graph를 구성하는 인자가 (카메라는 동일카메라를 사용하고, 카메라 내부 인자 K는 안다고 치면) 3차원 점들과 카메라 포즈들인데, 여기 semantic bundle adjustment에서는 어떤 3차원 점들에 대해서는 이 점들이 속하는 object가 더 들어간다는 것이다.  거기다 학습을 통해 그 object 점들은 해당 object 자체 coordinate 상에서의 3D 좌표를 이미 알고 있다.

Clipboard01

그렇다면 그래프는 어떻게 변할 것인가?

잘은 모르겠지만 아래 그림처럼 되지 않을까?

ba

bundle adjustment

sba

semantic bundle adjustment

여기서 A, B는 ‘가’라는 물체에 속한 3D 점으로서 물체 ‘가’ 자체의 좌표계에서는 각각 A’과 B’의 좌표를 가졌다고 가정한다.  C와 E는 그냥 background의 점이고, D도 ‘나’에 속하고 물체 좌표계에서는 D’의 좌표를 가진다.

그에 따라 Jacobian은?

Jacobian of BA

sbaJ

Jacobian of SBA

 

[1] Rainer K¨ummerle, Giorgio Grisetti, Hauke Strasdat, Kurt Konolige and Wolfram Burgard, “g^2o : A General Framework for Graph Optimization” ICRA 2011.

[2] Bill Triggs, Philip McLauchlan, Richard Hartley and Andrew Fitzgibbon, “Bundle Adjustment — A Modern Synthesis”, Vision Algorithms: Theory & Practice, Springer-Verlag 2000.

Advertisements
 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

 
%d bloggers like this: