Pose Determination from a Single Image of a Single Parallelogram

Size: px

Start display at page:

Download "Pose Determination from a Single Image of a Single Parallelogram"

Clinton Sherman
5 years ago
Views:

1 Ê 32 Ê 5 ¾ Vol.32, No ACTA AUTOMATICA SINICA September, 2006 Û Ê 1) 1, ( ÔÅ Æ ) 2 (Ñ Ò º ) ( fmsun@163.com) ¼ÈÙ Æ Ü Äµ ÕÑ ÅÆ ¼ÈÙ ÆÄ Ä Äº ¼ÈÙ ÆÄ Ü ÜÓ µ É» Ì É»²ÂÄÎ ¼ÐÅÄÕ ¼ÐÅÄ ²Ñ À¼ÈÙ Æ Á Ä Î ¼ÐÅ ÜÓ Æ ² ²Â Ä ÉÇÄ Ð ± ÏÝ± Å ßÓ Ü Äµ Ð ± Á± ßÄ Ä ÒÎ µ ¼ÈÙ Æ PnP Õ TP391 Pose Determination from a Single Image of a Single Parallelogram SUN Feng-Mei 1,2 WANG Wei-Ning 2 1 (Faculty of Science, North China University of Technology, Beijing ) 2 (Department of Physics, Capital Normal University, Beijing ) ( fmsun@163.com) Abstract Pose determination by a single image of a single space parallelogram is investigated in this work. The main results are: If only a single image of a single parallelogram is known, the rotation matrix and direction of the translation vector from the camera system to the object system can be determined. If the length of one of the parallelogram s sides is also known, the translation vector can also be determined. In addition, we show that the entities such as the length-ratio of two adjacent sides and the including angle of two adjacent sides of the parallelogram, since they are not projective invariants, cannot provide any additional useful constraints on the pose parameters. Key words Pose determination, parallelogram, the PnP problem 1 Ù Æ ÝÁ³ Â ÑÂÚÞ Â Ä² Á Ä Ñ ÑÂº Àß ÑÂ ÀßÅ ³ ÛÆ Ë Æ ÁÂ Ú ¹ Ë Ë È ¹±Á Ç ÞÒ ÛÆ Â Å ÅÓ Â ½³ ÓÐ ÛÆ Â³ 1) Ú ( ), 863 (2005AA118020) Supported by National Natural Science Foundation of P. R. China ( ) and the National High-Tech Research and Development Plan of P.R. China (2005AA118020) Â¾ ÊĐ Â¾ Received October 10, 2005; in revised form December 23, 2005

2 5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 747 ÓÐ» Û ÚÞÅ½ Å ÂÓÐ ÕÞ Â PnP (The Perspectiven-Point Problem) [1]. PnP n(2 < n < 6) ÃÝÁË Æ Ë±ÁÂ Ú ¹ ³ È ¹ Ë È ¹ ¾ ¹Â ½ÓÐ PnP 1981 Fisher Bolles ¾ ³ Ç«Ç PnP Â Ï n = 3 Ä ÝÁÂ 3 ß¹Ë Ë Á Å Ê ÚÂ P3P Ã [2]. Ú ÚÂ P3P Å ØÃ ÂÊ Û [1,2]. n = 4 Ä ÝÁ 4 ß¹ËÆ Ðº «Ë Á ÚÂÆ P4P [3,4]. ÝÁÂ 4 ß¹Ë Æ ÚÂØÆ P4P ÅÛ 5 Â Ê Û [5]. n = 5 Ä ÝÁÂ 5 ß¹ËÀÕÈ Æ ÀÕ 4 Æ ÚÂ P5P Å 2 [6]. É [7] Å Þ Wu ÓÐ P3P Â ¾«Â Õ Ó ¼Å [8] Â Ë¾ «Ë Á ß¹Ë Â Å (Danger cylinder) Ê ÚÂ P3P 3 «Ë Á ß¹ËÈÈÅÂ ÂÈ ³º ÂÀ º ÚÂ P3P 4 ¼Å [9] ½ «Ú³ Â³ ÓÐ Â³Ã PnP Â ¹ PnP» ÝÁ n ß¹ËÂÈ Ú n Æ ËÂÈ Ñ ²Â ³ È ¹ Ë È ¹±ÁÂ ¹ Â ÝÁ ºÇØ Å ÚÆ Ñ Ä ³ È ¹ Ë È ¹±ÁÂ ¹ Â Ï Úµ ÈÓ ÚÂ ÜÏ ÌÍß «Ó Ë ØÇËÂ È» Ë x = (x, y) T Â È Á x = (x, y, 1) T. 2.2 Ý«Ð Ì PnP» Á Ë Â³µÕÑ É Á Ë Â³µÕ K = I. 2.3 Đ ÌÅ Å É «Ó Ã Á ÞÄÆ 1 Þ Â³ È ¹ 1 ßÄÞÂÉ» Fig. 1 The used object frame Ö ÅºÇØ ÅÞ Âº Ö ³ È ¹Â (o xy) º Ë Ö ºÇØ ÅÂ ÏËÊ ox ºÇØ ÅÂ ¾² ÂÈ ¹½ ÝÁË Æ Ë±ÁÂ ÛÛ [10] : λ i m i = (r 1 r 2 t) x i, i = 1, 2, 3, 4 (1)

3 748 À ¹ 32Ð» x i ºÇØ Å 4 ÏËÂ È «m i ºÇØ Å 4 ÏË ÚÂÆ ËÂ È «λ i r 1, r 2 ÂÍ Â Æ t Âº r 1, r 2 Á r 3 Û«r 3 = r 1 r 2 Á ÛÒ Á Í ÞÒ Þ Â Ä r 1, r 2, t Â (r 1 r 2 t)» ¹ ÝÁº Æ º Â Û (homography). ÞÒ Þ Â ºÊ Ä Û Â 2.4 ÖÆ Ú Ö ÝÁË ¾ Â (ÄË ¹ ÁÝÁÂÈ Â Å), ÛÒ º ÂÓ Û º Â Ê Ï ³ ³ ¾ Â ÞÒ ÚÂ³ ³ ĐË ÂÈÓ ³ ĐË ËÂÈÓÛÒÁ ÂÆ ÞÒ Æ Ð ³ ÂÔ Â Ð º Â 3 Å«³Ì Û ÍÛ ¾ ½ ÂÓÐ ¾ Â Ï 3.1 ÓÑÐ Ô 1. ÝÁºÇØ ÅÂÀ Ñ (1)»ÂÍ º Û Ò«ºÇØ ÅÂÛÆ ½ Þ Ð ÐÏ É Æ 1» OA = Ñ È COA = θ, OC = S. θ, S Ö ºÇØ Å OABC 4 ÏËÂ È Û 0 S cosθ + S cosθ x 1 = 0, x 2 = 0, x 3 = S sin θ, x 4 = S sin θ Ð 4 ÏË ÚÂÆ ËÂ È m 1, m 2, m 3, m 4, (1) Â Û ¹ λ 1 m 1 = t (2) λ 2 m 2 = r 1 + t (3) λ 3 m 3 = S cosθr 1 + S sin θr 2 + t (4) λ 4 m 4 = r 1 + S cosθr 1 + S sin θr 2 + t (5) Ê» λ i, i = 1, 2, 3, 4, S, θ m i, i = 1, 2, 3, 4, Ñ (r 1 r 2 t) Ê ÛÒÁ ½ Â ¹» (2), λ 1 λ 2 λ 3 = ( m 1 m 2 m 3 ) 1 m 4 λ 4 = λ 4 = ( m 1 m 2 m 3 ) 1 m 4 Û ÛÁ Û Ñ ÅÊÓÏ Ç r 1 = m 2 m 1 λ 4

4 r 1. 5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 749 r 1 Í ÂÆ r T 1 r 1 = 1, ÞÒ λ 4 ÛÒ«½ Á Á º t ÛÒ«½ Á λ 4 = m 2 m 1 t = m 1 λ 4 Þ r T 1 Æ» (4), r 1, t ÑÁ Ò r T 1 r 2 = 0, ÞÒ (4) Û ÞÒ ÛÒÅÊ Â Û ¼ÁÏ r T 1 ( m 3 λ 4 t) = S cosθ S sinθr 2 = λ 4 m 3 S cosθr 1 t r 2 = λ 4 m 3 S cosθr 1 t λ 4 m 3 S cosθr 1 t = ( m 1 m 2 m 3 ) 1 m 4, λ 4 = m 2 m 1 t = m 1 λ 4, r 1 = m 2 m 1 λ 4 S cosθ = r T 1 ( m 3 λ 4 t), r 2 = λ 4 m 3 S cosθr 1 t λ 4 m 3 S cosθr 1 t Ô 2. ÛºÇØ ÅÆ Â³ Ñ ºÇØ ÅÂ Â Ä Â OC : OA = r, Â È COA = θ Å Û «ÀÂ Ô Í ÛÒ º ÂÓ º Â Ð Ï 2 ÛÒÞ Ð Ê É 2.4 ÍÂÖ Â Â ÈÅÖ Â ÞÒ ÅÛÒ ¾º ÂÓ Í ½ ¾Ä º ÂÓ Í ÂÓÐ Ï 1 Â ½ º λ 4 = ( m 1 m 2 m 3 ) 1 m 4 (2) t = λ 1 m 1 = λ 4 m 1, t Â Ð ÞÒ É Ö = 1. = OA ÛÒ«½ Û = λ 4 m 2 m 1 Þ Â λ 4 Ê ÛÁ Â t, ÛÍ ÂÓÐ Ï 1»Â ¾ß«

5 750 À ¹ 32Ð Ê Â ¼Û Í º ÂÓ Þ Â Â È Â ÞÒ Â ³ Â Đ «À Â ÞÂ 3.2 Þ Ë Ê ÂÏ 2 Û ºÇØ Å Â Â È ÍÛ ³ Â Đ «ÞÂ Ô Ó Ö ºÇØ ÅÂ Û Æ ÂÒ Í º ÂÓ ½ Å ÍÛ Â Ë Ö ÛºÇØ ÅÂÆ ÛÒ 2). ºÇØ ÅÂ ÃºÇ ÂÆ ÛÒ ÚÂ ÛË (Vanishing points), Â ÛË ÛÒ Û l (Vanishing line, Ô ³ Â Û). Ë Ñ ÞÒË Â³ µõ K Ñ ÍÛ º ÊÔ (The absolute conic) Â Û C = K T K 1 (»¹ Ô Â The image of the absolute conic) Ô ÛÒ C l Â ÌÇË º Å»ËÂ (The image of the circular points). Å»ËÂ ÛÒ³Ó È ¾ r 1, r 2. ÅºÇØ ÅÂÀ ÏËÇ ³ È ¹Â Ë ÛÒ ¾º ÂÓ Ê Â Û ÞºÇØ Å ºÊ ºÇØ ÅÞ º ÂÅ» ËÂ ½ ¾ Â ÛÓÐ Ð¾ ÍÛ Û m I Å»ËÂ Å»ËÂ m I ÂÆ Ë m I, m I Í Â Æ (r 1, r 2 ) Ä½ ¹ λ I m I = r 1 + ir 2 (6) ºÇØ ÅÞ º Â Å»Ë (1 ± i 0) T, Å (1 i 0) T Ç (1) ÛÒÁ (6). (6) ³ Â º«Å»Ë m I Â Æ 2 Û Æ º»Ø Å oabc ÝÁºÇØ Å OABC Â Û ÍÛ ºÇØ Å OABC ÃºÇ ÚÂ ÛË V 1, V 2 Û«½ Û V 1 : ³ oa ³ bc ÂÇË«V 2 : ³ oc ³ ab ÂÇË«Û l V 1, V 2, Â³ ÞÒ l ÛÒ³Ó È 2 ÝÍÄ Fig. 2 The vanishing points determination 2) Î¼ ÎÜ Đ½³Ã Å ± ±» ÜÌ Ü «¼Ì Õ Æ Đ Ã

6 5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 751 Å»ËÂ Ô Â ( Ì Å)C Û l ÂÇË ÞÒ Å» ËÂ ÛÒ ½ ÂÓ¼Ã ¾ { x T Cx = 0 l T x = 0 Ä 2.2 ÍÞÓ» Ë Ñ C = I, ÞÒÊ ÂÓ¼Ã { x x = 0 l 1 x 1 + l 2 x = 0 «Ê ÂÓ¼Ã ÛÒÁ Å»ËÂ (r 1, r 2 ). Ê ÂÓ¼Ã Ë Ó¼ Ê Å»ËÂ ÛÒ Ó È É ÛË V 1 r 1 ½Ó ¹ ÞÒ 1 λv 1 = (r 1 r 2 t) 0 = r 1 0 r 1 = V 1 V 1 r T 2 r 1 = 0 r 2 Û l Ê r T 2 l = 0, ÞÒ r 2 r 1 l Â r 2 = ± l r 1 l r 1 Ê» r 2 Â Ð r 2 Â ÛÒ«O, A, B, C ËÂ Û Ó Ë O, A, B, C Ö Ë Â Ó ÞÒ (2) (5)»Â λ i, i = 1, 2, 3, 4 Ö Õ ÛÒ r 2 Â Ý º ÂÓ Ä 3.1 ÍÞ ÛÒ t = λ 1 m 1 = λ 4 m 1 = m 1. Ê Â Û ºÇØ ÅÂÍÛÉº ÛÒ Í º ÂÓ Ö ÄºÇØ Å Â Â È Ð ÍÛ ÞÒ ² ÔÇÞ ½ ÂÓÐ ÛÒ³Ó È Í R. ÍÛ Ã Ò r Ð ÂÝÁºÇ Ä V ÚÂ ÛË r V Ä½ ¹ ÊÓ Í R ÛÒ 4 R = ( V1 V 1 r = V V V 1 (V 1 V 2 ) V 1 (V 1 V 2 ) ) V 1 V 2 V 1 V 2 ÒÍÛ ³Ì Û ½ ÂÓÐ ÝÁºÇØ ÅÛÆ Â³ Ç«¾«Â ÛÓÐ «ºÇØ ÅÂ

7 752 À ¹ 32Ð ÛÆ ³ È ¹ Ë È ¹ÂÍ º ÂÓ «² ºÇØ ÅÂ Å º Â ÛÒ ºÇØ Å Â Â ÈÅÂ ÍÛ ¾½Â ³ ÅºÀÂ Ô ¾À Ò½Ù 1) Ï Â É Ï Â É ÕÏ»ÛÒÖ Ç±µ «2) ÛÐÂÕµ ÆÉ Õµ ÆÉÂ ËØ ÓÐ Æ P4P» Æ P4P ÂÏ º ¾ß» Â Ú ÄÆ P4P»ÂÏ ºÇØ Å 4 ÏËÂÆ ±ÁĐÂ ÛÐ Æ«Ú ÆÅ º 3) ÍÛ ÓÐ ³Ì ÛÓÐÂ Ë ÍÛ ÂÓÐË Û ÛË ÛËÂ Û ³ ÞÒ Ö ÍÛ ÂÓÐ ÊÂ É ³Ì ÛÓÐ ÛÊÂ ÆÉ Ë»Ñ ³ «¾ß «Å Ë Ö Â ÛÆ Â³ «ºÇØ Å Â Â ÈÅÂ «ÀÂ Ô Õ ÛÆ Â Ë Â «Þ Ô Ê Ä ÆÅ [11] ¾ ÛÆ Â ºÇØ Å Â Ë Â³µÕÛÒ «ÀÂ Ô References 1 Fishler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 1981, 24(6): Su C, Xu Y Q, i H, iu S Q, i D G. Necessary and sufficient condition of positive root number of perspectivethree-point problem. Chinese Journal of Computer, 1998, 21(12): Penna M A. Determining camera parameters from the perspective projection of a quadrilateral. Pattern Recognition, 1991, 24(6): Hu Z Y, ei C, Wu F C. A note on the planar P4P problem. Acta Automatica Sinica, 2001, 27(6): Hu Z Y, Wu F C. A note on the number of solutions of the non-coplanar P4P problem. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(4): Wu F C, Hu Z Y. A study on the P5P problem. Chinese Journal of Software, 2001, 12(5): Gao X S, Hou X R, Tang J, Cheng H F. Complete solution classification for the perspective-three-point problem. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): Zhang C X, Hu Z Y. A general sufficient condition of four positive solutions of the P3P problem. Journal of Computer Science and Technology, 2005, 20(6): Zhang C X. Study on the Perspective-N-Point/ine Problem. [Ph.D. Dissertation], Institute of Automation, Chinese Academy of Sciences, Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientation. In: Proceedings of International Conference on Computer Vision. Kerkyra, Greece: IEEE Press, Zhu H J, Wu F C, Hu Z Y. Camera calibration from two parallel segments. Acta Automatica Sinica, 2005, 31(6): Ø ÔÅ ÞÊÒ Ô ÎÃ Ü Ò (SUN Feng-Mei Associate professor of the North China University of Technology. Her research interests include photo-electric information processing and 3D computer vision.) Ù Ñ Ò ÞÊÒ Ô ÎÃ (WANG Wei-Ning Associate professor of the Capital Normal University. Her research interest includes photo-electric information processing.)

An Example file... log.txt

An Example file... log.txt # ' ' Start of fie & %$ " 1 - : 5? ;., B - ( * * B - ( * * F I / 0. )- +, * ( ) 8 8 7 /. 6 )- +, 5 5 3 2( 7 7 +, 6 6 9( 3 5( ) 7-0 +, => - +< ( ) )- +, 7 / +, 5 9 (. 6 )- 0 * D>. C )- +, (A :, C 0 )- +,