Ê 32 Ê 5 ¾ Vol.32, No.5 2006 9 ACTA AUTOMATICA SINICA September, 2006 Û Ê 1) 1, 2 2 1 ( ÔÅ Æ 100041) 2 (Ñ Ò º 100037 ) (E-mail: fmsun@163.com) ¼ÈÙ Æ Ü Äµ ÕÑ ÅÆ ¼ÈÙ ÆÄ Ä Äº ¼ÈÙ ÆÄ Ü ÜÓ µ É» Ì É»²ÂÄÎ ¼ÐÅÄÕ ¼ÐÅÄ ²Ñ À¼ÈÙ Æ Á Ä Î ¼ÐÅ ÜÓ Æ ² ²Â Ä ÉÇÄ Ð ± Ïݱ Å ßÓ Ü Äµ Ð ± Á± ßÄ Ä ÒÎ µ ¼ÈÙ Æ PnP Õ TP391 Pose Determination from a Single Image of a Single Parallelogram SUN Feng-Mei 1,2 WANG Wei-Ning 2 1 (Faculty of Science, North China University of Technology, Beijing 100041) 2 (Department of Physics, Capital Normal University, Beijing 100037) (E-mail: fmsun@163.com) Abstract Pose determination by a single image of a single space parallelogram is investigated in this work. The main results are: If only a single image of a single parallelogram is known, the rotation matrix and direction of the translation vector from the camera system to the object system can be determined. If the length of one of the parallelogram s sides is also known, the translation vector can also be determined. In addition, we show that the entities such as the length-ratio of two adjacent sides and the including angle of two adjacent sides of the parallelogram, since they are not projective invariants, cannot provide any additional useful constraints on the pose parameters. Key words Pose determination, parallelogram, the PnP problem 1 Ù Æ ÝÁ³  ÑÂÚÞ Â Ä² Á Ä Ñ Ñº Àß Ñ ÀßÅ ³ ÛÆ Ë Æ ÁÂ Ú ¹ Ë Ë È ¹±Á Ç ÞÒ ÛÆ Â Å ÅÓ Â ½³ ÓÐ ÛÆ Â³ 1) Ú (60375006), 863 (2005AA118020) Supported by National Natural Science Foundation of P. R. China (60375006) and the National High-Tech Research and Development Plan of P.R. China (2005AA118020) ¾ 2005-10-10 ÊĐ Â¾ 2005-12-23 Received October 10, 2005; in revised form December 23, 2005
5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 747 Óл Û ÚÞŽ Å ÂÓÐ ÕÞ Â PnP (The Perspectiven-Point Problem) [1]. PnP n(2 < n < 6) ÃÝÁË Æ Ë±ÁÂ Ú ¹ ³ È ¹ Ë È ¹ ¾ ¹Â ½ÓÐ PnP 1981 Fisher Bolles ¾ ³ Ç«Ç PnP Â Ï n = 3 Ä ÝÁ 3 ß¹Ë Ë Á Å Ê Ú P3P à [2]. Ú Ú P3P Å Øà ÂÊ Û [1,2]. n = 4 Ä ÝÁ 4 ß¹ËÆ Ðº «Ë Á ÚÂÆ P4P [3,4]. ÝÁ 4 ß¹Ë Æ ÚÂØÆ P4P ÅÛ 5 Â Ê Û [5]. n = 5 Ä ÝÁ 5 ß¹ËÀÕÈ Æ ÀÕ 4 Æ Ú P5P Å 2 [6]. É [7] Å Þ Wu ÓÐ P3P  ¾«Â Õ Ó ¼Å [8]  ˾ «Ë Á ß¹Ë Â Å (Danger cylinder) Ê Ú P3P 3 «Ë Á ß¹ËÈÈÅ ÂÈ ³º ÂÀ º Ú P3P 4 ¼Å [9] ½ «Ú³ ³ ÓР³à PnP  ¹ PnP» ÝÁ n ß¹ËÂÈ Ú n Æ ËÂÈ Ñ ²Â ³ È ¹ Ë È ¹±Á ¹  ÝÁ ºÇØ Å ÚÆ Ñ Ä ³ È ¹ Ë È ¹±Á ¹ Â Ï Úµ ÈÓ Ú 2 2.1 ÜÏ ÌÍß «Ó Ë ØÇË Ȼ Ë x = (x, y) T Â È Á x = (x, y, 1) T. 2.2 Ý«Ð Ì PnP» Á Ë Â³µÕÑ É Á Ë Â³µÕ K = I. 2.3 Đ ÌÅ Å É «Ó à Á ÞÄÆ 1 Þ Â³ È ¹ 1 ßÄÞÂÉ» Fig. 1 The used object frame Ö ÅºÇØ ÅÞ Âº Ö ³ È ¹Â (o xy) º Ë Ö ºÇØ Å ÏËÊ ox ºÇØ Å ¾² ÂÈ ¹½ ÝÁË Æ Ë±Á ÛÛ [10] : λ i m i = (r 1 r 2 t) x i, i = 1, 2, 3, 4 (1)
748 À ¹ 32л x i ºÇØ Å 4 ÏËÂ È «m i ºÇØ Å 4 ÏË ÚÂÆ ËÂ È «λ i r 1, r 2 ÂÍ Â Æ t º r 1, r 2 Á r 3 Û«r 3 = r 1 r 2 Á ÛÒ Á Í ÞÒ Þ Â Ä r 1, r 2, t  (r 1 r 2 t)» ¹ ÝÁº Æ º Â Û (homography). ÞÒ Þ Â ºÊ Ä Û Â 2.4 ÖÆ Ú Ö ÝÁË ¾  (ÄË ¹ ÁÝÁÂÈ Â Å), ÛÒ º ÂÓ Û º Â Ê Ï ³ ³ ¾  ÞÒ Ú³ ³ ĐË ÂÈÓ ³ ĐË ËÂÈÓÛÒÁ ÂÆ ÞÒ Æ Ð ³ ÂÔ Â Ð º  3 Å«³Ì Û ÍÛ ¾ ½ ÂÓÐ ¾ Â Ï 3.1 ÓÑÐ Ô 1. ÝÁºÇØ ÅÂÀ Ñ (1)»ÂÍ º Û Ò«ºÇØ ÅÂÛÆ ½ Þ Ð ÐÏ É Æ 1» OA = Ñ È COA = θ, OC = S. θ, S Ö ºÇØ Å OABC 4 ÏËÂ È Û 0 S cosθ + S cosθ x 1 = 0, x 2 = 0, x 3 = S sin θ, x 4 = S sin θ 1 1 1 1 Ð 4 ÏË ÚÂÆ ËÂ È m 1, m 2, m 3, m 4, (1) Â Û ¹ λ 1 m 1 = t (2) λ 2 m 2 = r 1 + t (3) λ 3 m 3 = S cosθr 1 + S sin θr 2 + t (4) λ 4 m 4 = r 1 + S cosθr 1 + S sin θr 2 + t (5) Ê» λ i, i = 1, 2, 3, 4, S, θ m i, i = 1, 2, 3, 4, Ñ (r 1 r 2 t) Ê ÛÒÁ ½  ¹» (2), λ 1 λ 2 λ 3 = ( m 1 m 2 m 3 ) 1 m 4 λ 4 = λ 4 = ( m 1 m 2 m 3 ) 1 m 4 Û ÛÁ Û Ñ ÅÊÓÏ Ç r 1 = m 2 m 1 λ 4
r 1. 5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 749 r 1 Í ÂÆ r T 1 r 1 = 1, ÞÒ λ 4 ÛÒ«½ Á Á º t ÛÒ«½ Á λ 4 = m 2 m 1 t = m 1 λ 4 Þ r T 1 Æ» (4), r 1, t ÑÁ Ò r T 1 r 2 = 0, ÞÒ (4) Û ÞÒ ÛÒÅÊ Â Û ¼ÁÏ r T 1 ( m 3 λ 4 t) = S cosθ S sinθr 2 = λ 4 m 3 S cosθr 1 t r 2 = λ 4 m 3 S cosθr 1 t λ 4 m 3 S cosθr 1 t = ( m 1 m 2 m 3 ) 1 m 4, λ 4 = m 2 m 1 t = m 1 λ 4, r 1 = m 2 m 1 λ 4 S cosθ = r T 1 ( m 3 λ 4 t), r 2 = λ 4 m 3 S cosθr 1 t λ 4 m 3 S cosθr 1 t Ô 2. ÛºÇØ ÅÆ Â³ Ñ ºÇØ ÅÂ Â Ä Â OC : OA = r, Â È COA = θ Å Û «ÀÂ Ô Í ÛÒ º ÂÓ º Â Ð Ï 2 ÛÒÞ Ð Ê É 2.4 ÍÂÖ Â Â ÈÅÖ Â ÞÒ ÅÛÒ ¾º ÂÓ Í ½ ¾Ä º ÂÓ Í ÂÓÐ Ï 1  ½ º λ 4 = ( m 1 m 2 m 3 ) 1 m 4 (2) t = λ 1 m 1 = λ 4 m 1, t  РÞÒ É Ö = 1. = OA ÛÒ«½ Û = λ 4 m 2 m 1 Þ Â λ 4 Ê ÛÁ  t, ÛÍ ÂÓÐ Ï 1»Â ¾ß«
750 À ¹ 32Ð Ê Â ¼Û Í º ÂÓ Þ Â Â È Â ÞÒ Â ³  Р«À  Þ 3.2 Þ Ë Ê ÂÏ 2 Û ºÇØ Å Â Â È ÍÛ ³  Р«ÞÂ Ô Ó Ö ºÇØ ÅÂ Û Æ ÂÒ Í º ÂÓ ½ Å ÍÛ Â Ë Ö ÛºÇØ ÅÂÆ ÛÒ 2). ºÇØ ÅÂ ÃºÇ ÂÆ ÛÒ Ú ÛË (Vanishing points),  ÛË ÛÒ Û l (Vanishing line, Ô ³  Û). Ë Ñ ÞÒË Â³ µõ K Ñ ÍÛ º ÊÔ (The absolute conic) Â Û C = K T K 1 (»¹ Ô Â The image of the absolute conic) Ô ÛÒ C l  ÌÇË º Żˠ(The image of the circular points). ŻˠÛÒ³Ó È ¾ r 1, r 2. źÇØ ÅÂÀ ÏËÇ ³ È ¹Â Ë ÛÒ ¾º ÂÓ Ê Â Û ÞºÇØ Å ºÊ ºÇØ ÅÞ º ÂÅ» Ë ½ ¾  ÛÓРо ÍÛ Û m I ŻˠŻË m I ÂÆ Ë m I, m I Í Â Æ (r 1, r 2 ) Ľ ¹ λ I m I = r 1 + ir 2 (6) ºÇØ ÅÞ º Â Å»Ë (1 ± i 0) T, Å (1 i 0) T Ç (1) ÛÒÁ (6). (6) ³  º«Å»Ë m I Â Æ 2 Û Æ º»Ø Å oabc ÝÁºÇØ Å OABC Â Û ÍÛ ºÇØ Å OABC ÃºÇ Ú ÛË V 1, V 2 Û«½ Û V 1 : ³ oa ³ bc ÂÇË«V 2 : ³ oc ³ ab ÂÇË«Û l V 1, V 2, ³ ÞÒ l ÛÒ³Ó È 2 ÝÍÄ Fig. 2 The vanishing points determination 2) μ ÎÜ Đ½³Ã Å ± ±» ÜÌ Ü «¼Ì Õ Æ Đ Ã
5 ÝÙ ÇÅ ¼ÈÙ Æ Ü Äµ 751 Å»ËÂ Ô Â ( Ì Å)C Û l ÂÇË ÞÒ Å» Ë ÛÒ ½ ÂӼà ¾ { x T Cx = 0 l T x = 0 Ä 2.2 ÍÞÓ» Ë Ñ C = I, ÞÒÊ ÂӼà { x 2 1 + x 2 2 + 1 = 0 l 1 x 1 + l 2 x 2 + 1 = 0 «Ê ÂӼà ÛÒÁ Żˠ(r 1, r 2 ). Ê ÂÓ¼Ã Ë Ó¼ Ê Å»Ë ÛÒ Ó È É ÛË V 1 r 1 ½Ó ¹ ÞÒ 1 λv 1 = (r 1 r 2 t) 0 = r 1 0 r 1 = V 1 V 1 r T 2 r 1 = 0 r 2 Û l Ê r T 2 l = 0, ÞÒ r 2 r 1 l  r 2 = ± l r 1 l r 1 Ê» r 2  Рr 2  ÛÒ«O, A, B, C ËÂ Û Ó Ë O, A, B, C Ö Ë Â Ó ÞÒ (2) (5)»Â λ i, i = 1, 2, 3, 4 Ö Õ ÛÒ r 2 Â Ý º ÂÓ Ä 3.1 ÍÞ ÛÒ t = λ 1 m 1 = λ 4 m 1 = m 1. Ê Â Û ºÇØ ÅÂÍÛɺ ÛÒ Í º ÂÓ Ö ÄºÇØ Å Â Â È Ð ÍÛ ÞÒ ² ÔÇÞ ½ ÂÓÐ ÛÒ³Ó È Í R. ÍÛ Ã Ò r Ð ÂÝÁºÇ Ä V Ú ÛË r V Ľ ¹ ÊÓ Í R ÛÒ 4 R = ( V1 V 1 r = V V V 1 (V 1 V 2 ) V 1 (V 1 V 2 ) ) V 1 V 2 V 1 V 2 ÒÍÛ ³Ì Û ½ ÂÓÐ ÝÁºÇØ ÅÛÆ Â³ Ç«¾«Â ÛÓÐ «ºÇØ ÅÂ
752 À ¹ 32Ð ÛÆ ³ È ¹ Ë È ¹ÂÍ º ÂÓ «² ºÇØ Å Šº  ÛÒ ºÇØ Å Â Â ÈÅ ÍÛ ¾½Â ³ źÀÂ Ô ¾À Ò½Ù 1) Ï Â É Ï Â É ÕÏ»ÛÒÖ Ç±µ «2) ÛÐÂÕµ ÆÉ Õµ ÆÉ ËØ ÓÐ Æ P4P» Æ P4P ÂÏ º ¾ß» Â Ú ÄÆ P4P»ÂÏ ºÇØ Å 4 ÏËÂÆ ±ÁĐ ÛÐ Æ«Ú ÆÅ º 3) ÍÛ ÓÐ ³Ì ÛÓÐÂ Ë ÍÛ ÂÓÐË Û ÛË ÛËÂ Û ³ ÞÒ Ö ÍÛ ÂÓÐ ÊÂ É ³Ì ÛÓÐ ÛÊ ÆÉ Ë»Ñ ³ «¾ß «Å Ë Ö Â ÛÆ Â³ «ºÇØ Å Â Â ÈÅ «ÀÂ Ô Õ ÛÆ Â Ë Â «Þ Ô Ê Ä ÆÅ [11] ¾ ÛÆ Â ºÇØ Å Â Ë Â³µÕÛÒ «ÀÂ Ô References 1 Fishler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 1981, 24(6): 381 395 2 Su C, Xu Y Q, i H, iu S Q, i D G. Necessary and sufficient condition of positive root number of perspectivethree-point problem. Chinese Journal of Computer, 1998, 21(12): 1084 1095 3 Penna M A. Determining camera parameters from the perspective projection of a quadrilateral. Pattern Recognition, 1991, 24(6): 533 541 4 Hu Z Y, ei C, Wu F C. A note on the planar P4P problem. Acta Automatica Sinica, 2001, 27(6): 770 776 5 Hu Z Y, Wu F C. A note on the number of solutions of the non-coplanar P4P problem. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(4): 550 555 6 Wu F C, Hu Z Y. A study on the P5P problem. Chinese Journal of Software, 2001, 12(5): 768 775 7 Gao X S, Hou X R, Tang J, Cheng H F. Complete solution classification for the perspective-three-point problem. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 930 943 8 Zhang C X, Hu Z Y. A general sufficient condition of four positive solutions of the P3P problem. Journal of Computer Science and Technology, 2005, 20(6): 836 842 9 Zhang C X. Study on the Perspective-N-Point/ine Problem. [Ph.D. Dissertation], Institute of Automation, Chinese Academy of Sciences, 2006 10 Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientation. In: Proceedings of International Conference on Computer Vision. Kerkyra, Greece: IEEE Press, 1999. 666 673 11 Zhu H J, Wu F C, Hu Z Y. Camera calibration from two parallel segments. Acta Automatica Sinica, 2005, 31(6): 853 864 Ø ÔÅ ÞÊÒ Ô ÎÃ Ü Ò (SUN Feng-Mei Associate professor of the North China University of Technology. Her research interests include photo-electric information processing and 3D computer vision.) Ù Ñ Ò ÞÊÒ Ô Îà (WANG Wei-Ning Associate professor of the Capital Normal University. Her research interest includes photo-electric information processing.)