AAU SUMMER'SCHOOL PROGRAMMING) SOCIAL) ROBOTS) FOR)HUMAN) INTERACTION 7)IMAGE)PROCESSING)I

Size: px

Start display at page:

Download "AAU SUMMER'SCHOOL PROGRAMMING) SOCIAL) ROBOTS) FOR)HUMAN) INTERACTION 7)IMAGE)PROCESSING)I"

Hester Simon
6 years ago
Views:

AAU SUMMER'SCHOOL PROGRAMMING) SOCIAL) ROBOTS) FOR)HUMAN) INTERACTION LECTURE 7)IMAGE)PROCESSING)I COURSE OUTLINE 1.)Social)Robots)and)Applications 2.)Machine)Learning)and)Pattern)Recognition 3.

1 AAU SUMMER'SCHOOL PROGRAMMING) SOCIAL) ROBOTS) FOR)HUMAN) INTERACTION LECTURE 7)IMAGE)PROCESSING)I COURSE OUTLINE 1.)Social)Robots)and)Applications 2.)Machine)Learning)and)Pattern)Recognition 3.)Introduction)to)Robot)Operating)System)(ROS) 4.)Introduction)to)iSocioBot and)nao)robot,)and)demos 5.)Speech)Processing)I:)Acquisition)of)Speech,)Feature)Extraction)and) Speaker)Localization 6.)Speech)Processing)II:)Speaker)Identification)and)Speech)Recognition 7.'Image'Processing'I:'Image'Acquisition,'Pre?processing'and'Feature' Extraction 8.)Image)Processing II:)Face)Detection)and)Face)Recognition 9.)User)Modelling 10.)Multimodal)HumanZRobot)Interaction AALBORG)UNIVERSITY 2 1

Sampling 1920 1080,) 1280 720,) 640 480) Quantization 0~255) (8bits),)0~)65535(16bits)) 27.07.

2 WHAT' IS'IMAGE? It) is)a)2z D)function) f(x,y),)where)(x,y))are)coz ordinates) in) a)plane. Digital)image x)and) y)should) be)natural) numbers f( x,y))is)integer) value) Image) digitization Sampling ,) ,) ) Quantization 0~255) (8bits),)0~)65535(16bits)) AALBORG)UNIVERSITY 3 WHAT' IS'IMAGE? Gray) image) (intensity)) C olor)image) (RGB) AALBORG)UNIVERSITY 4 2

7/27/15 I MAG E ' P RO CE S S I NG ' It) i s )al s o) a)func ti on,) w hi c

D i ffer ent) tas k s ) bas ed) on) v ar y i ng) output: Im age) enhanc em ent

2015 A A LB O RG ) UNI V E RS I T Y 5 I MAG E ' P RO CE S S I NG '(E X AMP LE S

3 7/27/15 I MAG E ' P RO CE S S I NG ' It) i s )al s o) a)func ti on,) w hi c h)tak es ) a) di gi tal ) i m age) as )i nput) and) has ) di ffer ent) output. D i ffer ent) tas k s ) bas ed) on) v ar y i ng) output: Im age) enhanc em ent Im age) s egm entati on Obj ec t) detec ti on Obj ec t) r ec ogni ti on A A LB O RG ) UNI V E RS I T Y 5 I MAG E ' P RO CE S S I NG '(E X AMP LE S ) (Road)scene)understanding)from)NICTA) A A LB O RG ) UNI V E RS I T Y 6 3

4 WHY'IS'THIS'DIFFICULT? Loss) of) information) from)3d) to) 2D Noise Too) m uch) of) data Environmental) variations AALBORG)UNIVERSITY 7 STRUCTURE'OF'IMAGE'PROCESSING'(RECOGNITION) Acquisition Preprocessing Recognition Feature) Extraction AALBORG)UNIVERSITY 8 4

7/27/15 I MAG E 'ACQ UI S I TI O N Pr oj ec t) 3D ) s c ene) to)

2015 A A LB O RG ) UNI V E RS I T Y 9 I MAG E 'ACQ UI S I TI O N

5 7/27/15 I MAG E 'ACQ UI S I TI O N Pr oj ec t) 3D ) s c ene) to) 2D ) i m age Equi pm ent: C am er a C ol or Infr ar ed) Sc anner 2D 3D 3DScanCo A A LB O RG ) UNI V E RS I T Y 9 I MAG E 'ACQ UI S I TI O N Im age) pr oper ti es R es ol uti on, C ontr as t,) Br i ghtnes s A A LB O RG ) UNI V E RS I T Y 10 5

6 IMAGE'PREPROCESSING Due)to)environmental) variations) and)random) noise,)it)is)not) proper) to) use) the) acqui r ed) i m age) di r ectl y. To) r em ove) unr el ated) i nfor m ati on) and) enhance) r el ated) i nfor m ati on. Both) input) and) output) are) image. Usually)including: Geometric) transformation Normalization Filter Recover Enhancement AALBORG)UNIVERSITY 11 IMAGE'PREPROCESSING Histogram)equalization To) uni for m ) the) i ntensi ty) di str i buti on) of) an) i m age. t2/ AALBORG)UNIVERSITY 12 6

7 To) conver t) r aw )i m age) i nto) featur e) vector ) w i th)better ) descr i pti ve) abi l i ty. Invariant) to) same) class Distinctive)to)different) class Robust) to)noise Feature) types: Histogram)of)intensity)and/or) color Edge) and/or) corner Textur e) ( LBP,) H OG) AALBORG)UNIVERSITY 13 Histogram)of)intensity Compute) the)number)of)occurrences for) each) intensity) value [4,)5,)7,)4,)2,)3] AALBORG)UNIVERSITY 14 7

8 Edge) detection Roberts)operator Prewitt) operator Sobel operator AALBORG)UNIVERSITY 15 Edge) detection Roberts)operator Sobel operator Prewitt) operator AALBORG)UNIVERSITY 16 8

9 Local) Binary) Pattern) (LBP) To) r epr esent) the) l ocal ) spati al ) str uctur e) of) i m age. Steps: 1.) Divide)the) image) into) cells 2.) For)each) pixel)in) the) cell,) compare) its)intensity) g c to) neighbors) g p 3.) If) g c) > g p,)assign) 1) to) the) neighbori) otherwise,) set) the) neighbor) to) 0 4.) Set) * ' +, -. " ($ % $ ' )2 ' as) the) new)value) of) the) center 5.) Form)histogram) in) cell 6.) Concatenate) all)histogram) to) form)the) LBP) feature AALBORG)UNIVERSITY 17 LBP) example ?100 0? Z Z AALBORG)UNIVERSITY 18 9

10 RECOGNITION Structure Image Preprocessing Feature) Extraction Training Recognition Model Training AALBORG)UNIVERSITY 19 RECOGNITION Recognition) method) (Machine)learning) Logistical) regression SVM Neural)network) AALBORG)UNIVERSITY 20 10

11 REFERENCE Book Sonka,)Milan,)Vaclav)Hlavac,)and)Roger)Boyle. Image)processing,) analysis,)and) machine)vision Prince,)Simon)JD. Computer)vision:)models,)learning,)and) inference Journal IEEE)Transactions)on)Pattern)Analysis)and) Machine)Intelligence) (PAMI) International)Journal)of) Computer)vision)(IJCV) IEEE)Transactions)on)Image)Processing)(IP) Conference IEEE)International) Conference)on)Computer)Vision)and) Pattern) Recognition)(CVPR) IEEE)International) Conference)on)Computer)Vision)(ICCV) European) Conference)on)Computer)Vision)(ECCV) IEEE)International) Conference)on)Image)Processing)(ICIP) Open)source)software OpenCV ( w w w.opencv.or g) AALBORG)UNIVERSITY 21 COURSE OUTLINE 1.)Social)Robots)and)Applications 2.)Machine)Learning)and)Pattern)Recognition 3.)Introduction)to)Robot)Operating)System)(ROS) 4.)Introduction)to)iSocioBot and)nao)robot,)and)demos 5.)Speech)Processing)I:)Acquisition)of)Speech,)Feature)Extraction)and) Speaker)Localization 6.)Speech)Processing)II:)Speaker)Identification)and)Speech)Recognition 7.)Image)Processing)I:)Image)Acquisition,)PreZprocessing)and)Feature) Extraction 8.'Image'Processing II:' Face'Detection' and'face'recognition 9.)User)Modelling 10.)Multimodal)HumanZRobot)Interaction AALBORG)UNIVERSITY 22 11

A L A BA M A L A W R E V IE W

A L A BA M A L A W R E V IE W Volume 52 Fall 2000 Number 1 B E F O R E D I S A B I L I T Y C I V I L R I G HT S : C I V I L W A R P E N S I O N S A N D TH E P O L I T I C S O F D I S A B I L I T Y I N