ZNANJE MATEMATIKE V TIMSS ADVANCED 2015 IN NA MATURI: KJE SO USPEŠNEJŠI FANTJE IN KJE DEKLETA BARBARA JAPELJ PAVEŠIĆ, PEDAGOŠKI INŠTITUT GAŠPER CANKAR, DRŽAVNI IZPITNI CENTER februar 2017 1 Metodološko srečanje, 14. 2. 2017
O TIMSS Advanced Sodelovalo je 9 držav: Francija, Italija, Libanon, Norveška, Portugalska, Ruska federacija, Slovenija, Švedska in ZDA. V Sloveniji: MATEMATIKA: vzorec populacije maturantov programa splošne mature (3000 na 70 šolah), kandidati za višjo (25%) in osnovno raven mature iz matematike (75%) FIZIKA: vsi dijaki v programu maturitetne fizike (1200 na 50 šolah) Skupaj: 56 000 dijakov: 32 000 iz matematike, 24 000 iz fizike, ~5 000 učiteljev in 3 000 šol februar 2017 TIMSS ADVANCED 2015 + MATURA 2
Dosežki maturantov iz matematike Slovenski kandidati za maturo iz matematike na višji ravni: najvišji dosežek Slovenija skupaj: enak dosežek kot specializirani dijaki Francije in Norveške Slovenija, višja raven mature Ruska federacija 6ur+ Libanon TIMSS povprečje Ruska federacija ZDA Dosežki 549 540 532 500 485 485 % pokritja populacije 8.2 1.9 3.9 11.4 10.1 Portugalska 482 28.5 Višji dosežki od slovenskega Statistično podobni dosežki Francija Slovenija Norveška 463 460 459 21.5 34.4 10.6 Nižji dosežki od slovenskega Švedska Italija 431 422 14.1 25.5 0 100 200 300 400 500 600 februar 2017 TIMSS ADVANCED 2015 + MATURA 3
Dosežki maturantov iz fizike Slovenski maturanti, ki so izbrali maturo iz fizike: najvišji dosežek med vsemi Nižji dosežki od slovenskega Slovenija Ruska federacija Norveška TIMSS povprečje Portugalska Švedska ZDA Libanon Italija Francija Dosežki 531 508 507 500 467 455 437 410 374 373 % pokritja populacije 7.6 4.9 6.5 5.1 14.3 4.8 3.9 18.2 21.5 0 100 200 300 400 500 600 februar 2017 TIMSS ADVANCED 2015 + MATURA 4
Razlike med spoloma v OŠ in gimnazijiv SVN V osnovni šoli ni razlik, do konca gimnazije pa postanejo velike. 560 MAT 4 580 MATEMATIKA fantje VRM 520 dečki dečki 560 480 dečki 540 520 fantje VRM 440 560 1995 2003 2007 2011 2015 MAT 8 500 480 460 fantje fantje fantje ORM fantje fantj e 520 440 420 1995 2008 480 1995 2003 2007 2011 2015 dekleta dekleta VRM dekleta ORM fantje fantje VRM fantje ORM februar 2017 TIMSS ADVANCED 2015 + MATURA 5
Razlike v znanju matematike med spoloma drugje februar 2017 TIMSS ADVANCED 2015 + MATURA 6
Analize nalog Almanacs deskriptivne analize vseh odgovorov na naloge in vprašanja: http://timssandpirls.bc.edu/timss2015/advanced-international-database/ Naloge: nacionalno poročilo TIMSS Advanced: http://timsspei.splet.arnes.si februar 2017 TIMSS ADVANCED 2015 + MATURA 7
TIMSS naloge 3 vsebine: algebra, analiza, geometrija razdeljene v poglavja 3 kognitivne kategorije: poznavanje dejstev in postopkov, uporaba znanja, sklepanje V preizkusu: kratke izbirne (A,B,C,D) + odprti tip Čas: 90 minut za 3 skupine po 11-14 naloge uravnotežene po času za reševanje Ocenjevanje: 1 točka za izbirne, 1 ali 2 za odprte; v modelu kasneje obtežene z zahtevnostjo; Po izračunu dosežkov z IRT so naloge razvrščene v mednarodne mejnike znanja. februar 2017 TIMSS ADVANCED 2015 + MATURA 8
Naloge za preverjanjedejstevin postopkov % pravilnih rešitev med fanti 100 90 80 70 60 50 40 30 20 10 0 Naloge 2015 Naloge 2008 M1_02 M4_01 M3_01, T M3_11, T M3_02, T M1_08 M2_06 M2_10 M3_05, T M1_02, T M3_02 M3_01 M1_05 M3_11 M3_05 M4_05 M1_01 M1_05, T M4_06 M2_02 M1_08, T M1_01, T M2_01 M1_01 M1_02 0 10 20 30 40 50 60 70 80 90 100 % pravilnih rešitev med dekleti Izrazi in operacije Izrazi in operacije Visok Najvišji M1_05 Odvodi Srednji M1_08 Nekoordinatna in koordinatna Srednji geometrija M2_01 Funkcije Srednji M2_02 Enačbe in neenačbe Visok M2_06 Integrali Najvišji M2_10 M3_01 M3_02 Trigonometrija Izrazi in operacije Izrazi in operacije Visok Srednji Visok M3_05 Odvodi Visok M3_11 M4_01 Nekoord. in koordinatna geometrija Izrazi in operacije Najvišji Visok M4_05 Limite Srednji M4_06 Odvodi Visok februar 2017 TIMSS ADVANCED 2015 + MATURA 9
Primera nalog Naloga M3_01, ki so jo mnogo bolje rešili fantje kot dekleta, je naloga o zaporedju (15 % razlike): Najslabše rešena naloga M1_02 (pravilnih rešitev 22 % - ugibanje?) februar 2017 TIMSS ADVANCED 2015 + MATURA 10
Naloge za preverjanjeuporabeznanja % pravilnih rešitev med fanti 80 70 60 50 40 30 20 10 0 Naloge 2015 M3_09, TM3_09 Naloge 2008 M3_10 M1_03, T M2_08 M3_10, T M2_04 M2_11 M1_10 M1_03 M3_03 M1_06 M1_07, T M1_07 M1_06, T M4_09 M3_03, T M4_03 M1_10, T M1_09 M2_05 M3_08, T M1_09, T M4_02 M3_07 M3_08 M3_07, T 0 10 20 30 40 50 60 70 80 % pravilnih rešitev med dekleti M1_03 Funkcije Visok M1_06 Odvodi Najvišji M1_07 Nekoordinatna in koordinatna geometrija Najvišji M1_09 Nekoordinatna in koordinatna geometrija Nad najvišjim M1_10 Nekoordinatna in koordinatna geometrija Najvišji M2_04 Izrazi in operacije Najvišji M2_05 Funkcije Visok M2_08 Limite Visok M2_11 Trigonometrija Srednji M3_03 Enačbe in neenačbe Visok M3_07 Odvodi Nad najvišjim M3_08 Integral Najvišji M3_09 Nekoordinatna in koordinatna geometrija Srednji M3_10 Trigonometrija Srednji M4_02 Enačbe in neenačbe Najvišji M4_03 Enačbe in neenačbe Najvišji M4_09 Trigonometrija Visok februar 2017 TIMSS ADVANCED 2015 + MATURA 11
Naloge za preverjanje matematičnegasklepanja % pravilnih rešitev med fanti 60 50 40 30 20 10 0 M3_04 M3_06 M4_07 M4_04 M2_09 M2_03 M2_12 M3_06, T M4_08 M3_04, T M4_10 M4_11 0 10 20 30 40 50 60 % pravilnih rešitev med dekleti M2_03 Izrazi in operacije Najvišji M2_09 Limite Najvišji M2_12 Nekoordinatna in koordinatna Najvišji geometrija M3_04 Enačbe in neenačbe Srednji M3_06 Odvodi Srednji M4_04 Funkcije Visok M4_07 Odvodi Visok M4_08 Integral Visok M4_10 Trigonometrija Visok M4_11 Nekoordinatna in koordinatna geometrija Visok Ugotovitev: fantje so boljši v različnih nalogah iz vseh kognitivnih ravni, vsebin in mejnikov. Učni načrt? Bodoči študij? februar 2017 TIMSS ADVANCED 2015 + MATURA 12
Primera nalog Naloga iz uporabe znanja M3_09, pri kateri so fantje dosegli 14 % več rešitev. (srednji mejnik): Naloga izsklepanja M2_03, ki so mnogo bolje rešili fantje kot dekleta, 16 % razlike (najvišji mejnik): februar 2017 TIMSS ADVANCED 2015 + MATURA 13
Maturitetne naloge podobne TIMSS? Obseg: ORM: pisno 120 min za 12 kratkih nalog + ustno 20 min za 3 vprašanja z nalogo VRM: pisno 180 min za 12 kratkih + za 3 strukturirane naloge + ustno 20 min za 3 vprašanja z nalogo Ocenjevanje: Točke s pisnega dela + točke z ustnega dela = točke ocena (ORM 1-5; VRM 1-8); Določanje mej za ocene je ločeno za ORM in VRM! februar 2017 TIMSS ADVANCED 2015 + MATURA 14
Kako do analiz podatkov 14 skupin nalog; vsak otrok reši 2 poišče se podobne otroke, ki so rešili druge skupine nalog prvemu otroku se pripiše verjeten dosežek za vse naloge otrok dobi s TOP napoved dosežka v obliki porazdelitve (določa jo 5 naključnih vrednosti = plausible values) Orodje za IRT: Mplus (Muten & Muten) IDCNTRY IDBOOK IDSCHOOL IDCLASS IDSTUD IDTEACH IDLINK TOTWGT PSPPHY01 PSPPHY02 PSPPHY03 PSPPHY04 PSPPHY05 705 11 22 2204 220402 2203 3 1.523809 409.44 458.81 451.28 434.65 400.80 705 12 22 2204 220403 2203 3 1.523809 475.50 414.33 404.67 435.21 383.24 705 7 22 2204 220404 2203 3 1.523809 429.74 389.07 419.15 393.27 458.52 705 8 22 2204 220405 2203 3 1.523809 555.00 616.03 572.12 569.86 564.35 705 9 22 2204 220406 2203 3 1.523809 508.80 456.08 464.17 328.68 376.80 705 10 22 2204 220407 2203 3 1.523809 345.68 398.21 428.39 480.46 481.69 705 11 22 2204 220408 2203 3 1.523809 455.21 412.36 562.13 474.88 513.30 705 7 24 2408 240802 2403 3 2.461538 464.28 477.62 451.16 430.77 426.37 705 9 24 2408 240804 2403 3 2.461538 409.78 428.49 447.43 450.78 421.04 705 10 24 2408 240805 2403 3 2.461538 473.75 424.98 456.95 392.22 389.20 februar 2017 TIMSS ADVANCED 2015 + MATURA 15
Omejitvepri analizah podatkov 1. Struktura preizkusov znanja (multiple imputacije) 2. Izračun dosežkov (PV) z metodo odgovora na postavko (IRT) 3. Vzorci: uteži + analize v državah + standardne napake 4. Lestvice in indeksi stališč(združene spremenljivke) 5. Hierarhična struktura učenci-učitelji-šole Bistveno: Za statistike iz dosežkov (PV), standardne napake vsebujejo slučajnost zaradi posplošitve iz vzorca na populacijo (vzorčna varianca) in ocene o dosežku na vseh nalogah (varianca zaradi imputacij). Za statistike spremenljivk iz vprašalnikov je standardna napaka samo zaradi vzorčne variance. februar 2017 TIMSS ADVANCED 2015 + MATURA 17
Kaj vse je na voljo za statistike? Podatki za vsako državo (učenci testi + vprašalniki; učitelji, šola) Uporabniški priročnik + IDB Analyzer + priročnik zanj Vse tabele na voljo v excelu s strani: http://timssandpirls.bc.edu/ februar 2017 TIMSS ADVANCED 2015 + MATURA 17
Programi za analize: IDB ANALYZER: potrebuje delujoč SPSS / SAS (ustvari sintakso) http://www.iea.nl/research-collaboration Our data omogoča analizo vseh IEA in OECD študij omejen na osnovne statistične metode Paket BIFIEsurvey v R funkcije definiramo sami omogoča tudi HLM modele bootstrap računa drugače, zato se stand. napake malo razlikujejo od IDB. Vzorec izračunov: Analiza podatkov TIMSS z R Plakat konferenca PI, Mihaela Štiglic februar 2017 TIMSS ADVANCED 2015 + MATURA 18
Sistem poimenovanja podatkov v TIMSS MCGlllM3 šolski podatki MSAlllM3 odgovori učencev na testne naloge MSGlllM3 odgovori učencev na vprašalnike MSTlllM3 povezovanje učencev in učiteljev MTGlllM3 odgovori učiteljev na vprašalnike (G=M mat; G=P fizika) M B: 8. razred M A: 4. razred M P: maturanti iz fizike User Guide Supplement 1 - International Version of the TIMSS Adv 2015 Context Questionnaires Supplement 2 - National Adaptations of International Context Questionnaires Supplement 3 - Variables Derived from the Student, Teacher, and School Quest. februar 2017 TIMSS ADVANCED 2015 + MATURA 19
Pogled v IDB Analyzer nastavitev analize februar 2017 TIMSS ADVANCED 2015 + MATURA 20
Sintaksa iz IDB se odpre v SPSS < run all > vrne rezultate! V IDB vključene: deskriptivne, korelacije, regresije, logistične regresije, percentili, mejniki... Izpis vsebuje analizo značilnosti razlik med skupinami (xls datoteke). februar 2017 TIMSS ADVANCED 2015 + MATURA 21
Matura iz matematike+ TIMSS po spolu 650 TIMSS in ocena iz mature Ugotovitvi: Dosežek TIMSS 600 550 500 450 400 350 300 Osnovna raven mature Všja raven mature 1 2 3 4 5 6 7 8 Ocena na maturi dekleta orm fantje orm dekleta vrm fantje vrm 1. Fantje, ki so dobili isto oceno na maturi kot dekleta, so v TIMSS pokazali več znanja kot dekleta. 2. Dijaki, ki so delali maturo na osnovni ravni in dobili isto oceno kot dijaki na višji ravni, so v TIMSS pokazali manj znanja. VRM = višja raven mature ORM = osnovna raven mature februar 2017 TIMSS ADVANCED 2015 + MATURA 22
Korelacije med tremi dosežki Najbolj sta povezani TIMSS in končna ocena na maturi. Bolj so s TIMSS povezani dosežki na maturi višje ravni. Dekleta Fantje. Matura OR, pisno : TIMSS 0,56 = 0,57 Matura VR pisno : TIMSS 0,59 > 0,56 Matura OR, ustno : TIMSS 0,27 > 0,24 Matura VR, ustno : TIMSS 0,23 < 0,26 Točke na maturi, OR : TIMSS 0,56 = 0,56 Točke na maturi, VR : TIMSS 0,58 > 0,55 Ocena na maturi (1-5) : TIMSS 0,70 < 0,73 Šolska ocena (1-5) : TIMSS 0,61 < 0,65 februar 2017 TIMSS ADVANCED 2015 + MATURA 23
Razlika med spoloma: TIMSS + matura Fantje OME(y) = 0.6 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 100 % 90 % Maturitene ocene iz matematike Razlike med spoloma se manjšajo od TIMSS do mature. Pri šolskih ocenah jih sploh ni. 20 % 80 % 10 % 0 % 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % Dekleta OME(x) = 0.4034 Fantje OME(y) = 0.55 70 % 60 % 50 % 40 % 100 % 90 % Šolske ocene iz matematike Dosežek TIMSS Advanced v Sloveniji 30 % 20 % 10 % 0 % 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % Dekleta OME(x) = 0.4485 Fantje OME(y) = 0.5 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % Dekleta OME(x) = 0.504 februar 2017 TIMSS ADVANCED 2015 + MATURA 24
Ustni izpit na maturi iz matematike po spolu Odstotne točke na ustnem delu mature Osnovna raven Odstotne točke na ustnem delu mature Višja raven Ustne ocene na maturi nakazujejo višje dosežke deklet, bolj izrazito na osnovni ravni mature. februar 2017 TIMSS ADVANCED 2015 + MATURA 25
Mejniki znanja v TIMSS in maturitetne ocene Ocene na maturi niso usklajene z umestitvijo dijakov v mejnike znanja. Velika nausklajenost je med osnovno in višjo ravnjo na maturi. Povprečna ocena in deleži dijakov, ki so dosegli vsak mejnik znanja TIMSS Deleži dijakov 68.9 4.0 2.9 9.48 5.4 3.8 6.4 4.2 39.09 40.35 27.2 3.8 0.1 7.2 4.5 11.08 manj kot srednje znanje srednje znanje visoko znanje najvišje znanje Delež dijakov ORM Delež dijakov VRM Osnovna ravne mature Višja raven mature 8 7 6 5 4 3 2 1 0 Ocena na maturi februar 2017 TIMSS ADVANCED 2015 + MATURA 26
Študijski nameni maturantov Odstotoni deleži dijakov 50 45 40 35 30 25 20 15 10 5 0 Fizika Matematika Tehnika Fiziki Višja raven mature Osnovna raven mature IKT Kemija Biomedinske zn. Izobraževanje Ekonomija Drugo februar 2017 TIMSS ADVANCED 2015 + MATURA 27
Študenti matematike in biomedicinskih ved Odstotni delež dijakov po ocenah na maturi Dijaki, ki so za študij izbrali matematiko in statistiko 50 45 40 35 30 25 20 15 10 5 700 600 500 400 300 200 100 Dijaki, ki so za študij izbrali medicino in biomedicinske študije 700 600 500 400 300 200 100 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 Ocene na maturi iz matematike Dosežek TIMSS februar 2017 TIMSS ADVANCED 2015 + MATURA 28
Naklonjenost matematiki + dosežki po spolu 180 160 25 točk razlike 600 550 140 500 Odstotni deleži dijakov 120 100 80 60 40 20 0 3 6 Zelo naklonjeni matematiki 31 42 Srednje naklonjeni matematiki 66 19 točk razlike 53 Niso naklonjeni matematiki 450 400 350 300 250 200 Dosežki TIMSS Dosežek deklet Dosežek fantov februar 2017 TIMSS ADVANCED 2015 + MATURA 29
Č e t r t o š o l c i M a t u r a n t i O s m o š o l c i Poročila raziskave TIMSS in TIMSS ADVANCED 2015: na http://timsspei.splet.arnes.si na podstrani: Poročila TIMSS 2015 februar 2017 Geslo: timssslo15 30