Titta

UR Samtiden - Skolforum 2014

UR Samtiden - Skolforum 2014

Om UR Samtiden - Skolforum 2014

Föreläsningar från Skolforum 2014 som vänder sig till lärare, studie- och yrkesvägledare samt studenter. Vi får lyssna till den senaste pedagogiska forskningen samtidigt som vi får med oss användbara verktyg som kan appliceras på den egna undervisningen. Inspelat 27-28 oktober 2014 på Älvsjömässan, Stockholm. Arrangör: Skolforum.

Till första programmet

UR Samtiden - Skolforum 2014 : Konsten att göra ett bra provDela
  1. Jag jobbar på institutionen
    för tillämpad utbildningsvetenskap-

  2. -vid Umeå universitet,
    där jag är forskare.

  3. Jag har en bakgrund som lärare och
    gick lärarutbildningen för länge sen-

  4. -så kopplingen går långt tillbaka.

  5. Just nu undervisar jag
    på lärarutbildningar.

  6. Det är väldigt bra
    för att följa skolans utveckling.

  7. Jag håller även kurser för lärare.

  8. Jag märker att intresset
    för provkonstruktion har vuxit-

  9. -av förklarliga skäl,
    jämfört med tidigare.

  10. Jag kom in på den här banan
    för att jag var frustrerad.

  11. Jag blev lärare
    för drygt 20 år sen kanske-

  12. -jag vågar inte räkna efter.

  13. Jag hamnade direkt i årskurs 9,
    och undervisade på höstterminen-

  14. -och skulle sätta betyg.
    Det var jag inte alls förberedd för.

  15. Vi hade en annan betygsskala då,
    så det är nog ännu svårare i dag.

  16. Jag tänkte: "Hur gör jag nu?
    Jag gör väl ett prov. Några prov."

  17. Men jag visste inte hur man gjorde
    och var frustrerad.

  18. Jag var inte förberedd och kände mig
    inte hederlig gentemot eleverna.

  19. Men jag gjorde så gott jag kunde.

  20. Jag hoppas att det blev rätt,
    men vem vet?

  21. Därav kom intresset,
    och sen blev jag provkonstruktör-

  22. -och på den vägen
    kom jag in i forskningen.

  23. BVM, beteendevetenskapliga mätningar-

  24. -är vår enhet
    som ni kan ha kommit i kontakt med.

  25. Vi utvecklar högskoleprovet
    och nationella prov i matematik-

  26. -och ämnesproven för årskurs 9,
    eller grundskolan.

  27. Några av dem. Vi tar mycket hjälp
    av lärare på skolan.

  28. Jag ville hitta en bild som sa nåt.

  29. Jag tänkte visa en känd bild
    med djur som står uppradade-

  30. -med nån som säger:
    "Nu ska alla få göra samma prov"-

  31. -"som går ut på
    att klättra upp i trädet.

  32. Ni känner kanske igen den. Där står
    en apa, en fisk, en elefant, o.s.v.

  33. Med det menar man att-

  34. -inte alla bör examineras på samma
    sätt. Det är inte alltid rättvist.

  35. Jag hittade ett citat
    som tillskrivs Albert Einstein.

  36. Det är oklart om det är så. Citatet
    är upplyftande på sätt och vis-

  37. -med är även deprimerande.

  38. "Alla är genier, bedömer man en fisk
    utifrån förmågan att klättra i träd"-

  39. -"kommer den att leva i tron
    att den är dum."

  40. Det känns trist,
    men det är nåt vi känner igen.

  41. Prov. Är prov ett nödvändigt ont?
    Alla har en relation till prov.

  42. Jag stöter på många
    som är kritiska till prov.

  43. Proven anses inte rättvisa eller bra.

  44. Man sorterar på ett sätt
    som man inte vill.

  45. Men vad finns det för alternativ?

  46. Vi lever i en värld
    där vi ska bedöma vad folk kan.

  47. Vi ska jämföra oss med andra,
    andra nationer, o.s.v.

  48. Det här är några artiklar
    jag har stött på nyligen.

  49. När jag disputerade 2005 var
    betygsinflation ett känsligt begrepp-

  50. -men nu ser vi det varje dag,
    och vi pratar om det.

  51. Det kanske var
    en betygsdeflation från början.

  52. Jag hörde betygsinflation
    nämnas senast i dag.

  53. Vad kan vi säga om
    kunskapsförändringar över tid?

  54. Förändras kunskaper
    eller har vi mätt på olika sätt?

  55. Eleverna blir stressade av prov.
    Det är vansinnigt mycket prov i dag.

  56. Ska det verkligen vara så?

  57. Om vi inte ska ha alla prov,
    vilka ska vi ha?

  58. Lärare kanske har en lite...

  59. Synen på prov skiljer sig mycket.

  60. Många kritiserar mängden prov, och
    säger att de inte hinner undervisa.

  61. Man jobbar mycket med prov
    och gör sina egna.

  62. Och man måste följa riktlinjer
    som kommer uppifrån.

  63. Jag hittade en intressant artikel,
    som jag kommer att återkomma till.

  64. Ni ser nog inte, men det står: Lärare
    tror inte på dåliga provresultat.

  65. Det handlar om en skola där betyg och
    nationella provresultat skiljer sig.

  66. Eleverna har bättre betyg
    än provresultat.

  67. Skolinspektionen
    sa att det inte var bra-

  68. -medan lärarna sa att proven inte
    visar vad eleverna kan.

  69. Då tog man in ett annat prov.

  70. Den ger ett resultat
    på en skala heter "stanine".

  71. Provet är standardiserat
    och har en skala på 0-9.

  72. Eleverna fick i snitt 4 på stanine,
    vilket är väldigt lågt.

  73. Då kan de inte få så bra betyg, för
    5 på stanine ska motsvara godkänt.

  74. Som provintresserad forskare
    blir jag fundersam.

  75. Man jämför många olika mått: betyg,
    nationella prov och ytterligare prov-

  76. -med en annan skala. Sen säger man
    att de här borde överensstämma.

  77. Men frågan är om de ska det.

  78. Jag återkommer till det.

  79. Jag börjar med provteori
    som är mitt favoritämne.

  80. Sen tar jag upp praktiska riktlinjer
    när man jobbar med prov.

  81. Men jag återkommer till artikeln
    med de olika mätningarna.

  82. Ni känner nog till de här begreppen.
    Jag ska prata i termer av mätningar.

  83. I min värld gör man kunskaps-
    mätningar och samlar in information.

  84. Sen görs en bedömning
    utifrån resultatet.

  85. Det kan vara hur man har presterat
    jämfört med andra-

  86. -jämfört med kriterier, o.s.v.
    Det är själva bedömningen.

  87. Resultatet sätts i förhållande
    till nåt annat.

  88. Häri ligger skillnaden i begreppen.

  89. När man föreläser utomlands kan det
    vara svårt att förklara begreppen.

  90. I Sverige är det lätt-

  91. -för att betygssystemen bygger på den
    här typen av begrepp eller mätningar.

  92. Normrelaterade mätningar hade vi
    i det gamla betygssystemet med 1-5.

  93. Syftet med det var att jämföra
    resultatet med en norm.

  94. Normgruppen var alla elever
    i en viss kohort.

  95. Kriterierelaterade är nåt annat.

  96. Där mäter man i förhållande
    till ett kriterium.

  97. I Sverige säger vi "målrelaterade".

  98. Vissa skiljer mellan
    mål- och kriterierelaterad.

  99. Jag kallar allt
    för kriterierelaterat-

  100. -för att det används internationellt.
    "Criterium reference" heter det.

  101. Sen finns det nåt vi kallar för
    summativa och formativa mätningar.

  102. Summativa är nåt man gör
    i ett slutskede-

  103. -och formativa, under tidens gång.
    De har blivit populära begrepp.

  104. Det pratas mycket om hur formativa
    bedömningar ska användas i skolan.

  105. När det gäller vad det är
    går åsikterna isär.

  106. Vissa säger att det är didaktik,
    ett sätt att undervisa-

  107. -vissa menar att det är en mätning
    som man gör nåt av.

  108. Allt har att göra med
    mätningens syfte.

  109. Alla mätningar
    har ett huvudsakligt syfte.

  110. Det blir problem
    när olika syften ska kombineras.

  111. Betyg och prov
    har nåt av de här tre syftena:

  112. Motivation. Det gäller nästan alltid.

  113. "Det kommer ett prov på slutet
    så jag anstränger mig lite mer."

  114. Motivationsfaktorn är ett av
    argumenten för eller emot betyg.

  115. Urval är en annan vanlig aspekt.

  116. "Vem får gå vidare om vi har
    ett antal utbildningsplatser?"

  117. "Vi har tio platser men hundra
    sökanden. Vilka ska få dem?"

  118. Då har man en mätning
    där man rangordnar.

  119. Information
    kännetecknar dagens betygsystem-

  120. -som är kriterie- eller målrelaterat.
    Det handlar om målen har uppnåtts.

  121. Men man är även intresserade av att
    veta vad eleverna kan och inte kan.

  122. Det är utifrån ett formativt tänk.
    Beroende på mätningens syfte...

  123. Man måste alltid tänka på
    vad ett prov syftar till-

  124. -och sen utforma det efter syftet.
    Ibland blir det svårt.

  125. T.ex. i dagens betygssystem-

  126. -som är inriktat på
    om målen har uppfyllts eller inte.

  127. Vi vill använda betygen
    för att rangordna sen-

  128. -för de uppfyller inte alltid
    de krav vi vill ställa.

  129. Det finns ett bra citat
    av Paul Black-

  130. -som är en engelsk forskare.

  131. Han beskriver skillnaden mellan
    formativ och summativ så här:

  132. "När kocken smakar soppan
    är det en formativ bedömning."

  133. "När kunden smakar soppan
    är det en summativ bedömning."

  134. När man smakar av soppan för att
    förändra nåt under matlagningen-

  135. -gör man en formativ bedömning.

  136. När kunden smakar soppan finns det
    inget mer att göra. "Hur blev den?"

  137. Det är lite elakt
    att jämföra soppor med prestationer-

  138. -men det är ett bra sätt
    att beskriva det på.

  139. Man måste hålla isär dem
    för ibland använder man...

  140. Det är ett problem i skolan i dag
    att vi mäter först i slutet-

  141. -om eleverna har uppnått målen.
    Men vi kan inte lägga allt på slutet-

  142. -även om det upplevs så.
    Vi försöker mäta under tidens gång.

  143. När man mäter
    och gör prov för att sätta betyg-

  144. -så mäter man så nära slutet man kan.

  145. Den informationen används
    för att sätta det slutliga omdömet-

  146. -om målet har uppnåtts eller inte.
    Man kan jämföra det med bilkörning.

  147. En förarutbildning.

  148. Man mäter under tidens gång
    vad en elev kan göra.

  149. Tänk er två körskoleelever
    där den ena inte kan nånting-

  150. -och den andra har goda kunskaper.
    Om man mäter under utbildningen gång-

  151. -så kommer den med lägre utgångspunkt
    att få ett lägre slutresultat-

  152. -om man väger ihop hela bedömningen.

  153. Det kanske är fel, för den med lägre
    kunskap som ändå uppnådde målet-

  154. -har gjort den starkaste
    progressionen. Det är svårt att mäta.

  155. Så är det. I målrelaterade mätningar
    är man intresserade av slutet.

  156. I dag pratar jag mest om
    summativa mätningar i form av prov.

  157. Formativa mätningar
    är inte mitt fält.

  158. Om man gör
    en normrelaterad relativ mätning-

  159. -relativa betyg pratade man om förut,
    så vill man mäta och ta reda på-

  160. -hur eleverna
    förhåller sig till andra.

  161. Man vill veta vem som är i mitten,
    vem som är bäst och sämst.

  162. När man utformar t.ex. högskole-
    provet så är det en relativ mätning.

  163. Provet ska rangordna sökande till
    högre utbildning utifrån prestation.

  164. Ett sånt prov har uppgifter
    som går från lätta till svåra.

  165. Om de är för lätta så klarar alla dem
    och är de för svåra klarar ingen dem.

  166. Man vill få en spridning i resultat.

  167. Man bygger ett prov från lätt
    till svårt, och så jämför man.

  168. Så fungerade betygssystemet med 1-5,
    i princip.

  169. Även om proven
    inte alltid utformades så.

  170. Det är tanken
    att resultaten ska bli spridna.

  171. Det gamla systemet utgick inte bara
    ifrån vem som var bäst och sämst-

  172. -utan även antaganden
    om normalfördelning.

  173. Denna princip
    gäller för högskoleprovet.

  174. Man har en standardiserad skala,
    och poängen sätts utifrån normen.

  175. Samma sak gäller för stanine,
    som jag nämnde tidigare.

  176. Jag vet inte om många
    känner till den. Jo, det nickas.

  177. Stanine är egentligen
    en förkortning för "standard nine"-

  178. -en standardiserad skala
    med nio skalsteg.

  179. Skolan som låg på stanine 4-

  180. -ligger ganska lågt ner
    i fördelningen.

  181. Men kan man säga om eleverna
    har uppnått målen eller ej?

  182. Det är en annan fråga.
    De ligger lägre än snittet-

  183. -men det finns ingen information
    i mätningen om de har uppnått målen.

  184. Där uppstår det vissa problem.

  185. En kriterierelaterad mätning
    utgår också efter en skala-

  186. -men intresserar sig för
    om målet har uppnåtts eller inte.

  187. Körkortsprovet handlar bara
    om vem som kan köra bil och inte.

  188. I ett sånt prov läggs uppgifterna...

  189. Jag har gjort två streck
    som symboliserar de två kravnivåerna.

  190. Ett prov i skolan
    ska ha fyra eller fem kravnivåer.

  191. Det blir komplicerat.

  192. Man mäter mot ett visst mål,
    och lägger uppgifterna...

  193. Strecket under de gröna kryssen-

  194. -är det som krävs för att eleverna
    ska visa att målet är uppnått.

  195. Jag är bara intresserad av
    det som ligger i det området-

  196. -inte uppgifter
    som är för svåra eller lätta.

  197. Jag kan lägga en lätt uppgift
    med syfte att alla ska klara den.

  198. Tanken är att alla ska klara
    även dem på en lite högre nivå.

  199. Man brukar lägga
    några lätta uppgifter-

  200. -för att det finns positiva effekter.
    Många är nervösa.

  201. Det känns bra att göra några enklare
    för att komma in i provgenomförandet.

  202. Ambitionen är att alla ska klara sig.
    Uppgifterna ska vara relevanta-

  203. -och alla ska klara sig. Då har man
    gjort ett bra jobb som lärare.

  204. Eleverna jobbar bra
    och har lärt sig det de ska.

  205. I vissa fall
    gör man uppgifter på en högre nivå.

  206. Ett sånt prov
    är inte bra för att rangordna.

  207. Det är inte intressant. Vi vill bara
    veta vad som ligger runt.

  208. Vad används informationen till?

  209. Att stämma av eller förändra
    är en formativ bedömning.

  210. Det är inget nytt. Det nya är att det
    diskuteras och finns mer hjälpmedel-

  211. -och mer litteratur kring
    hur man ska jobba i klassrummet.

  212. I alla sammanhang man är på väg
    mot ett mål, vare sig i idrotts-

  213. -eller utbildningssammanhang
    så vill man veta vart man ska-

  214. -var man är
    och hur man ska ta sig dit man ska.

  215. Det är elevernas uppdrag. Lärarna
    är intresserade av kunskapsluckor.

  216. Kan man gå vidare? Har eleverna lärt
    sig det de ska för att ta nästa steg?

  217. I viss mån kan summativa bedömningar
    agera formativt.

  218. Kan eleverna
    släppas till nästa årskurs-

  219. -kanske den som ska ta emot dem
    vill veta. Vad kan de sen tidigare?

  220. Det är en formativ bedömning
    och är upp till läraren.

  221. Prov kan också användas formativt.

  222. Instrumentet, d.v.s. provet,
    kan vara skriftligt eller praktiskt-

  223. -observationer, eller hur
    man nu samlar in informationen.

  224. Skillnaden ligger
    i hur man använder resultatet.

  225. Om informationen
    används formativt så är den det.

  226. Om den används summativt
    då är det en summativ bedömning.

  227. Den summativa sker i slutet
    och det är där man jagar.

  228. Man vill veta så säkert som möjligt-

  229. -om man kan sätta ett visst betyg,
    och om eleven kan det den ska kunna.

  230. Vad är bra och dåligt med prov?
    Det finns bra och dåliga prov.

  231. Det finns bra prov
    som används dåligt.

  232. Då kan man diskutera artikeln där man
    jämförde resultatet från stanine-

  233. -och nationella proven och betyg.

  234. Här går åsikterna isär,
    sägs det i artikeln.

  235. Lärarna säger en sak
    och andra säger nåt annat.

  236. Då måste man tänka på vad man mäter.

  237. Det spelar ingen roll
    om provet är bra.

  238. Används det på fel sätt
    fungerar det inte som det är tänkt.

  239. Man pratar ofta om dessa begrepp.

  240. De som har läst statistik och
    forskningsmetodik känner igen dem.

  241. Ibland blandas fälten ihop
    och det är inte alltid...

  242. ...det man önskar.
    Jag tänker i provsammanhang.

  243. Det är synd
    att man använder de engelska orden-

  244. -för det låter svårare än vad det är.

  245. Reliabilitet handlar om att mäta
    på ett tillförlitligt sätt.

  246. En mätning är reliabel
    om den är konsekvent.

  247. Ett bra exempel
    som de flesta känner igen-

  248. -är när man pratar om att mäta vikt.

  249. Minns ni gamla badrumsvågar med
    skivan som gick fram och tillbaka?

  250. Man ställer sig på vågen,
    mäter, får ett resultat-

  251. -och tänker: "Det kan inte stämma."

  252. Jag ställer mig på ett ben,
    och skivan går.

  253. Vad gör jag då? Jag provar igen
    och får ett annat resultat.

  254. Det skiljer lite. Min slutsats är att
    informationen inte är tillförlitlig.

  255. Jag får olika resultat varje gång jag
    väger mig. Vad gör man då?

  256. Man kan slänga vågen, låta bli
    att väga sig, eller köpa en ny.

  257. Man löser det
    på ett pragmatiskt sätt.

  258. Så jobbar man med kunskapsmätningar
    också. D.v.s. man väger sig igen.

  259. Man kliver upp, kliver ner
    och samlar in informationen-

  260. -och tänker att felen tar ut varandra
    efter ett tag. Det är rätt tänkt.

  261. Man kan se att ett värde dyker upp
    oftare eller hittar snittvikten.

  262. Precis så jobbar man med prov.

  263. En reliabel mätning
    ger alltid samma information.

  264. För att öka reliabiliteten
    ställer man fler frågor.

  265. Om man gör ett muntligt prov
    och ställer en fråga-

  266. -sitter eleven och tänker: "Jag fick
    just den frågan jag inte kunde."

  267. Det var ingen reliabel mätning.

  268. Hade man fem frågor till skulle
    informationen bli mer tillförlitlig.

  269. Ju fler frågor på ett prov
    desto tillförlitligare blir det.

  270. Man måste ställa rätt frågor såklart.

  271. Till en viss punkt. Det kan inte vara
    hur många frågor som helst.

  272. Då orkar man inte besvara dem,
    och värdet sjunker igen.

  273. Reliabiliteten är viktig, och
    betygsättningen i den svenska skolan-

  274. -är förmodligen rätt bra-

  275. -med tanke på att lärare kan samla in
    information på många sätt.

  276. Prov, klassrumsobservationer,
    eleverna kanske skriver saker-

  277. -eller annat
    som vi sammanlagt kan lägga ihop.

  278. Så om ett prov
    inte ger så bra resultat-

  279. -men tio andra informationskällor
    visar nåt annat-

  280. -så kan jag säga
    att det ligger på en viss nivå.

  281. Det är samma sak som jämförelsen
    mellan prov och betyg.

  282. Eleven kanske hade en dålig dag.

  283. När man pratar om reliabilitet brukar
    man prata om tur och otur och slump.

  284. "Skolinspektionen kom till min skola.
    Just i dag var alla sjuka."

  285. "Det var kaos.
    De sa att det inte var bra."

  286. Problem med reliabiliteten.

  287. Validitet handlar om
    att mäta rätt sak.

  288. Mäts det jag vill ska mätas?

  289. Jag kan ha en reliabel bedömning, men
    den behöver inte vara valid för det.

  290. D.v.s. jag mäter samma sak varje dag
    men hamnar en liten bit från målet.

  291. Det är inte det jag vill.

  292. Svårigheten med att mäta rätt
    pratar man i termer av...

  293. Validitet är komplext,
    så jag går inte in på det i dag.

  294. Validitet handlar oftast om prov.

  295. Det är precis den kritik som lärarna
    hade mot nationella prov och betyg.

  296. Den vänstra cirkeln kallas
    "construct underrepresentation".

  297. Man har inte tagit reda på
    allt man förväntas ta reda på.

  298. Det saknas en bit, som jag som lärare
    kanske hittar på ett annat sätt.

  299. En sån mätning är inte valid.
    Den har kanske låg validitet.

  300. D.v.s. jag tog reda på för lite. Jag
    borde ha bedömt andra saker också.

  301. Det andra problemet
    när man jobbar med validitet är-

  302. -att man mäter för mycket
    eller fel saker.

  303. Den engelska termen
    är "construct irrelevance".

  304. Man mäter nåt som inte är relevant.

  305. Det kan vara att man gör ett prov
    utan att tänka sig för.

  306. Man tänker: "Det här är viktigt
    att kunna." Det ser jag ofta.

  307. Men måste de kunna det utifrån det
    jag hade tänkt mäta nu? Kanske inte.

  308. Man lägger sig utanför, för svårt
    eller lätt, eller i ett annat fält.

  309. Eller så mäter man andra saker.

  310. Ett klassiskt exempel
    är matteproven för några år sen.

  311. Jag vet inte
    om den diskussionen ligger kvar.

  312. Matematik handlar inte bara om
    att räkna ut rätt svar.

  313. Man ska redogöra
    för tankegångar och resonemang.

  314. Den typen av uppgifter
    kräver ganska mycket text...

  315. ...säger man. Det kanske är så.

  316. Om vissa elever inte läser så bra...

  317. ...så förstår de inte
    vad de ska göra.

  318. Då kan de inte förstå uppgiften
    eller formulera hur de har tänkt.

  319. Den typen av problem talar man om
    i termer av "construct irrelevance".

  320. Alltså att man mäter fel saker. Det
    kan bli ett grovt validitetsproblem.

  321. För de eleverna
    mäter provet kunskaper i svenska-

  322. -läsförståelse
    och förmåga att formulera sig.

  323. För de som kan läsa
    är kanske validiteten god.

  324. Alltså för de
    som läser tillräckligt bra.

  325. Det här är jättesvårt, och man jobbar
    ständigt med det i provkonstruktion.

  326. Den här figuren
    är kanske svår att förstå.

  327. När man jobbar med prov
    professionellt så är förarbetet-

  328. -att analysera och konkretisera
    vad man är ute efter.

  329. Jag studerar kunskapskraven
    eller målen.

  330. Vad ska provet mäta?

  331. Vad innehåller det för delar
    som är intressanta i olika ämnen?

  332. I t.ex. matematik pratas det
    om olika kompetenser.

  333. Man försöker göra
    som när man planerar undervisningen.

  334. "Vad händer i det här?
    Vad är det här?"

  335. Jag har fått sätta mig in i kunskaps-
    kraven, och de är inte lättolkade.

  336. Vad betyder det i praktiken?
    Och hur mycket ska man kunna?

  337. Hur många frågor
    ska man göra på ett prov?

  338. Hur många uppgifter ska eleverna
    göra? Och vad är viktigast?

  339. Förlåt, jag måste backa.

  340. Få se om jag kommer tillbaka. Där!

  341. Förarbetet tar mycket tid om man ska
    göra ett prov med hög validitet.

  342. Man ska kunna sin målgrupp.
    Hur mycket text kan man ha?

  343. Kan jag skriva långa utläggningar
    eller inte?

  344. Är det små barn kan provet
    inte bestå av så många uppgifter.

  345. Är det gymnasiet
    kan det se lite annorlunda ut.

  346. Det finns inget universellt svar
    på det här.

  347. Bara den som kan sina elever och
    ämnet kan bedöma hur det ska se ut.

  348. Kanske är kryssen till vänster
    i det här fallet...

  349. Varje kryss ska representera
    en uppgift eller provfråga.

  350. Det fältet verkar viktigare. Eller
    är det andra, enklare uppgifter?

  351. Man brukar göra en provspecifikation.
    Det är en matris.

  352. De dyker upp i alla sammanhang.

  353. För provkonstruktören
    är det ett ovärderligt hjälpmedel.

  354. Det här är ett prov i bedömningsteori
    som är lämpligt för dagen.

  355. Man försöker skriva
    vad som krävs för att uppnå målet.

  356. Och vad betyder det i praktiken?
    Vad ska de visa för kompetenser?

  357. Är det kännedom om,
    eller mer komplex kunskap?

  358. Ibland är provspecifikationer enkla,
    som det kan vara i skolan.

  359. Man har inte så mycket tid
    att sitta med sånt här.

  360. Men gör man det en gång kan man också
    använda det i undervisningen.

  361. De som jobbar med prov
    har extremt detaljerade matriser.

  362. Det står provets ritning, och på
    engelska finns ordet "blueprint"-

  363. -som beskriver vad det är. Man kan
    inte slå ihop brädor till ett hus-

  364. -och tro att det blir bra. I ett prov
    ska man tänka igenom innehållet.

  365. En annan sak som dyker upp ofta
    är hur man värderar svaren.

  366. Ska man sätta poäng?
    Hur många poäng är varje fråga värd?

  367. Ska den vara värd två poäng eller en?
    Fem eller en?

  368. Eller ska man bara
    tänka i termer av rätt och fel?

  369. Vad betyder
    fem rätt av tio på ett prov?

  370. Man kan tycka att stora uppgifter
    ska ge fler poäng. Så är det ju.

  371. Annars kan eleverna
    hoppa över ansträngande frågor-

  372. -om de inte är värda mer än lätta
    uppgifter. Såna mekanismer finns.

  373. Det finns fördelar
    med fler poäng på stora uppgifter-

  374. -för att de ofta mäter
    mer komplex kunskap.

  375. Samtidigt kan man få fel i mätningen-

  376. -om nån missförstår
    en uppgift som ger många poäng.

  377. Man hade egentligen kunskapen.
    Det får stor betydelse för provet.

  378. När man gör prov
    som inte mäter så komplex kunskap-

  379. -försöker man skriva fler frågor
    om det som är särskilt viktigt.

  380. "Det här vill jag att de kan. Det här
    är centralt för att uppnå målet."

  381. I t.ex. bilkörning
    är vissa delar viktigare än andra.

  382. Om jag skulle examinera en bilförare
    väljer jag vissa grejer mer än andra.

  383. Själv föll jag på att jag inte
    kollade oljan. Jag var väldigt sur.

  384. Jag gjorde om provet nyligen
    för att få utökad behörighet-

  385. -och misslyckades på att jag glömde
    kolla oljan. Jag blev vansinnig-

  386. -för det finns väl viktigare saker?
    Men vad vet jag.

  387. De som gjorde provet
    ansåg tydligen att det var viktigt.

  388. Så kan det se ut.
    Vad är rätt och fel? Jag vet inte.

  389. Ofta får nationella proven utgöra
    förlaga för provkonstruktionen.

  390. Det kanske inte är fel.
    Man har kvalitativa betyg.

  391. Man skiljer på
    ex. E-uppgifter och C-uppgifter.

  392. "För att få C ska man kunna det här."
    Det är kanske att föredra-

  393. -framför att man ska få
    47 av 60 poäng för att få godkänt.

  394. Varför inte 46 eller 48?
    Hur förklarar man det i efterhand?

  395. Det är bättre att skriva en uppgift
    som är relevant för kunskapskravet-

  396. -och säga: "Jag kan köpa att du
    misslyckas med två uppgifter"-

  397. -"men kanske inte hälften".
    Det blir en bedömning.

  398. Det finns olika provformat
    som man jobbar med.

  399. Stängda och det jag kallar öppna
    uppgifter. Korta svar och långa svar.

  400. Där jag jobbar uppstår mycket
    diskussioner om högskoleprovet-

  401. -som bara har flervalsuppgifter och
    andra prov med bara öppna uppgifter.

  402. De som förespråkar det ena säger
    flervalsuppgifter inte mäter allt.

  403. Öppna uppgifter anses vara subjektiva
    och rättningen tar evigheter.

  404. "Det går visst att mäta allt."
    Båda parterna har rätt-

  405. -men ska 300 studenters kunskap
    om begrepp och fakta mätas-

  406. -kanske flervalsprov är lämpligt.
    Det är lätt att rätta.

  407. Om man ska mäta komplex kunskap
    hos ett fåtal-

  408. -kanske inte flervalsuppgifter
    är lämpliga.

  409. Det beror på
    kunskaper och externa omständigheter.

  410. Det finns för- och nackdelar.
    Öppna format som uppsatser-

  411. -och öppna svar
    är lätta att konstruera.

  412. Det är lätt att skriva en sån uppgift
    men den är svår att rätta.

  413. Speciellt om man inte är så precis.
    Ni känner säkert igen-

  414. -att man får svar
    som man aldrig hade tänkt sig.

  415. Man undrar om de har missförstått
    eller hittat på.

  416. Eller om man är så dålig
    på att formulera sig.

  417. Ofta är det så. Är man precis
    så får man ett ganska precist svar.

  418. Det strävar man efter
    och gör det lättare för alla.

  419. Stängda format är tvärtom. Det tar
    lång tid att göra flervalsfrågor-

  420. -oavsett om det är
    en sant falskt-uppgift, fyra svar-

  421. -eller matchningsfråga.
    Men de är lätta att rätta-

  422. -om man har gjort rätt.
    Ibland finns det fel i dem också.

  423. Men det gör det lätt
    att mäta hundratals studenters-

  424. -kunskaper om ex. periodiska system.
    Så gör man sällan-

  425. -men om det var så
    är flervalsfrågor lättare.

  426. Det här är riktlinjerna för öppna
    uppgifter, som är vanligast i skolan.

  427. Försök mäta relevant kunskap,
    fråga inte efter trivial kunskap.

  428. Ju öppnare en uppgift är desto mer
    ansvar läggs på provtagaren.

  429. Välj såna uppgifter för komplex
    kunskap som är svår att mäta.

  430. Provmatrisen blir lätt för
    detaljerad, om den är för uppdelad.

  431. Försök att inte göra
    provspecifikationen-

  432. -så att den
    hamnar på väldigt enkel kunskap.

  433. Rikta den mot delmål.

  434. Kräver tydliga anvisningar.
    Det är det svåra.

  435. En öppen uppgift är svår att tolka.

  436. Hur ska mallen, alltså
    bedömningsanvisningarna, se ut?

  437. Idealet är att en kollega ska kunna
    rätta provet och få samma resultat.

  438. Så tydlig ska den vara.
    Den ska finnas där.

  439. Det finns en massa riktlinjer.

  440. Jag skulle gärna gå igenom alla,
    men jag hinner inte.

  441. Ställ frågor om det som är viktigt.
    Skriv enkelt.

  442. Skriv enklare än vad ni tror.
    Underskatta inte nervositeten-

  443. -hos den som skriver provet.

  444. Ni vet hur det är.
    Man tänker: "Jag förstår ingenting."

  445. Det gör man kanske, men är stressad.

  446. Man läser fel och missförstår.
    Då blir det fel i mätningen.

  447. Fråga inte efter åsikter.
    "Hur skulle du ha gjort?"

  448. Det kan aldrig vara rätt eller fel.
    Men det ser man ofta.

  449. Instruktioner ska vara tydliga.
    Formulera frågeställningen positivt.

  450. Undvik "window dressing".

  451. "Window dressing" är ett problem
    som man kan prata länge om.

  452. Det handlar helt enkelt om
    onödig information.

  453. Man gör en fyllig uppgift
    för att mäta nåt komplext.

  454. Men det är frågan som blir komplex,
    det man frågar efter är trivialt.

  455. Jag har ett exempel som kommer från
    en bok jag skrev om provkonstruktion.

  456. Den ska illustrera problematiken.
    Jag ska inte läsa den nu.

  457. Den liknar en typ av uppgift
    som jag har sett.

  458. "Anna och Lisa gillar hästar.
    De rider så mycket de kan."

  459. "Under sommaren bla bla bla.
    De arbetar tio dagar."

  460. "Anna arbetar åtta timmar,
    Lisa arbetar fem."

  461. "Lisa får tio kr mer än Anna
    som får 50 kr/timme eftersom Lisa..."

  462. Ni förstår. Vad mäter man?
    Det finns många problem med frågan.

  463. Dels hur den ska tolkas, dels vad den
    mäter. Vad är den ute efter?

  464. Läsförståelse,
    förmåga att sortera, problemlösning?

  465. Eller ska man bara räkna ut svaret?
    Det här är "window dressing".

  466. En ganska enkel matteuppgift
    som görs komplicerad.

  467. Andra aspekter av provkonstruktion
    är hur man jobbar med svårighetsgrad.

  468. Man gör frågor svårare
    genom att trycka ihop svaren.

  469. Eller göra dem längre ifrån varandra.
    Det är samma kunskap-

  470. -men svårighetsgraden förändras.

  471. Det ser man ofta i frågesporter
    som "Vem vill bli miljonär?".

  472. Man frågar efter trivial kunskap
    men svaren ligger så nära varandra-

  473. -att det blir jättesvårt.
    Eller tvärtom.

  474. Att man frågar efter svår kunskap-

  475. -men det går att använda
    uteslutningsmetoden.

  476. Det här är problemet
    med flervalsfrågor.

  477. Var tydlig.

  478. Min mentor Ingemar Wedman
    skrev en bok 1988-

  479. -där han är kritisk
    till ordet "diskutera".

  480. "Diskutera hälsa
    - för- och nackdelar."

  481. Som provtagare så tänker man:
    "Ska jag skriva en avhandling?"

  482. "Vad ska jag skriva?
    Den är värd fem poäng."

  483. "Jag kanske...
    Den är nog så här lång."

  484. Det är också fel. Man vill att
    provtagaren visar vad den kan.

  485. Det ser jag ofta på universitetet,
    där studenter är bra på att skriva.

  486. De är så duktiga...
    Jag hoppar lite grann.

  487. De är så duktiga
    att de bluffar lite ibland.

  488. Vad gör de då?
    De vet inte vad jag är ute efter-

  489. -så de repeterar frågan eller skriver
    allt de kan om ett lite annat tema.

  490. Som lärare och provrättare
    får jag fem sidor att läsa-

  491. -utan att frågan besvaras.

  492. Det känns hårt
    att inte ge dem nåt för det.

  493. Då får man tänka på om man var
    otydlig. Då måste man ge dem nåt.

  494. Eller så kanske man var tydlig,
    men de bara bluffade.

  495. Det kan man se när man jobbar med
    provrättning. Det känner ni nog igen.

  496. Det är viktigt att utgå ifrån
    bedömningsanvisningar hela tiden.

  497. Utvärdera svaret utifrån frågan.

  498. "Var det det här jag frågade efter?"
    Låt er inte förföras.

  499. Jag stöter jämt på att man förförs
    av ett välformulerat svar.

  500. Det är samma problem som med
    matteuppgiften som var lästung.

  501. Belöna inte eleven
    som är duktig på att skriva-

  502. -om det inte handlar om att skriva.

  503. Tyvärr, men så är det.
    Annars får man problemet jag nämnde.

  504. Det där med bluffning.

  505. Man försöker pröva ut ett prov
    i efterhand-

  506. -när vi jobbar med prov
    professionellt.

  507. Hur välkonstruerade frågorna
    än är finns det alltid fel.

  508. De mäter inte som vi har tänkt.
    De var svårare eller lättare.

  509. Varför blir en enkel fråga svår?

  510. Diskriminerar de? Det kan låta
    konstigt i sammanhanget.

  511. Klarar sig de duktiga
    bättre än de som inte är det?

  512. Ibland blir det tvärtom.
    Då undrar man varför.

  513. Finns det en annan väg?

  514. Och sen, kravgränser. Jag måste säga
    nåt om dem innan jag slutar.

  515. Jag vill prata längre om det
    för det här är ju jättesvårt.

  516. Man vill att det ser ut så här.
    Axeln där nere visar provpoängen.

  517. Ju längre till höger,
    desto högre provpoäng.

  518. Axeln där uppe
    visar kunskapsnivå hos eleverna.

  519. Sen har vi en kravgräns i mitten.

  520. Alla med provpoäng till höger om
    gränsen har tillräckliga kunskaper.

  521. Alla till vänster har det inte.
    Så ser idealfallet ut.

  522. Alla uppe till höger
    blev korrekt godkända.

  523. De hade rätt kunskaper
    som överstiger kunskapskravet.

  524. Men så ser det inte alltid ut.
    Så här kan det se ut.

  525. Man måste fundera på om kravgränsen
    ska sättas lite lägre.

  526. I det här fallet är några felaktigt
    godkända, längst ner till höger.

  527. De klarade kravgränsen,
    men låg under kunskapsnivån.

  528. De uppe till vänster
    blev felaktigt underkända.

  529. De hade kunskaperna
    men klarade inte provet.

  530. Så vad ska man mäta?
    Hur säkert ska man veta?

  531. Finns det fler sätt att ta reda på
    kunskap kanske gränsen kan sänkas.

  532. Om man examinerar piloter vill man
    vara säker på att de kan flyga.

  533. Då accepterar man
    felaktigt underkända-

  534. -men inte felaktigt godkända,
    så man lägger gränsen högre.

  535. Det finns olika metoder
    som jag hoppas att man läser på om.

  536. Det finns mycket litteratur
    om det här.

  537. Det blir ofta tokigt.

  538. På universitetet säger de ofta
    att 50 % är godkänt. Vadå, 50 %?

  539. Tentan kanske är lättare än förra
    årets. Man kan inte bara sätta 50 %.

  540. Man gör det för att det är enklast.
    Ibland sätts kravgränsen i efterhand.

  541. Axeln uppåt visar ju kunskapsnivån.

  542. Om man tittar på de röda plupparna
    hade den till vänster-

  543. -något högre kunskapsnivå
    än den till höger.

  544. Men den till vänster
    klarade sig inte.

  545. Likadant för de blåa där nere.
    Det här finns det metoder för.

  546. Om ni vill läsa på kan jag tipsa om
    en metod som heter Angoff.

  547. Jag skriver om den i boken.
    Det finns litteratur om den också.

  548. Det är metoden
    som nationella prov bygger på.

  549. Jag måste sluta tyvärr.

  550. Men det handlar inte bara om provet.

  551. Det handlar om
    att förbereda elever och berätta.

  552. Det är inte fusk att träna på prov.
    Prov bör inte ta över...

  553. ...rollen av kunskapskrav.

  554. Men förberedelser ska inte avgöra
    vilka elever som klarar sig.

  555. Och hur trygga de är i situationen.
    Ge tillräckligt med tid.

  556. Jag blir vansinnigt upprörd
    när elever inte hinner bli klara.

  557. Frågor som ger högre betyg ligger
    ofta i slutet. Det är orättvist.

  558. Vi försöker inte mäta kunskaper under
    tidspress. Vi vill veta vad de kan.

  559. Det önskar jag
    att ni tänker på där ute.

  560. Tänk på de som läser långsamt.
    Det gör ni säkert redan.

  561. Det är väl det som är det viktiga.

  562. Tänk på vad ni mäter
    och var snälla mot eleverna.

  563. Tack för mig.

Hjälp

Stäng

Skapa klipp

Klippets starttid

Ange tiden som sekunder, mm:ss eller hh:mm:ss.

Klippets sluttid

Ange tiden som sekunder, mm:ss eller hh:mm:ss.Sluttiden behöver vara efter starttiden.

Bädda in ditt klipp:

Bädda in programmet

Du som arbetar som lärare får bädda in program från UR om programmet ska användas för utbildning. Godkänn användarvillkoren för att fortsätta din inbäddning.

tillbaka

Bädda in programmet

tillbaka

Konsten att göra ett bra prov

Produktionsår:
Längd:
Tillgängligt till:

Intresset för prov och provkonstruktion har vuxit de senaste åren. Prov ger ett värdefullt bidrag när det handlar om att mäta elevers kunskaper. Men alla prov är inte bra, menar forskaren Christina Wikström. Dåliga prov leder ofta till fel slutsatser och dåliga beslut som kan få ödesdigra följder för den enskilde eleven. Föreläsningen handlar om vad som kännetecknar ett bra prov, vad man kan och inte kan göra med prov och hur man bör tänka när man vill utveckla ett eget prov. Inspelningen ägde rum den 27 oktober 2014 på Älvsjömässan, Stockholm. Arrangör: Skolforum.

Ämnen:
Pedagogiska frågor > Betyg och bedömning, Pedagogiska frågor > Didaktik och metod
Ämnesord:
Gymnasieskolan, Kunskapsprov, Pedagogik, Pedagogisk metodik, Undervisning
Utbildningsnivå:
Lärarfortbildning

Alla program i UR Samtiden - Skolforum 2014

Spelbarhet:
UR Skola
Längd:
TittaUR Samtiden - Skolforum 2014

Konsten att göra ett bra prov

Forskaren Christina Wikström berättar om vad som kännetecknar ett bra prov, vad man kan och inte kan göra med prov och hur man bör tänka när man vill utveckla ett eget prov. Inspelning från den 27 oktober 2014 på Älvsjömässan, Stockholm. Arrangör: Skolforum.

Produktionsår:
2014
Utbildningsnivå:
Lärarfortbildning
Beskrivning
Spelbarhet:
UR Skola
Längd:
TittaUR Samtiden - Skolforum 2014

Stresshantering i klassrummet

Ann Nygren är livsstilspedagog och berättar om stressen många ungdomar känner. Hon ger också verktyg för att kunna varva ner och framförallt sova bättre. Inspelningen ägde rum den 27 oktober 2014 på Älvsjömässan i Stockholm. Arrangör: Skolforum.

Produktionsår:
2014
Utbildningsnivå:
Lärarfortbildning
Beskrivning
Spelbarhet:
UR Skola
Längd:
TittaUR Samtiden - Skolforum 2014

Kreativ grammatik

Annelie Johansson och Camilla Grönvall berättar om hur man kan göra grammatikämnet mer meningsfullt för eleverna och så att det skiljer sig från gammaldags tragglande av regler i grammatikböckerna. Inspelat den 27 oktober 2014 på Älvsjömässan i Stockholm. Arrangör: Skolforum.

Produktionsår:
2014
Utbildningsnivå:
Lärarfortbildning
Beskrivning
Spelbarhet:
UR Skola
Längd:
TittaUR Samtiden - Skolforum 2014

Hur kan lärare bemöta främlingsfientlighet?

David Lifmark forskar kring främlingsfientlighet. Han berättar här om att man som lärare har en maktposition och därmed moraliskt ansvar att tackla de här svåra frågorna. Inspelningen ägde rum den 27 oktober 2014 på Älvsjömässan i Stockholm. Arrangör: Skolforum.

Produktionsår:
2014
Utbildningsnivå:
Lärarfortbildning
Beskrivning

Mer lärarfortbildning & pedagogiska frågor

Spelbarhet:
UR Skola
Längd
Titta Lärlabbet

Skolan som skyddsfaktor

Tema: elevhälsa. Att stödja barn som upplever olika slags utsatthet är viktigt för att de ska klara skolans utbildningsmål. Men hur hittar man de utsatta barnen? I Fröslundaskolan i Eskilstuna, där cirka 95 procent av eleverna har bott i Sverige kortare än sex år, finns rutiner och strukturer för hjälpen. Men det räcker inte, säger rektor Jannice Kloibhofer. Det gäller att odla ett klimat där alla som jobbar på skolan tillsammans bryr sig.

Spelbarhet:
UR Skola
Längd
Lyssna Didaktorn

De destruktivt väluppfostrade barnen

Lydiga barn löper större risk att utsättas för näthat och sexuella övergrepp på nätet. Det har Elza Dunkels sett i sin forskning. Lär man sig att alltid lyda vuxna och att det är fult att ljuga blir man sårbar i mötet med en vuxen som inte vill dig väl, säger hon. När ordning och lydnad premieras skapar vi de destruktivt väluppfostrade barnen. Därför måste vi lära barnen att vara olydiga. Här berättar hon hur. Elza Dunkels är docent i pedagogiskt arbete, lärarutbildare och forskar om unga och internet. Hon har även skrivit boken "Nätmobbning, näthat och nätkärlek".