Bedömningskompetens i AI:s tidevarv: Exemplet automatiskt genererade flervalsfrågor
DOI:
https://doi.org/10.63774/asla.2026.63241Keywords:
bedömningskompetens, flervalsfrågor, generativ AI, läsförståelse, sfi, provkonstruktionAbstract
Generativ AI och dess konsekvenser för utbildningssektorn har de senaste åren diskuterats flitigt. Föreliggande studie belyser automatiskt genererat språk och konsekvenser för lärares bedömningskompetens (assessment literacy, t.ex. Fulcher, 2012). Mer specifikt analyseras hur sex sfi-lärare och sex professionella provkonstruktörer värderar automatiskt genererade flervalsfrågor för att bedöma läsförståelse på sfi. Baserat på enkätsvar och uppföljande semistrukturerade djupintervjuer diskuteras deltagarnas syn på de automatiskt genererade flervalsfrågorna när det gäller frågornas relevans, användbarhet och möjligheter och begränsningar ur ett pedagogiskt perspektiv. Även relationen mellan AI och mänskligt omdöme diskuteras. Resultaten visar att deltagarna såg pedagogiska möjligheter med de automatiskt genererade flervalsfrågorna men att de behöver granskas och justeras. För att kunna granska och värdera automatiskt genererade flervalsfrågor menar deltagarna att det krävs kunskap om provkonstruktion och andraspråksutveckling, samt erfarenhet av målgruppen. Flervalsfrågor är en vanligt förekommande testteknik för att bedöma läsförståelse. Den ökade förekomsten av digitala prov med automaträttade delar kommer troligtvis att öka förekomsten av flervalsfrågor i standardiserade prov. Resultaten visar på hur ett format som är enkelt att rätta kan vara svårt att bedöma, när man med bedöma avser förmågan att kunna tolka och använda sig av resultaten. Avslutningsvis diskuteras hur förmågan att granska och värdera AI-genererat språk är en viktig del av lärares bedömningskompetens.
References
Alderson, C. J. (2000). Assessing reading. Cambridge University Press.
ALTE. (2005). Material for the guidance of test item writers. Association of Language Testers in Europe.
Bengtsson, M. (2016). How to plan and perform a qualitative study using content analysis. NursingPlus Open, 2, 8-14.
Bornemark, J. (2020). Horisonten finns alltid kvar. Om det bortglömda omdömet. Volante.
Forsell, J. (2023). AI inom bedömning väcker förhoppningar och farhågor. Skolverket. https://www.skolverket.se/skolutveckling/forskning-och-utvarderingar/artiklar-om-forskning/ai-inom-bedomning-vacker-forhoppningar-och-farhagor
Fulcher, G. (2012). Assessment literacy for the language classroom. Language Assessment Quarterly 9(2), 113–132.
Institutionen för språkdidaktik. (2020). Resultatrapport och uppföljning nationella prov i svenska för invandrare 2019 – kurs D. Stockholms universitet.
Kalpakchi, D. & Boye, J. (2023). Quasi: a synthetic question-answer dataset in Swedish using GPT-3 and zero-shot learning. Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa), 477-491.
Kalpakchi, D. & Boye, J. (2024). Generation and evaluation of multiple-choice reading comprehension questions for Swedish. Northern European Journal of European Technology, 10(1), 86-105.
Kirsch, I.S. & Mosenthal, P.B. (1995). Interpreting the IEA reading literacy scales. I M. Binkley, K. Rust & M. Winglee (Red.), Methodological issues in comparative educational studies: The case of the IEA reading literacy study (s. 135–192). National Centre for Educational Statistics.
Kuteeva, M. & Andersson, M. (2024). Diversity and standards in writing for publication in the Age of AI: Between a rock and a hard place. Applied Linguistics 45, 561-567.
McNamara, T. & Roever, C. (2006). Language testing: The social dimension. Blackwell Publishing.
Meijer, K., Baartman, L., Vermeulen, M. & de Bruijn, E. (2023). Teachers’ conceptions of assessment literacy. Teachers and Teaching, 32(7-8), 695-709.
Messick, S. (1989). Meaning and values in test validation: The science and ethics. Educational Researcher, 18(2), 5-11.
Nation, P. (2001). Learning vocabulary in another language. Cambridge University Press.
Ng, D.T.K., Leung, J.K.L., Chu, S.K.W. & Qiao, M.S. (2021). Conceptualizing AI literacy: An explorative review. Computers and Education: Artificial Intelligence, 2, 100041.
https://doi.org/10.1016/j.caei.2021.100041
OECD. (2019). PISA 2018 Assessment and Analytical Framework.
Pastore, S. (2023). Teacher assessment literacy: a systematic review. Frontiers in Education, 8:1217167.
https://doi.org/10.3389/feduc.2023.1217167
Pastore, S. & Andrade, H.L. (2019). Teacher assessment literacy: A three-dimensional model. Teaching and Teacher Education, 84, 128-138.
Popham, J. (2009). Assessment literacy for teachers: Faddish or fundamental? Theory into Practice, 48, 4-11.
Rupp, A. A., Ferne, T., & Choi, H. (2006). How assessing reading comprehension with multiple-choice questions shapes the construct: a cognitive processing perspective. Language Testing, 23(4), 441-474.
https://doi.org/10.1191/0265532206lt337oa
Rydell, M. (2021). Bedömning på sfi. Artikel i Läslyftet Stödstrukturer för undervisning på komvux. Skolverket.
Rydell, M. (2024). Språk som rättighet, skyldighet och projektionsyta för samtida debatter om migration. I D. Hedlund, D. Martinsson & K. Zillén (Red.), Sammanhållning eller splittring: Olikgörande av barn och unga i samtidens Sverige (s. 153-169). Jure Förlag.
SKOLFS 2021:67. Kursplan i kommunal vuxenutbildning i svenska för invandrare.
Skolverket (2020). Redovisning av uppdrag om central rättning av nationella prov. Dnr: 7.5.2.2019:1900.
Skolverket (2024). Sätta betyg i grundskolan. https://www.skolverket.se/undervisning/grundskolan/betyg-i-grundskolan/satta-betyg-i-grundskolan#Text4
SOU 2022:17. En modell för att mäta och belöna progression inom sfi. Statens offentliga utredningar. Utbildningsdepartementet.
SOU 2024:78. Ett språkkrav för språkutveckling. Betänkande från Utredningen om språkkrav för personal i äldreomsorgen. Statens offentliga utredningar. Socialdepartementet.
Tengberg, M. (2015). Att bedöma läsförmåga: Teoretiska utgångspunkter. I G- Skar & M. Tengberg (Red.), Bedömning i svenskämnet. Årskurs 7-9. (s. 87-108). Natur & Kultur.
Tengberg, M. (2018). Validation of sub-constructs in reading comprehension tests using teachers’ classification of cognitive targets, Language Assessment Quarterly, 15(2), 169-182.
https://doi.org/10.1080/15434303.2018.1448820
Voss, E., Cushing, S.T., Ockey, G.J., & Yan, X. (2023). The use of assistive technologies including generative AI by test takers in language assessment: A debate of theory and practice. Language Assessment Quarterly 20(4-5), 520-532.
https://doi.org/10.1080/15434303.2023.2288256Weir, C. & Khalifa, H. (2008). A cognitive processing approach towards defining reading comprehension. Cambridge ESOL Research Notes, 31, 2-10.
Wikström, C. (2013). Konsten att göra bra prov: Vad lärare behöver veta om kunskapsmätning. Natur & Kultur.
Winerö, E. (2022). AI har dödat den skriftliga hemuppgiften. Vi lärare. https://www.vilarare.se/nyheter/vi-larare-debatt/ai-har-dodat-den-skrivna-hemuppgiften/
