Syntes: Kulik & Fletcher (2016) — ITS meta (AI-012)

Källa: Kulik, J. A., & Fletcher, J. D. (2016). Effectiveness of intelligent tutoring systems: A meta-analytic review. Review of Educational Research, 86(1), 42–78. https://doi.org/10.3102/0034654315581420
Original: 01-originaldokument/kulik-fletcher-2016-its-meta/ (ABSTRACT; KÖP)
ID: AI-012
Tier: meta
Closed-book follow-up: blandat (lokala vs standardiserade test)
HE vs K–12: övergripande
Evidensstyrka: hög meta (k=50); stark moderatorvarning.

Metadata

• ID: AI-012
• Tier: meta
• N / design: meta-analys (50 kontrollerade ITS-utvärderingar)
• Population: övergripande
• Closed-book follow-up: blandat (lokala vs standardiserade test; standardiserade ger mycket mindre effekt)
• HE vs K–12: övergripande (50 kontrollerade utvärderingar)
• Subject: Effectiveness of Intelligent Tutoring Systems: A Meta-Analytic Review

Finding (+ comparator)

Median effekt 0,66 SD vs konventionell undervisning (≈50→75 percentil). Comparator: business-as-usual / conventional classroom. Men: lokala/researcher-made test ≈0,73; standardiserade ≈0,13. Dålig implementation / icke-konventionell kontroll → små effekter.

Mechanism

ITS som anpassar uppgift/feedback till elevmodell kan lyfta achievement — men stor del av “ITS-vinsten” är test–instruction alignment, inte magisk skärmpedagogik. Implementeringskvalitet och kontrollvillkor avgör.

Limits

Inklusionskriterier kritiserade (risk för uppblåsta ES); matematik ofta mindre effekt i andra metas; pre-GenAI.

This claim dies if …

Replikerad meta med strikta standardiserade outcome och preregistrering visar median ITS-effekt ≈0 mot BAU i K–12, oberoende av alignment.

Swedish implication

Stop upphandla “AI-tutor” på vendor-ES från lokala quiz; start kräver oberoende/NP-nära mått; measure standardiserat closed-book + fidelity (jfr IFAU DIG-001/002 nolleffekt för 1:1 tillgång).

Links

• Relaterade: AI-011, AI-013, DIG-001, DIG-002, AI-003
• DOI: https://doi.org/10.3102/0034654315581420