Generative AI without guardrails can harm learning: Evidence from high school mathematics
Lower secondary (grades 7–9) Upper secondary AI and learning
Links to claims
Supports (2)
| Claim | Basis |
|---|---|
| C2 | Upper-secondary maths RCT: answer-giving GPT Base +48 % in practice, −17 % on the closed-book exam. |
| K15 (candidate) | Note carries the bank kill sentence behind K15 (group K15); no change in review |
Limits (1)
| Claim | Basis |
|---|---|
| C2 | The GPT Tutor arm (withholds direct answers) substantially mitigated the harm. |
Review state: first-pass draft, pending human review.
Source note (Swedish, verbatim from the Kunskapsbank)
Syntes: Bastani m.fl. (2024) — Generative AI Can Harm Learning
Källa: Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Mariman, R. (2024). Generative AI Can Harm Learning. Wharton School Research Paper / SSRN. http://dx.doi.org/10.2139/ssrn.4895486
Metadata
- ID:
AI-003 - Tier: RCT
- N / design: fältexperiment / RCT (~1 000 gymnasieelever, matematik åk 9–11)
- Population: gymnasium / grundskola-hog (grades 9–11)
- Closed-book follow-up: ja (−17 % GPT Base)
- HE vs K–12: gymnasium (åk 9–11)
- Subject: Generative AI without guardrails can harm learning: Evidence from high school mathematics
Finding
- GPT Base (ChatGPT-liknande): +48 % korrekta svar under övning med AI-access.
- GPT Tutor (skyddad, undviker direkta svar): +127 % under övning.
- Closed-book-prov utan AI: GPT Base-gruppen −17 % jämfört med elever som aldrig haft GenAI — alltså sämre lärande.
- Tolkningsmekanism (författarna): elever använder GPT som “crutch” och undviker productive struggle; när stödet tas bort syns kunskapsunderskottet.
- Skyddande design (GPT Tutor) mildrar den negativa lärandeeffekten väsentligt — samma underliggande modell, annan roll.
Mechanism
GenAI som crutch minskar productive struggle under practice → sämre encoding synlig först på closed-book.
Limits
- Ett skolsystem (Turkiet), matematik, tidsbegränsad intervention (~15 % av kursen, sex 90-minuterspass enligt OECD-återgivning).
- Full författar-PDF arkiverad 2026-09-07; siffror bekräftade mot PNAS-version.
- “Educational” GenAI i studien nådde ungefär själstudienivå på exam — lovande skydd, men ingen tydlig överlägsenhet i långsiktigt lärande enligt OECD:s läsning.
This claim dies if …
Replikerad gymnasie-RCT där oskyddad GPT Base inte skadar closed-book relativt kontroll och Tutor-armen inte längre skiljer sig i pedagogik från Base.
Swedish implication
Stop färdiga GenAI-lösningar under practice; measure closed-book efter AI-övning; start tutor-läge eller ingen AI.
Links
Metadata as recorded
- ID
- AI-003
- Tier
- RCT
- Closed-book follow-up
- ja (−17 % GPT Base)
- HE vs K–12
- gymnasium (åk 9–11)
- Titel
- Generative AI without guardrails can harm learning: Evidence from high school mathematics
- Författare
- Bastani, H.; Bastani, O.; Sungu, A.; Ge, H.; Kabakcı, Ö.; Mariman, R.
- År
- 2024 (SSRN preprint); PNAS 2025 (publicerad 2025-06-25)
- Källa/DOI
- SSRN http://dx.doi.org/10.2139/ssrn.4895486 ; PNAS https://doi.org/10.1073/pnas.2422633122
- URL (författar-PDF)
- https://hamsabastani.github.io/education_llm.pdf
- Typ
- fältexperiment / RCT (~1 000 gymnasieelever, matematik åk 9–11)
- Åldersgrupp
- gymnasium / grundskola-hog (grades 9–11)
- Teman
- ai-och-larande; uppmarksamhet-och-minne (crutch / productive struggle / tutoring systems)
- Sparade fil
- Bastani-etal-2025-PNAS-genai-harm-learning.pdf (författarversion); ABSTRACT.md
- Hämtad
- 2026-09-07 (full PDF tillagd; tidigare endast abstrakt)
- Paywall
- PNAS kan kräva åtkomst; författar-PDF OA sparad
Original files held in the project (not published): ABSTRACT.md, Bastani-etal-2025-PNAS-genai-harm-learning.pdf