Detta examensarbete undersöker möjligheten att automatisera källgranskning av studenters akademiska texter med hjälp av Retrieval-Augmented Generation (RAG) ikombination med en liten språkmodell (SLM). Problemet som adresseras är dentidskrävande uppgiften att manuellt kontrollera om studenters påståenden stöds avangivna referenser vilket är en process som ofta saknar systematiskt stöd.En prototyp av ett källgranskningssystem har utvecklats i Python med Streamlit ochimplementerar en lokal RAG-arkitektur. Systemet använder Gemma 3:4b somspråkmodell via Ollama och FAISS som vektordatabas. Textsegmentering och embeddings hanteras av LangChain komponenter. För att förbättra precisionen i retrieval delen har olika kombinationer av chunk size, overlap och cosine similarity-tröskeltestats.Systemet har utvärderats genom att jämföra dess bedömningar med mänskliga bedömare och tre stora språkmodeller (ChatGPT o4, DeepSeek-R1, Gemini 2.5 Flash). Itestfall med antingen fullständig eller obefintlig källöverensstämmelse uppvisade systemet en stark överensstämmelse med mänskliga bedömningar, med en genomsnittlig avvikelse under ett betygssteg. Vid gränsfall tenderade systemet att vara något mer generöst.För att utvärdera användbarheten genomfördes även en System Usability Scale enkät(SUS), där resultatet visade ett genomsnittligt användbarhetsbetyg på 77.5 vilketklassas som bra.Slutsatsen är att ett RAG-baserat system som använder SLM kan ge träffsäkra bedömningar av källstöd, även på hårdvaror med begränsade resurser. Systemet kanutgöra ett relevant stöd för lärare i utbildningssammanhang och visar potential förvidareutveckling inom AI-baserad akademisk granskning.

This undergraduate thesis explores the development of an AI-based source-checkingsystem for student academic writing, utilizing a combination of Retrieval-Augmented Generation (RAG) and a Small Language Model (SLM). The project addresses the challenge of manually verifying whether student claims are supported bycited references, which is often a time-consuming task in higher education.A prototype system was implemented in Python using Streamlit and LangChain, integrating a locally run Gemma 3:4b language model via Ollama and a FAISS vectordatabase. Texts from uploaded reference PDFs are segmented into chunks, embedded using paraphrase-multilingual-MiniLM-L12-v2, and indexed for retrieval. Several experiments were conducted to optimize key RAG parameters, including chunksize, chunk overlap, and cosine similarity threshold.The system's performance was evaluated against human reviewer assessments andthree large language models (ChatGPT o4, DeepSeek-R1, Gemini 2.5 Flash). Itdemonstrated strong agreement with human judgments in cases of clear factual support or lack thereof, with an average deviation of less than one grade step. Some discrepancies occurred in borderline cases, where the system tended to be more lenient.A usability study using the System Usability Scale (SUS) yielded an average score of77.5, indicating good usability and acceptance among testers.The findings suggest that a RAG-based system powered by an SLM can offer reliablefactual assessments while being deployable on resource-constrained hardware. Thesystem holds promise as a support tool in educational settings and provides a strongfoundation for future work in AI-assisted academic verification.