從對話中看懂學生：對話式知識追蹤學習分析系統設計與應用

摘要

現行多數教育聊天機器人僅具應答功能，缺乏對學生學習歷程的整合與呈現，教師若欲掌握學生的理解狀態，需額外閱讀對話紀錄並進行分析，致使對話數據難以有效作為教學決策依據。為協助教師即時掌握學生於課程中的知識狀態，本研究提出一套結合對話知識追蹤與教材結構分析的AI輔助系統，能自動化從學生對話中推估知識掌握程度，並以結構化教材圖譜進行視覺化呈現。本研究運用LightRAG分析教師所提供之教材內容，自動生成具知識點脈絡的知識圖譜，並結合大型語言模型（LLM）建構具階層與主題結構的心智圖，形塑作為知識追蹤基礎的教材架構。創新地將知識追蹤機制整合於教育聊天機器人的對話過程中，系統能根據教材節點自動標註學生對各知識點的掌握情況，並提供即時追蹤報告協助聊天機器人進行個人化引導，以雷達圖等多元視覺化方式，協助教師快速比較學生在各主題下的學習成效。本研究以大學國文課程之實際教學場域為實驗對象，蒐集學生與AI助教對話資料，並將系統自動評分結果與教師人工評分進行比較。實驗結果顯示，系統於特定情境下能有效反映學生知識掌握狀態，且其評分結果與教師判斷具顯著相關性。進一步透過虛擬學生實驗驗證，即時知識追蹤機制能有效提升教育聊天機器人的引導效果，特別對被動學習風格學生的改善最為顯著。透過調整追蹤報告內容，系統成功實現「鞏固已知」與「擴展新知」兩種教學策略的應用，證實了個人化教學引導的可行性。綜合而言，本研究不僅提出一套整合教材分析、對話理解與學習歷程可視化的流程，更創新地將知識追蹤技術應用於教育聊天機器人的即時對話中，為對話式AI在智慧教育領域的應用提供具體參考。