跳到主要內容區


比較AI模型與真人華語教師在華語寫作評分的正確率和效果—以中部某大學112年僑外生分班考試為樣本取材

學生: 蔡泰鋒
指導教授: 蕭佩宜
畢業學期: 1142
論文題目(中): 比較AI模型與真人華語教師在華語寫作評分的正確率和效果—以中部某大學112年僑外生分班考試為樣本取材
論文題目(英): Comparing the Accuracy and Effectiveness off AI Model and Human Chinese Language Teachers in Assessing Chinese Writing: A Case Study Based on the 2023 Placement Test for Overseas Chinese Students at a University in Central Taiwan
發表時間: 1150625
序: 56

  此研究論文主要探討人工智慧(AI)在華語寫作評量中的應用,特別是分析ChatGPT和Gemini等AI工具在批改寫作上的準確性與有效性,並與專業語言教師的批改進行比較。隨著人工智慧技術的快速進步,這些工具已成為許多語言學習者的重要輔助工具,能夠即時提供反饋並鼓勵學生進行更多的語言實踐。但對於AI在華語寫作批改中的準確性與有效性,相關研究相對缺乏。本研究的目的在於填補這一研究空白,探討AI批改與人工批改的異同。
  在實驗設計中,研究者將分析AI與專業語言教師對學生寫作的評分。研究問題包括AI模型與真人批改的準確度是否存在顯著差異、教師對AI批改的接受度與使用感受,以及比較AI與真人批改在語法、詞彙選擇、篇章結構與邏輯性等不同寫作維度上的表現。研究方法包括定量和質量的分析,會收集華語學習者的寫作文本,分別由AI和真人教師來批改,並進行系統化的評分。透過問卷,研究者也將探討教師對AI批改的看法以及其在教學中的潛在應用。
  研究發現,Gemini 給分較接近真人教師,ChatGPT 則較為保守,但兩種 AI 的排序與等級一致性仍有限;教師亦傾向採取人機協作模式。整體而言,AI 模型在華語寫作評量上已具一定應用潛力,但較適合作為輔助評量工具。本研究補充華語看圖寫作 AI 評量之實證研究,並提出 AI 協助診斷、教師負責整體與高風險判斷的分工模式,作為未來 AI 應用於華語寫作評量之參考。