Home
Explore Uedu
Student Console
Register as Member/Login
Research Informed Consent Center
問卷中心
Teacher Console
Course Setup
Support & Messages
Uptime Data

UeduGPTs

--

Jupyters

8

Local AI

--

AI Reply Desktop Notifications

Show a desktop notification when the AI TA finishes replying

Chat Message Notifications

Notify me when classmates post messages in the forum

Sound notification

Play an alert sound whenever there is a new notification

METHODOLOGY

AI Interact
互動作業方法論

說明 Uedu 平台的 AI 互動作業如何讓教師設計對話式作業,並透過 LLM 自動評分與教師覆核機制,評量學生的對話品質。

1. 概述

AI Interact(AI 互動作業)是 Uedu 平台的對話式作業模組。教師可建立以 AI 對話為核心的學習任務,學生透過與 AI 助教的多輪對話完成作業,系統再以 LLM 自動評分。

此模組的核心理念是:對話本身就是學習過程。透過精心設計的 System Prompt 與作業模式(mode_code),教師可以引導學生進行蘇格拉底式提問、角色扮演、案例分析等多元學習活動,並透過自動評分獲得即時回饋。

2. 作業模式設計

每份 AI 互動作業由教師設定以下核心要素:

設定項目說明
作業模式(mode_code)定義 AI 的互動行為模式,例如蘇格拉底式提問、角色扮演、案例分析等
System Prompt教師撰寫的 AI 指令,定義 AI 的角色、行為準則與回應風格
評分標準(scoring_criteria)JSON 格式的多維度評分規則(見第 3 節)
評分方式use_default_scoring(使用平台預設)或 custom_scoring(教師自訂)

2.1 對話流程

  1. 學生進入作業頁面,系統載入教師設定的 System Prompt
  2. 學生與 AI 進行多輪對話,完成作業要求
  3. 學生提交作業後,系統自動觸發 LLM 評分
  4. 評分結果即時回傳,學生可查看各項分數與評語

3. 評分標準

3.1 評分標準結構

評分標準以 JSON 格式(scoring_criteria)定義,每個維度包含名稱、描述與配分:

欄位型別說明
nameString評分維度名稱(如「問題深度」「邏輯連貫性」)
descriptionString該維度的評分說明與標準
max_scoreNumber該維度的滿分值

3.2 預設與自訂

  • 預設評分use_default_scoring):平台提供通用的多維度評分標準,適用於一般性的 AI 對話作業
  • 自訂評分custom_scoring):教師可針對特定作業需求自訂評分維度與標準,例如針對程式設計作業增加「程式碼正確性」維度

4. AI 自動評分流程

4.1 評分模型

自動評分使用 gpt-5-mini 模型,以 response_format=json_object 確保回傳結構化的 JSON 結果。

4.2 評分流程

  1. 系統將完整的對話紀錄(學生訊息 + AI 回覆)與評分標準組裝為 Prompt
  2. 呼叫 LLM API,要求依據 scoring_criteria 逐項評分
  3. LLM 回傳 JSON,包含每個維度的分數與評語
  4. 系統驗證 JSON 格式與分數合法性

4.3 輸出格式

LLM 回傳的評分結果包含以下結構:

欄位型別說明
criteria_scoresArray每個評分維度的分數與評語(score + comment)
total_scoreNumber各維度分數加總
overall_commentString整體評語,總結學生的對話表現
評分透明度

學生可查看每個維度的分數與 LLM 提供的具體評語(comment),了解自己在哪些面向表現較好或需要加強。

5. 教師覆核

AI 自動評分完成後,教師可查看評分結果並進行覆核:

評分來源(score_source)說明
autoLLM 自動評分結果,為預設值
manual教師手動覆核後的分數,覆寫自動評分

教師覆核時可以:

  • 查看完整的對話紀錄與 AI 自動評分結果
  • 修改任意維度的分數
  • 修改整體評語
  • 覆核後 score_source 自動標記為 manual
研究注意事項

若以評分資料進行研究分析,建議區分 score_sourceautomanual,以釐清評分來源對資料的影響。

6. 資料儲存

AI 互動作業的評分結果儲存於 ai_interact_evaluations 資料表,主要欄位包含:

欄位說明
criteria_scoresJSON 格式,逐維度的分數與評語
total_score總分
overall_comment整體評語
score_sourceauto(自動)或 manual(手動覆核)

對話紀錄與評分結果皆完整保留,支援後續的學習分析與研究匯出。

7. 研究引用建議

方法論描述範本

學生的 AI 互動作業成績由 Uedu 平台的 AI Interact 模組自動評量。教師預先設定作業模式(mode_code)與 System Prompt,學生透過與 AI 助教的多輪對話完成作業後,系統以 LLM(OpenAI gpt-5-mini)依據結構化評分標準(scoring_criteria JSON)逐維度評分,輸出包含各維度分數(criteria_scores)、總分(total_score)與整體評語(overall_comment)的 JSON 結果,以 response_format=json_object 確保格式一致。評分標準可使用平台預設或教師自訂。教師可查看自動評分結果並手動覆核(score_source 標記為 auto 或 manual)。詳細方法論說明見 https://uedu.tw/doc/ai-interact。

建議同時提供:

  • 作業的 mode_code 與 System Prompt 摘要
  • 使用的評分標準(scoring_criteria)各維度名稱與配分
  • 自動評分與教師覆核的比例
  • 資料收集期間與參與學生數