AI重塑教育系列1 — AI智能批改(下)

0 評論 1551 瀏覽 0 收藏 9 分鐘

上篇我們提到AI在批改中的應用,to G更多看資源和政策,能否吃到一波紅利,to C應用上其價值感有待進一步挖掘,難以形成用戶的核心賣點;內部提效,是當前比較好的一個選擇,今天我們具體聊聊內部提效系統的設計。

一、業務流程

雖說是針對批改環節的設計,但因作答系統輸入的不同,對批改端的能力及接口方式也有很大的差異。

從完整流程上來看,總體分為四個環節:題庫系統、組卷系統、作答系統、批改系統

在實際的業務場景中,由于各種原因會導致線上化程度不同。根據作答系統提交的數據形式,可以分為以下幾種情況。

  • 情況1:線上化作答,提供到批改系統的為結構化數據,含提干及作答內容。
  • 情況2:部分線上化,提干線上化展示,作答內容以圖片等非結構化形式提交
  • 情況3:全線下形式,提干及作答內容均以圖片等非結構化形式提交

針對以上3種不同的情況,在批改系統中需要建設的能力也會有一定差異

二、批改系統設計

2.1 批改系統任務流

從上述圖中,我們可以把批改分為以下環節:創建任務ID、任務拆解、題目拆解(拆解出題目ID、題目內容、作答內容)、批改規則、批改結果、合并批改結果、人工校準發布

針對第一部分提到的不同提交數據形式,核心影響到的是任務拆解和題目拆解的不同

情況1無需系統處理,情況2和3都需要系統做不同程度處理

2.2 題目拆解

若作答系統提交的信息為非結構內容

那就需要借助OCR或者ASR的能力,將提交的內容進行結構化拆解

如上圖,需要識別拆分出題目序號、作答內容、結果等

這個環節對后續批改精度有很重要的作用,主要會存在以下問題:

  • 手寫內容識別不準
  • 拍照清晰度不夠
  • 視頻或者音頻中存在一些干擾聲音等
  • 識別內容文本化時,難以拆解到題目ID、作答內容等

針對以上問題,需要做的應對是

  • 作答系統盡量保證提交內容的完整、清晰
  • 對比市面上不同的OCR、ASR能力,做一定的數據探查
  • 可能需要進行一定數量級的標注,來進行模型訓練以提升準確率

2.3 批改

這個環節是AI發揮作用的重要節點

傳統的批改工具會根據客觀題答案比對

或者是通過部分的工程規則,來對主觀題的部分維度進行批改

存在的核心問題:

  • 比較難做到分步驟打分
  • 主觀題的評價方式及體系相對比較單一
  • 如果需要進行調優,需要進行比較多的工程規則調整

如果采用AI模型

只需在chatgpt4.0或者其他比較成熟的開源模型上略微調優

基本就能實現智能化批改

而批改的準確性或者豐富性

完全可以通過promote即可

極大程度提升了優化迭代效率

例如下圖prompt可被用于作文批改

2.4 調優迭代

為了實現業務流程的真正優化,關鍵在于提升批改作業的準確性和直接可用性。

如果AI批改的結果需要教師花費大量時間進行校對和調整,那么這樣的效率提升就失去了意義。

因此,我們的目標是將AI模型訓練至至少80%的準確率,以確保其在實際應用中的價值。

要達到80%以上的準確率,我們需要關注兩個核心環節:

  1. 題目拆解:這一步驟要求我們將復雜的提交內容分解成更小、更易于處理的部分,以便AI能夠更精確地理解和評估每個部分。
  2. 批改優化:在這一環節,我們對AI批改的結果與人工比對,針對bad case進行模型或者prompt調優

2.5 體現人工感

在批改服務的最后階段,

至關重要的一點是將批改結果以一種直觀且具有手工感的方式呈現在作答系統中。

我們必須認識到,從家長的角度來看,他們期待的是教師對孩子的作業投入真正的關注和心思,

精準地發現孩子在學習過程中的薄弱環節,并據此提供幫助,以促進孩子的成長和進步。

因此,批改結果的呈現方式不應過于機械化或系統化,

以免削弱家長對課程價值的認可和信任。

我們需要通過精心設計的用戶界面和反饋機制,讓家長感受到教師的用心和專業,從而增強他們對課程的滿意度和忠誠度。

如下圖,右圖更能表現出人工批改效果。

通過這種方式,我們不僅能夠提升家長的體驗,還能夠確保教育服務的質量和效果,讓家長確信他們的選擇是正確的,并且他們的投資是值得的。

三、總結

許多人可能會認為,AI批改與傳統批改在表面上看起來并沒有太大的差異。

然而,我們必須深刻理解,新技術的發展并非一蹴而就,而是一個漸進替代的過程。

從提交作業、識別內容、批改作業到提供反饋,當前技術可能只能優化部分環節,但隨著技術的不斷進步,整個流程有望得到完善。

事實上,目前一些前沿技術已經在探索端到端的解決方案。

AI技術可以直接讀取圖像并提供批改結果,無需中間的文本轉換步驟。

但無論技術發展到何種程度,作為產品的核心能力始終不變——那就是對業務的深刻理解和精準把握。

這種對業務的深刻洞察,是我們在技術浪潮中保持競爭力的關鍵。

它確保我們能夠準確識別用戶需求,優化產品功能,從而在教育領域中提供更加高效、個性化的服務。

作者:key-小五 公眾號:每天都在找鑰匙

本文由 @ key-小五原創發布于人人都是產品經理。未經作者許可,禁止轉載

題圖來自Unsplash,基于CC0協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!