智慧線上監考系統 Online Exam Proctoring with AI
智慧線上監考系統 Online Exam Proctoring with AI
簡介
智慧線上監考系統就是一個讓遠方有人可以監考你考試確保考生考試沒有作弊的一個機制
- Photo by Rachel Sender
其實它早就存在約10年左右，一開始，他是使用最簡單的方式只建造一個網路的平台讓監考者可以遠端來看受試者考試，所以純脆只是提供一個平台（由真人監控），後來隨著機器學習還有深度學習方法不斷的演進，一些AI的方法逐漸用來協助判斷是否學生有不正常的動作和作弊的嫌疑（由AI系統監控），此外，因為電腦視覺和聲音識別的技術不斷進步，在偵測學生的的影像和聲音的資訊上有了更好的突破，如果能好好結合兩種不同的監控方法，想必可以給遠距考試更好的監考公平性。
線上監考系統可以被拿來用在當時題考試沒辦法進行的時候，而且它不僅可以支援線上的考試，也可以支援錄製後的考試，對於跨國的考試來說，錄製的考試會是相對於方便，而線上的考試也可以及時監控考試的狀況，所以不論是空間上或是時間上都給予考試多很大的彈性空間。
這些系統像是Pearson, ProctorU, Eklavvya, Zoom 等公司有相關的產品，並且很多已經在歐美廣泛的被使用來做遠端考試的監測，但是此行業還是相對算初期，還有很長的路可以走。
線上智慧監考是如何進行的呢？
首先，受試者會先遠端登入到一個安全的網路瀏覽器平台，並且用身份證ID認證受試者的身份，之後就會進行線上的考試，線上的考試會需要存取你電腦的相機還有麥克風，好讓它可以拿到你影像還有聲音的資訊來監考，接著則是會將這些所有的監考資料傳到遠端的伺服器上面進行偵測還有分析的功能，最後在以直播遠端或者是處理後的資料＋影像傳給監考者來看，或者是完全用AI程式系統來判定。
線上智慧監考跟AI到底有什麼關聯呢？
它可能涵蓋的任務包含了電腦視覺，像是人臉辨識和多人偵測，此外也提供了偵測可疑物品像是手機或者是平板等考試違禁品和視線追蹤看受試者有沒有亂看其他東西的嫌疑。在語音上面，則是可以偵測是否有其他人在說話在暗中來幫助受試者考試。在電腦的權限允許下，我們也可以對受試者在電腦上的行為來進行分析，像是受試者是否有打開多個網頁或有google查資料的嫌疑，又或者是否有大量複製貼上的嫌疑，也可透過觀察受試者打字的習慣還有韻律來判斷是否是正常或者是有很大的反差。
相關研究
Automated Online Exam Proctoring
這個研究算是最早提出來結合傳統演算來得取得特徵在用機器學習的模型來訓練出一個可以用來分類預測的一個模型，在倫文中有提到如何翠取出像是文字辨識（Text Detection,）語音辨識（Speech Detection）,視線預測（Gaze Estimation）,手機偵測（Phone Detection）,使用者認證（User Verification）,執行中視窗偵測（Active Window Detection）等計算的方式，雖然有些方法相對陽春，但是卻是為這個人工智慧監考系統創下了一個好的基底的一篇論文，可以想到的是肯定有很多其他的分析特徵的方式和做分類的模型可以被拿來用來這個系統上，可是因為大部分現有的軟體幾乎都是商業開發的，所以很都細節的方法都沒有被公開出來。
Online Student Authentication and Proctoring System Based on Multimodal Biometrics Technology
在此篇論文它提出了一個更新（2021年五月）更完整的架構來做線上智慧間考得系統，首先也是讓學生先連上軟體，並且在伺服器端會有一個獨立的軟體供給學生考生安裝並且同時有一個網路的軟體來蒐集學生的影像還有聲音等資訊，接著丟給運算中心（Processing Core）像是影像處裡，音訊處裡，和打字偵測，使用者認證等工作，最後在將所有的結果傳給考試單位。
智慧線上監考系統真的可以有效的偵測出作弊嘛？
事實上很多公司都宣稱說他們的系統相較正常的考試來說可以更好的偵測出學生有沒有作弊，這可能是對的但是我其實是相當的懷疑，因為大部分的系統都沒有提供出有公信力的數據來展示出他們的效果，此外學生作弊這件事情也是非常難來量化的。但是就我看來這些結合AI的系統可以有效的輔助助教或者是考官監測學生考試時候的狀況，除了遠距的因素之外，其實很多課堂也會有因為學生人數過多（100, 200人以上的課），都會使監控考試的難度增加，所以這個監測系統其實更主要的是一個協助或者是使作弊難度更高的一的輔助系統。
智慧線上監考系統的議題？
因為有很多資料會被這些系統的廠商蒐集，像是考試時的影像和聲音,考試的習慣的資料甚至是考試者個身份都會被蒐集，這些資料如果被有心人士拿去操控，可能會造成個人隱私上面的問題。
也有研究指出，很多做這種智慧線上監考的人會在考試的時候更緊張，並且有不太好的表現，事實上，這更是一個有關心裡層面的問題，因為受試者是感受到真實被一個人或者是一個機器看你來考試的感覺，某方面來講也可能帶給讓考生更不自在的因素以及原因，也可以從它們考試中被觀察出來。
當然有規則，就有那些喜歡破壞規則的人，因為系統肯定會有一些漏洞存在，所以很多人可能會試著去挑戰，要怎麼在系統的監控下作弊，在網路上甚至有些人會分享它們如何在這種環境下作弊的經歷和作弊的技巧，當然我並不鼓勵大家去作弊，但是我相信如果有更多這樣的漏洞被發現，就像是資安的攻防戰，如果知道怎麼攻擊，就能更有效的去防禦。
結論
其實智慧線上監考系統並不會使考試的品質更好，它更多的是讓作弊的難度增加，並且保持考試的公平性，當然因為現在AI的技術一直在不斷的進步，這些數據會如何有效的被運用並且偵測出作弊的行為將會是未來的趨勢，我想在未來，我們可能都要慢慢開始來適應這樣新的考試型態，並且學會與AI科技的技術共存。