AI기반 실시간 온라인 교육 맞춤형 피드백 시스템 효과성 평가

1. 서론

미래교육을 위한 유연화된 개별 맞춤형 교육을 제공하고자 실시간 온라인 교육이 확산되고 있다. 따라서 기존의 실시간 온라인 교육의 문제점인 낮은 참여도, 집중도에 대한 문제를 해결하려는 시도가 있다[1-4]. 대표적으로 실시간 온라인 교육에서 집에서 학습하는 대부분의 학생들이 학교에서보다 2배 이상 집중하지 못하고, 산만하기 때문에 실시간 온라인 수업에서 테크놀로지에 의해 제공되는 피드백(Technology-Enhanced Feedback, TEF)를 통해 학생들이 자신의 학습을 조절할 수 있도록 지원하는 것이다[2]. 즉, 교육이 이루어지는 도중, 시스템을 통해 학습자에게 학습과정 및 수행에서 자동화된 피드백을 제공하는 것이다[1, 2], 학습자는 반복적이고 적시적소에 제공되는 TEF를 통해 수행을 개선할 수 있으며, 교수자는 TEF를 활용하여, 한정된 자원과 시간 내에 학습자의 수행과정과 결과물을 평가하며, 남은 시간에 다음 수업을 준비할 수 있다[1, 3]. 이외에도 자동화된 쓰기 평가, 지능형 튜터링 시스템 등을 통해 실시간으로 학습자별 맞춤형 피드백을 제공하려고 한다[4].

이러한 시도에도 불구하고 실시간 온라인 교육에서 실시간으로 개별적인 피드백을 제공하고자 하는 연구들은 아직 그 수가 적으며, 실증적 연구맥락이 아닌 현재는 이론적 논의나 설계 수준에 머물고 있다. 이는 실시간 온라인 수업에서 학생들의 다양한 학습 상황을 실시간으로 모니터링하고, 이에 대한 맞춤형 피드백을 제공하는 데 필요한 기술적, 인프라적 한계가 존재하기 때문이다. 더욱이, 학생 개개인의 학습 데이터와 상호작용 데이터를 효과적으로 분석하고 활용할 수 있는 체계적인 연구와 개발이 부족한 상황이다.

따라서 본 연구는 실시간 온라인 교육에서 학습자들에게 자동화된 피드백 제공하고, 참여를 독려하기 위한 시스템을 설계한 선행연구[3]를 바탕으로, 실제로 개발한 시스템의 실질적 효과를 평가 하는데 목적을 가지고 있다. 본 연구에서 사용될 실시간 온라인 교육 피드백 시스템(Synchronous Online Education Feedback System, 이하 SOEFS)은 선행연구를 기반으로 학습자용과 교수자용 대시보드를 설계하여, 전문가 5명과 대학생 262명을 대상으로 의견을 수집하여 수정한 결과[3]를 바탕으로 개발되었다. 실험을 위한 프로토타입의 시스템은 시선추적 데이터를 활용하여, 설정한 관심 영역(Area of Interest, AOI) 비율분석을 기반으로, 학습참여 수준을 실시간으로 판단하여, 10분마다 학습자에게 위험 혹은 칭찬의 자동화된 피드백을 제공한다. 개발된 프로토타입을 실시간 온라인 교육 환경에서 사용한 학습자들의 실제 경험을 바탕으로 효과성을 평가하고자 한다. 구체적으로 효과성 평가는 SOEFS를 사용한 이후, 시스템에 대한 사용성과 실시간 온라인 교육에 대한 인식변화를 확인하려고 한다.

먼저, 본 연구는 고등교육 맥락의 실시간 온라인 교육을 살펴보고자 한다. 온라인 공동 교육과정에서 일부 사용되고 있는 중등교육과 달리 고등교육에서는 유연화된 교육제공을 위해 COVID-19 이후에도, 실시간 온라인 교육을 기존의 화상회의시스템인 Zoom, Google Meet, MS Teams 등을 사용하고 있다. 또한 고등교육의 교수자는 초중등교수자와 달리 전공분야의 지식은 충분히 가지고 있지만, 교수·학습방법을 적용하는 데 별도의 체계적인 교육을 받지 않아 관련된 제한점이 있다. 특히 초·중·교육에 비해 온라인 교육에서 낮은 피드백을 학습자에게 제공하고 있다[5-7]. 따라서 현재 고등교육의 환경을 고려하여, 본 연구에서 개발한 시스템의 시사점을 구체적으로 확인할 수 있을 것으로 기대된다.

또한 본 연구는 시스템 자체에 대한 평가를 기존의 실시간 온라인 교육을 위해 사용한 화상회의시스템과 비교하여 인지된 유용성과 인지된 용이성을 비교한다. COVID-19 당시, 실시간 온라인 교육을 위해 사용된Zoom, Google Meet, MS Teams 등의 플랫폼은 교육용으로 적절성이 논의되지 못하고, 교육적 피드백 제공, 학습자 몰입도 촉진, 맞춤형 학습 지원 등의 측면에서 한계를 보였다[8, 9]. 따라서 본 연구에서는 실제 사용된 시스템과의 비교를 통해, 본 시스템의 의미를 확인하고자 한다.

다음으로 본 연구는 SOEFS를 사용을 통해 실시간 온라인 교육에 대한 인식 변화를 확인하고자 한다. 온라인 교육에 참여했던 학습자들은 실시간 온라인 교육을 비실시간 녹화강의에 비해 덜 선호하고 있다[10-13]. 이는 앞으로 비실시간 온라인 교육의 필요성에 비해 제약점으로 이를 극복하기 위한 노력이 필요함을 의미한다. 따라서, 이러한 실시간 온라인 교육 인식변화에 본 연구에서의 시스템이 어떤 역할을 할 수 있는지 논의하고자 한다.

본 연구의 시스템은 생체심리 데이터인 시선추적 데이터를 활용하여 정밀하게 학습자 현황을 파악할 수 있으며, 웹캠을 사용하여 범용적으로 어디서나 활용할 수 있다는 강점을 가진다. 기존 온라인 교육의 한계로 지적되어 온 낮은 집중과 학습참여에 대한 문제를 해결할 수 있는 방안을 마련하였으며, 피드백 제공을 위한 집단 구분에 대한 AI 알고리즘을 실험을 통해 검증하고자하였다. 본 연구는 개발연구로써 관련 연구분야의 활성화를 위한 단초를 제공하며, 고도화된 실시간 온라인 학습에서 맞춤형 피드백, 자동화된 피드백 개발을 위한 시사점을 제공한다. 이와 같은 목적을 위해 도출한 연구 문제는 ‘실시간 온라인 학습에서 학습자의 학습참여 촉진을 위한 적절한 맞춤형 피드백 프로토타입이 개발되었는가?’이다. 이를 확인하기 위한 하위 연구문제는 ‘실시간 온라인 교육 피드백 시스템은 기존 시스템에 비해 인지적 유용성과 용이성을 가지고 있느냐?’,‘실시간 온라인 교육 피드백 시스템은 실시간 온라인 교육에 대한 인식에 영향을 미쳤는가?’이다.

2. 이론적 배경

2.1 온라인 교육 시스템

온라인 교육에 대한 중요성, 필요성의 강조와 함께 개인 맞춤형 교육을 제공하기 위한 필수 조건인 온라인 교육을 효과적으로 전달하기 위한 시스템이 다양하게 개발되고 있다. 온라인 교육이 주로 비실시간으로 이루어졌기 때문에, LMS, MOOC와 같은 플랫폼에 대한 연구가 이루어졌다[14]. 그러나 최근에는 온라인교육에서 실시간 온라인 교육의 비중이 증대되면서 이에 대한 관심이 많아지고 있다. 특히 실시간 온라인 교육을 위해 긴급하게 사용된 화상회의시스템은 교수자가 학습활동에 집중할 수 있는 구조로 개발된 것이 아니기 때문에 교수활동에 집중될 수 있도록 지원하지 못한다는 제약[15]을 극복하기 위해 교육적 목적의 실시간 시스템 개발을 하려고 한다.

특히 학습분석학의 발달은 학습자의 시선추적, 얼굴분석, 행동분석 등을 통해 수업에 대한 감정상태, 집중 및 참여수준 분석을 가능하게 하였다. 그 예로 [16]는 저비용의 웹캠을 사용하여, 실시간 온라인 수업에서 학생들의 집중 수준을 파악할 수 있는 프로토 타입의 시스템을 개발하였다([Figure 1] 참고). 머리 방향과 위치를 기반으로 집중 분류를 위한 머신러닝 모델(machine learning model)에 기반한다. 30분 동안의 실시간 온라인 수업을 실시한 후, 집중에 대한 학생들의 응답과 자세가 어느 정도 일치한다는 것을 확인하였다. 이 연구는 별도의 설치 프로그램 없이, 웹캠과 오픈 소스를 활용하여 분석할 수 있지만 효과성과 신뢰성을 정확하게 입증하지 못하였다.

Figure 1.

The example of detection algorithm analysis※ Chew & Teo(2022). p.441.

이외에도 비대면, 대규모 온라인 수업에서 교수자가 수업상황을 이해하여 학습자에게 적절한 교육처치를 할 수 있도록 학습활동 요약에 대한 실시간 학습 분석 대시보드를 설계하였다[17]. 이는 강의내용에 대한 설명, 중요부분 표시, 학습활동 요약으로 구성된다. 개발된 대시보드를 7주 동안 활용한 학생 22명은 그렇지 않은 학생 33명에 비해, 높은 학습동기와 태도를 보였다. 또한 전반적으로 높은 사용에 대한 만족도를 보였으나, 실시간 피드백의 효과성에 대해서는 일부 부정적인 의견이 있었다. 이는 학생들에게 제공되어야 하는 실시간으로 제공되는 피드백이 효과적이기 위해서는 디자인이 간결하고 단순해야 한다는 시사점을 확인하였다.

이외에도 온라인교육 환경은 아니지만, 교육에서의 학생들의 집중도를 확인하기 위한 생체데이터를 활용한 시스템이 제안되기도 하였다. [18]은 AI 기반 행동인식 기술을 활용하여 교사가 학생들의 집중수준을 파악할 수 있는 YOLOv5 모델을 개발하였다. 기존 시스템과 달리, YOLOv5 모델은 마스크로 얼굴을 가려도 학생들의 감정, 집중 여부(주의/비주의)를 분석한다. 카메라를 통해 학생들의 표정(예: 기쁨, 화남, 놀람)과 행동(예: 집중하는 모습, 산만한 모습, 지루해하는 모습)을 분석하며, 76%의 정확도를 보였다. 딥 러닝 알고리즘(deep learning algorithm)을 활용하여, 자동화된 평가결과를 제공함으로써, 교수자의 시간 절약과 양질의 교육 서비스 제공을 위한 의사결정을 내릴 수 있는 기초 자료를 제공한다([Figure 2] 참고).

Figure 2.

The example of YOLOv5 model analysis※ Trabelsi et al(2023). p.10.

3. 연구 방법

본 연구는 실시간 온라인 학습환경에서 대학생들의 학습참여를 촉진하기 위해 프로토타입으로 개발된 맞춤형 시스템의 효과를 파악하고자 사용성 평가를 수행하였다.

3.1 실시간 온라인 피드백 시스템

본 연구에서 개발한 SOEFS는 클라이언트-서버 구조를 기반으로 설계되었으며, 시선 추적 기술(gaze tracking)을 통해 학습자의 집중도를 실시간으로 분석하고 이를 바탕으로 교육자와 학습자에게 피드백을 제공하는 시스템을 개발하였다. 이 시스템은 WebGazer[34]를 활용한 시선 추적 기능, WebRTC와 Kurento Media Server를 통한 안정적인 미디어 스트리밍, 그리고 WebSocket을 활용한 실시간 소통 기능으로 구성되어 있다(Figure 3 참고).

Figure 3.

Synchronous Online Education Feedback System

먼저, WebGazer는 웹캠을 통해 학습자의 시선을 추적하며 클라이언트 측에서 동작한다. 이 라이브러리는 학습자의 얼굴과 눈 위치를 실시간으로 추적하고, 이를 바탕으로 머신 러닝 모델(machine learning)을 활용하여 시선이 화면 내에서 어느 위치를 향하고 있는지를 추정한다. 이 과정에서 웹캠 외 추가적인 하드웨어 없이 웹 브라우저 상에서 시선 추적이 가능하도록 설계되어 있어 쉽게 통합할 수 있다.

React를 사용하여 클라이언트에서 동작하는 웹앱을 구현하였으며, WebGazer 라이브러리를 통합하여 학습자의 웹캠을 통해 실시간 시선 추적 데이터를 수집할 수 있게 하였다. 시선 데이터는 초 단위로 클라이언트에 저장되며 1분 간 누적된 결과를 서버로 전송한다.

Java Spring Boot 프레임워크를 기반으로 백엔드 웹서버를 구현하였으며, 수집된 시선 추적 데이터를 포함한 모든 학습 데이터를 처리하고 저장하는 역할을 수행한다. 데이터베이스로는 MySQL을 사용하여 학습자의 집중도 데이터와 강의 관련 메타데이터를 저장하고 관리한다.

미디어 스트리밍을 위해서는 WebRTC를 활용하여 학습자와 교육자 간의 웹캠 영상, 음성, 스크린 공유 기능을 제공하며, 보다 안정적인 연결과 성능을 위해 Kurento Media Server를 활용하였다. 이를 통해 다수의 사용자가 동시에 스트리밍 서비스를 이용할 수 있는 환경을 구축하였다.

실시간 상호작용을 위해 WebSocket을 사용하여 학습자와 교육자 간의 채팅 및 이모티콘이 전달되도록 구현하였으며, 이를 통해 학습 도중 자유로운 커뮤니케이션이 가능하다. 또한, 서버에서 제공되는 피드백 역시 WebSocket을 통해 실시간으로 학습자와 교육자에게 전달된다. 이 피드백은 학습 도중 수집된 집중도 데이터나 학습자의 상호작용 데이터를 바탕으로 즉각적인 반응을 제공하여 학습의 효율성을 높이는 역할을 수행한다.

시각화는 강의 종료 후, 교수자와 학습자 각각에게 대시보드를 통해 제공되며, 저장된 시선추적 기반의 집중도 데이터를 비롯한 학습 관련 데이터를 시각적으로 확인한다. 이를 통해 교육자는 학습자들의 변화를 확인, 강의 개선에 필요한 피드백을 얻을 수 있다. 또한 학습자들도 자신의 학습활동을 관리할 수 있다.

본 연구에서 개발한 실시간 온라인 피드백 시스템의 가장 큰 특징은 4가지이다. 첫째, 실시간으로 화면 내 사용자의 시선위치를 정교하게 파악한다. 사전에 설정한 관심 영역에 벗어날 경우에도 시선의 움직임을 잡아, 시선 데이터 값을 보정한다. 둘째, 시선 데이터 값과 함께 웹 브라우저 활성화 상태를 점검하여 학습자의 참여도 파악에 활용하였다. 셋째, 평균 10분 동안 수집된 시선추적 데이터를 바탕으로 절대기준과 상대기준을 마련하였다. 절대기준은 전체 시선값이 60%이상은 상(上)집단, 30%이하는 하(下)집단이며, 그 뒤 적용되는 상대기준은 상위 70% 상(上)집단, 하위 30% 집단은 하(下)집단에 구분하여 맞춤형 피드백을 제공하였다. 10분단위를 기준으로 한 것은 학습자의 집중력의 간격이 7-8, 9-10분 정도[37], 10-15분 정도로 언급[38]등을 고려하였다. 학습참여에 대한 위험과 칭찬의 맞춤형 피드백은 시스템에서 제공하는 자동화된 피드백과 교수자가 설정하였을지 제공하는 경우로 구분된다. 전자의 경우 10분 단위로 학습상태를 파악하여 제공되며, 후자의 경우 교수자가 원하는 언제든지 피드백을 선택하거나 입력하여 제공된다. 넷째, 학습자와 교수자는 실시간 온라인 수업을 마친 후에 학습분석학에 바탕한 결과를 대시보드를 통해 볼 수 있다. 특히, 교수자는 전체, 각 구간별로 위험 학습자와 우수 학습자를 확인할 수 있다.

자동화된 피드백은 참여수준에 따른 집단별로 다음과 같이 제시된다(Table 1. 참고). 동기유발적 피드백을 제공하여, 상(上)으로 분류된 집단에게는 ‘집중을 잘하고 있다.’, 하(下)로 분류된 집단에게는 ‘교수자가 설명 중이니, 교수자에게 집중하라.’와 같은 피드백이 제공되며, 이 피드백은 10분마다 다른 메시지로 제시된다.

Table 1.

Example of automatic feedback

또한 학습자들의 학습과정 중 자신의 인지적, 감정적 상태를 설명하기 위한 이모지가 본 시스템의 특징 중 하나이다(Figure 4 참고). 10초에 한 번씩 누를 수 있도록 설계된 이모지를 교수자는 학습자 모두의 응답값을 종합적으로 실시간으로 확인이 가능하며, 이를 통해 수업을 진행 과정을 조절할 수 있다.

Figure 4.

Learners’moji

3.2 연구 절차 및 대상

개발된 실시간 온라인 피드백 시스템의 사용성을 평가하기 위해 2024년 6월 대학생 59명을 대상으로 실험을 실시하였다. 실험실이 설치된 대학과 인근 학교의 온라인 커뮤니티에서 실험자를 모집하여 실험일자, 시간 등의 조건이 적절한 대상자를 선발하여 연구참여 동의를 구하고, 실험에 참여할 수 있도록 안내하였다. 본 연구에 참여한 대상자 모두는 연구참여에 동의하였다. 본 연구는 수도권 A대학 생명윤리위원회를 통해 IRB를 심의 받았다(2022-01-006).

실험을 위해 개발된 프로토타입은 최대 6명이 참여할 수 있어, 1회에 5-6명의 학생이 참여하여, 실험이 진행되었다. 기존의 실시간 온라인 교육 시스템과의 비교를 위해 실험참가자 중 실시간 온라인 교육의 경험이 없는 2명을 제외하고 최종 연구 대상자를 57명으로 선정하였다(<Table 2> 참고).

Table 2.

Participants

실험 대상자는 실험 전에 사전설문지에 응답하였다. 실험실 환경에서 진행된 본 실험은 각 그룹별로 참여자가 모인 후, 실험에 대한 오리엔테이션을 실시하였다. 이 과정을 통해 실험 목적, 시스템 설명 등을 진행하였다. 실험은 각 실험자의 시선을 확인하는 캘리브레이션(calibration)을 실시한 이후, 진행하였다. ‘미래의 변화와 사회의 변화’라고 하는 주제로 실시간 온라인 수업을 35분 내외로 진행하였다. 실험 대상자는 교육이 종료된 이후, 사후 설문지에 응답하였다(Figure 5 참고).

Figure 5.

Experimental environments※ For privacy protection, the participants have been mosaicked.

3.3 연구도구

본 연구는 실시간 온라인 교육 피드백 시스템을 평가하기 위해 시스템 자체와 이것이 실시간 온라인 교육 인식 변화에 어떻게 영향을 미쳤는지 구체적으로 확인하였다(Table 3 참고). 모든 문항은 전문가 2인에 의해 검토되어 타당성을 확보하였다.

Table 3.

Questionnaire

첫째, 실시간 온라인 교육 피드백 시스템을 평가하기 위해 인지된 유용성과 용의성을 기존의 실시간 온라인시스템과 비교하였다. 이를 위해 Pal과 Vanijja[35]가 개발한 도구를 사용하였으며. 이는 각 6문항이다. 이에 대한 신뢰도는 각 Cronbach’s alpha .911, .902이다. 이와 함께 실험 대상자가 인식하는 시스템의 장단점을 확인하였으며, 시스템에 대한 전반적 의견을 물었다.

둘째, 본 연구에서 개발된 시스템의 사용에 따른 실시간 온라인 교육에 대한 인식변화를 확인하였다. 즉, 실시간 온라인 교육에 대한 선호도의 변화를 기존 선호도, 효율성에 대한 인식, 향후 미래사용 의향 등을 살펴보았다.

4. 연구결과

4.1 실시간 온라인 교육 피드백 시스템 평가

4.1.1 이전 실시간 온라인 교육과 시스템 경험

본 연구의 연구 대상자는 실시간 온라인 교육에 대한 경험이 있으며, 이에 대한 구체적 내용은 Table 4와 같다.

Table 4.

Experience about synchronous online learning

가장 최근 실시간 온라인 교육을 받은 시기를 확인한 결과, 2024학년도 1학기 50.9%, 20-21년(COVID-19 기간) 22.8% 순이었다. 또한 사용 목적은 80.7%가 대학에서의 정규수업 시간 중이었으며, 84.2%가 Zoom을 통해 실시간 온라인 교육을 받았다.

4.1.2 실시간 온라인 교육 시스템 비교

본 연구에서 개발된 실시간 온라인 교육 피드백 시스템을 대상자가 사용한 기존의 실시간 온라인 교육 시스템(예: Zoom, Google Meet 등)과 비교하였다(Table 5. 참고). 인지된 유용성과 용이성 모두, 개발된 실시간 온라인 교육 피드백 시스템이 기존의 실시간 온라인 교육 시스템과 비교하여 높게 확인되었다. 또한 이 둘의 차이는 모두 유의(p < .05) 하였다.

Table 5.

Difference about synchronous online system

4.1.3 실시간 온라인 교육 피드백 시스템 인식

본 연구에서 개발된 실시간 온라인 교육 피드백 시스템의 장점에 대한 인식을 확인하였다(Table 6 참고). 이모지, 수업 참여 수준에 대한 피드백, 학습자의 대시보드와 같은 특징 중 선택하게 한 결과, 연구 대상자는 참여 수준에 대한 피드백을 68.4%가 특징으로 인식하였다.

Table 6.

Characteristic about synchronous online system

실험 대상자들이 인식한 본 연구에서 개발된 실시간 온라인 교육 피드백 시스템에 대한 의견을 정리하였다. 먼저 장점에 대한 서술식 의견을 분석한 결과이다. 토픽 수를 분석한 결과, 3개의 토픽이 추출되었다.

먼저, 토픽 1의 키워드는 ‘피드백, 시선, 학습자, 교수자, 익명, 온라인, 사용, 강의 환경, 기존’으로 선정되어 이 토픽명을 ‘온라인 학습에서의 피드백’으로 명명하였다(Figure 6참고). 대표적으로 ‘시선 추적이 사용된다는 점을 알고 있다는 사실 자체가 수업을 할 때 화면에 집중하도록 만들어준다. 집중력이 흐려질 때쯤 피드백이 제공되기 때문에, 집중해서 수업을 들어야겠다는 생각을 만들어준다.’와 같은 의견이 있었다.

Figure 6.

(Pros_Topic1) Feedback in online learning

토픽 2의 키워드는 ‘집중력, 수업, 장점, 학습, 참여, 실험, 실시간, 시스템, 내용, 기록’으로 선정되어(Figure 7 참고), 이 토픽명을 ‘집중력을 독려하는 시스템’으로 명명하였다. ‘기존 플랫폼은 교수자가 학생이 뭘 하고 있는지 확인이 어렵기 때문에, 학생 입장에선 수업 도중 딴짓을 하게 되는 일이 잦다. 실험 시스템은 시선 추적을 함으로써 집중력을 향상시켰다. 또한 내가 놓친 부분, 집중을 하지 못했던 부분을 잡아줌으로써 복습에 용이할 것 같다’와 같은 의견이 대표적이었다.

Figure 7.

(Pros_Topic2) Encourages concentration system

마지막 토픽 3의 키워드는 집중도, 추적, 이모지, 생각, 확인, 파악, 중요, 수업, 실시간, 플랫폼’으로 나타나(Figure 8 참고), 토픽명을 ‘집중도를 파악하는 플랫폼’으로 명명하였다. ‘10분마다 집중했는지에 대한 피드백이 주어졌기 때문에, 그날 집중을 제대로 못했다는 피드백을 많이 받게 되면 다음 번 강의 때 더 집중을 잘 해야겠다는 생각을 하거나 그 부분이 동영상으로 올라오면 그 부분에 대해서만 다시 한 번 더 듣는 식으로 지식을 보충할 수 있다는 것이 가장 큰 장점이다.’라고 응답하였다. 즉, 실시간 온라인 강의가 동영상 형태로 올라올 때, 모든 부분을 다 듣지 않아도 내가 집중을 제대로 못했거나 제대로 이해하지 못했던 부분을 취사 선택할 수 있다는 장점이 있다’와 같은 구체적인 의견을 확인할 수 있었다.

Figure 8.

(Pros_Topic3) Platforms to understand concentration

다음으로 실시간 온라인 교육 피드백 시스템의 단점에 대한 토픽분석을 실시하였다. 토픽 수 분석결과, 4개의 토픽이 추출되었으나, 내용이 유사하여 전문가와 검토하여 2개의 토픽으로 조정하였다.

먼저, 토픽 1의 키워드는 ‘집중력, 수업, 화면, 학습자, 온라인, 이모지, 강의, 실시간, 신경, 교수자’로 선정되었다(Figure 9 참고). 이에 토픽명을 ‘집중력에 대한 의심’으로 명명하였다. 대표적으로‘집중을 쉽게 할수있는 반면에 너무 많은 에너지가 금방 소진이 되면서 30분 때부터 살짝 집중력이 흐려지긴 했습니다’,‘집중력 판단의 과학적 근거가 의심스러움’과 같은 평가가 확인되었다.

Figure 9.

(Cons_Topic1) Doubts about concentration

토픽 2의 키워드는 ‘시선, 수업, 추적, 생각, 부담, 감시, 피드백, 평가, 기존, 공유’로 확인되었다. 이에 토픽명을‘평가에 대한 부담’으로 명명하였다(Figure 10 참고). 대표적으로 ‘시선 추적을 통해 집중도를 평가하는 시스템 자체가 학생을 검열하는 것은 아닌가라는 생각이 든다.’와 ‘학생이 자율적인 분위기에서 온라인 강의를 듣는 것이 아니라 강제적인 분위기에서 눈치를 볼 수 있게 될 수 있을 것 같아 염려스럽다’와 같이 의견이 확인되었다.

Figure 10.

(Cons_Topic2) Burden of evaluation

4.2 실시간 온라인 교육에 대한 인식 변화

본 실험을 통해 경험한 실시간 온라인 교육이 전반적으로 대상자들이 가진 실시간 온라인 교육에 대한 인식을 어떻게 변화시켰는지 구체적으로 확인하였다.

먼저, 본 실험을 통해 경험한 실시간 온라인 교육과 기존 실시간 온라인 교육에 대한 선호도와 참여도를 비교하였다(Table 7 참고). 실시간 온라인 교육에 대한 참여도와 선호도의 수준이 실험 이후, 유의하게 높아진 것을 확인할 수 있었다.

Table 7.

Awareness about synchronous online learning

또한 실시간 온라인 교육에 대한 선호도의 변화를 확인하였다(Table 8 참고). 실시간 온라인 교육에 대한 선호의 수준이 유의하게 증가하였음을 확인할 수 있었다. 또한 비실시간 온라인 교육과 비교한 선호도는 유의한 차이를 가지지 않았으나, 4명의 생각이 변화하였다. 또한 온라인 교육에 대한 효과성에 대해서도 실험 전에는 비실시간 온라인 교육이 61.40%로 더 높은 비중을 차지하였으나, 실험 이후에는 실시간 온라인 교육이 68.42%로 유의한 변화가 있었다.

Table 8.

Preferences and effectiveness about synchronous online learning

마지막으로 오프라인 교육과 비교한 실시간 온라인 교육 중 선택의향을 확인한 결과(Table 9 참고), 실험 전에는 실시간 온라인교육에 대한 선택이 3.98의 수준이었으나, 실험 후에는 4.60으로 증가하였으며, 이 차이는 유의하게 나타났다.

Table 9.

Intention to use about synchronous online learning

5. 결론 및 제언

본 연구는 프로토타입의 실시간 온라인 교육 피드백 시스템을 개발하여, 학습자의 시스템에 대한 인지된 유용성과 용이성을 살펴보고, 실질적으로 실시간 온라인 교육에 대한 인식변화를 살펴보았다. 그 결론은 다음과 같다.

첫째, 실험 참여자들은 기존의 실시간 온라인 교육 시스템과 비교하여 실험에서 제공된 SOEFS에 대해 인지된 유용성과 인지된 용이성을 높게 인식하였다. 대학생들의 대부분은 Zoom을 통해 대학의 정규수업에서 실시간 온라인 수업을 접하였다. 기존 연구[32, 33]에서 확인한 것과 같이 Zoom과 Google Meet에 대한 교육용으로서의 적절성은 연구맥락마다 차이가 있으며, 교육적 시스템으로써 활용되기 위한 제한점이 있었다. 그러나 본 연구의 SOEFS는 기존 시스템에 비해 사용하기 쉽고, 유용하다고 인식하였다. 특히 참여 수준에 따른 맞춤형 피드백 제공을 이 시스템의 대표적인 차별성으로 인식하였다. 또한 서술식 응답에 대한 토픽 분석 결과, 개발된 시스템의 장점을 실시간 온라인 수업에 대한 집중과 참여 촉진을 위한 익명성 기반의 집중도 추적과 학습관리로 응답하였다. 학생들은 이모지 활용에 긍정적이었는데, 익명성이 자신의 의견을 표현하고, 교수자에게 의사를 전달하는 데 효과적이라고 판단하였다.

둘째, 본 연구에서 개발한 시스템을 사용하였을 때, 기존 실시간 온라인 수업에 비해 적극적으로 참여하였다고 인식하였다. 또한 실시간 온라인 수업에 대한 비실시간 온라인 수업과 비교하여 선택의향이 유의하게 변화하지 않았으나, 효과성 인식이 비실시간 온라인 교육에 비해 높아져, 실시간 온라인 교육에 대한 긍정적 인식변화를 확인할 수 있었다. 기존의 연구에서 실시간 온라인 교육에 대해 낮은 선호도와 효과성[10-13]을 극복하는 방안으로서 SOEFS가 기여할 수 있음을 확인하였다.

이상의 연구결과를 통해, 본 연구에서 개발한 SOEFS은 실시간 온라인 교육의 제한점을 극복하기 위한 역할을 충분히 할 수 있을 것이라고 판단하였다. 특히, 시선추적 데이터의 변화양상을 통해, 학습자가 학습이 제한적으로 이루어지고 있는 구간을 파악하여, 교수자는 교수·학습전략을 즉시 수정하여 적절한 개입을 실시할 수 있으며, 학습자는 학습과정에 대한 성찰단계에서 자신의 학습기록을 객관적으로 확인할 수 있을 것이다. 실제 학습자들이 실험이 종료된 이후, 자신의 학습기록을 타인과 비교할 수 있는 대시보드에 대한 관심이 많았다. 따라서 이러한 기능의 확장을 통해 보다 지원적인 실시간 온라인 피드백 시스템으로 발전할 수 있을 것이다.

본 연구에 대한 시사점, 한계와 후속 연구에 대한 제언은 다음과 같다. 첫째, 본 연구는 수도권 4년제 대학생을 대상으로 실험참여 의사를 밝힌 학생들 중 연령, 성별, 학과 등을 고려하여 선별하였다. 그럼에도 불구하고 수도권 A대학의 대학생과 여성이 가장 많이 참여하였다. 또한 단기 실험으로 인해 장기간 결과를 확인하지 못하였다. 따라서 일반화된 연구 결과를 위해, 대학 유형, 학과, 지역, 성별 등을 고려하여 다양한 의견을 수집할 필요가 있다.

둘째, 실시간 온라인 수업에서 맞춤형 피드백에 관한 연구 수는 미흡한 편이다. 본 연구에서 제안한 시선추적을 활용한 시스템의 고도화를 위해, 실증과 개발연구를 통해 맞춤형 피드백에 대한 세부적인 분류 및 설계에 대한 활발한 논의가 필요하다.

셋째, 소수의 의견이나, 개발된 프로그램의 단점으로 시선추적에 따른 학습관리로 인한 피로감과 통제감을 호소하였다. 자신의 의사와 상관없이 교수자가 자신의 학습과정을 확인하여, 자칫 낙오자로 낙인이 찍힐 것을 걱정하였다. 이는 학습자의 입장에서 제공받을 피드백 수용을 고민해봐야 함을 의미한다. TEF의 유형화를 살펴볼 수 있는 [26]은 교수자가 어떻게 실시간 온라인 수업에서 피드백을 제공할 지에 따라, 학습자와의 관계와 성과가 바뀔 수 있다고 하였다. 따라서 후속 연구에서는 교수자가 본 시스템을 사용하면서 자동화된 피드백과 함께 학습자의 상태데이터를 통해 학습자와 어떻게 상호작용할 수 있는지 교수자중심의 경험을 연구하여 교육의 효과성을 파악해야 한다.

넷째, 학습분석학을 통한 대시보드 제공에 섬세한 활용을 고민해야 한다. 개인의 사생활 침해 및 윤리적인 이슈를 최소화하기 위한 노력과 함께 실제 사용자가 겪을 위화감을 최소화할 수 있는 정서적인 측면의 기능이 인지적 기능과 함께 포함되어야 한다.

다섯째, 실시간 온라인 수업 피드백의 AI 알고리즘 수식에 다양한 생체 심리데이터를 추가하여 고도화할 필요가 있다. [9, 18]의 연구에서 학습자의 표정과 자세를 분석하여 집중도를 파악하였다. 시선 데이터는 학습자의 집중을 파악할 수 있는 주요 지표이나, 학습과정에서 학습자가 겪는 감정에 따른 심리상태까지 분석하기는 어렵다[18]. 본 연구에서 개발한 SOEFS에 이러한 기능이 추가된다면, 학습과정에서 학습패턴을 정교화할 수 있다.

마지막으로 본 연구에서 개발한 시스템은 보편적인 활용을 위해 국내 대학에서 가장 많이 운영되는 강의식 수업을 고려하여 개발되었다. 대학 강의 유형에 따라 학습자의 태도가 달라지며, 교수자의 개입수준 및 역할이 달라진다[36]. 토론식, 협력학습 등 다양한 강의유형에 따라 실시간으로 제공되어야 하는 피드백의 수준 및 내용이 달라지기 때문에, 이를 고려한 시스템이 추가로 개발될 필요가 있다.

이 한계에도 불구하고 본 연구는 실시간 온라인 수업의 한계점을 극복하고자 수집된 시선추적 데이터를 AI 알고리즘을 활용하여 학습자에게 자동화된 맞춤형 피드백을 제공할 수 있는 프로토타입의 SOEFS을 개발하였다. 이 시스템은 학습분석학을 적용한 학습활동 분석을 대시보드로 제공하고, 인지부하가 발생한 구간을 파악하여 성찰을 할 수 있다. 실시간 온라인 수업에서 피드백 제공에 대한 논의는 그 수가 적지만 지속적으로 이루어져 왔으나, 실제 개발하여 효과성을 살펴본 연구는 드물다. 본 연구는 개발연구로써, 관련 분야 활성화를 위한 원천을 제공하였다. 수집된 빅데이터인 시선추적 데이터에 대해 AI 수식에 대한 신뢰성을 실험을 통해 확인하였다는 데 의의가 있다.

Acknowledgments

이 성과는 2022년 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.NRF-2022R1F1A1065295).

References

• Shadiev, R., & Feng, Y. (2023). Using automated corrective feedback tools in language learning: A review study. Interactive Learning Environments, 1-29. [https://doi.org/10.1080/10494820.2022.2153145]
• Yang, Y., Luo, Z., Dong, Y., Kurup, P. M., & Wang, Y. (2023). Towards a new paradigm: the development and validation of a scale to explore technology-enhanced feedback literacy among primary and secondary school teachers. Educational Technology Research and Development, 71(2), 391-413. [https://doi.org/10.1007/s11423-022-10168-y]
• Kim, D., Ryoo, D., & Park, K. (2024). Design of a personalized AI-based synchronous online education feedback system using eye tracking data and evaluation of intention to use. The Journal of Korean Association of Computer Education, 27(1), 25-37. [https://doi.org/10.32431/kace.2024.27.1.002]
• Zhang, Z. V., & Hyland, K. (2018). Student engagement with teacher and automated feedback on L2 writing. Assessing Writing, 36, 90-102. [https://doi.org/10.1016/j.asw.2018.02.004]
• Payne, A. (2021). Technology-enhanced feedback in higher education: Source-recipient relationships in a new dialogic paradigm. Qeios. Retrieved on 16 July 2024 from: https://www.qeios.com/read/GSTJ8R
• Choi, J., Kwon, M., & Choi, E. (2020). A study on the instructor perceptions and satisfaction levels of real-time online classes: Focusing on the case of Korean language program at D University. Journal of Dongak Language and Literature, 81, 135-168. [https://doi.org/10.15652/ink.2020.17.2.247]
• Kim, D., Kim, H., & Han, T. (2021). Satisfaction and changes in perception of non-face online: Classes at C University. Journal of Studies on Schools and Teaching, 6(1), 73-101. [https://doi.org/10.23041/jsst.2021.6.1.004]
• Pratama, H., Azman, M. N. A., Kassymova, G. K., & Duisenbayeva, S. S. (2020). The Trend in using online meeting applications for learning during the period of pandemic COVID-19: A literature review. Journal of Innovation in Educational and Cultural Research, 1(2), 58-68. [https://doi.org/10.46843/jiecr.v1i2.15]
• Ho, S., Park, J., & An, M. (2022). Design and development of learning analytics based visualization tool to improve interaction in real-time online Zoom class. The Journal of Korean Association of Computer Education, 25(5), 47-56. [https://doi.org/10.32431/kace.2022.25.5.005]
• Chong, H. & Woo, S. (2022). Analysis of the effect of learners’ preference for online classes on online course satisfaction－Focusing on the case of a general English course at K university. Korean Journal of General Education, 16(2), 257-273. [https://doi.org/10.46392/kjge.2022.16.2.257]
• Kwon, S. (2021). A study on the digital literacy competence and the preference of online class types of Korean university students. The Journal of Learner-Centered Curriculum and Instruction, 21(1), 1023-1046. [https://doi.org/10.22251/jlcci.2021.21.1.1023]
• Lee, Y. & Im, H. (2021). Analysis of learners’ characteristics and preferencesfor effective online learning. Journal of Convergence for Information Technology, 11(12), 138-147. [https://doi.org/10.22156/CS4SMB.2021.11.12.138]
• Hung, C. T., Wu, S. E., Chen, Y. H., Soong, C. Y., Chiang, C. P., & Wang, W. M. (2024). The evaluation of synchronous and asynchronous online learning: student experience, learning outcomes, and cognitive load. BMC Medical Education, 24(1), 326. [https://doi.org/10.1186/s12909-024-05311-7]
• Liu, M., & Yu, D. (2023). Towards intelligent E-learning systems. Education and Information Technologies, 28(7), 7845-7876. [https://doi.org/10.1007/s10639-022-11479-6]
• Granda, J. C., Nuno, P., Suarez, F. J., & Perez, M. A. (2013). E-pSyLon: a synchronous e-learning platform for staff training in large corporations. Multimedia Tools and Applications, 66, 431-463. [https://doi.org/10.1007/s11042-012-1061-9]
• Chew, D. X., & Teo, T. H. (2022, December). Real-time online learning attention tracker. Paper presented at 2022 IEEE [International Conference on Teaching, Assessment, and Learning for Engineering], Seoul, South Korea. [https://doi.org/10.1109/TALE54877.2022.00073]
• Takuro, O., Atsushi, S., Tsubasa, M, Maiya, H., & Rinichiro, T. (2020, September). Real-Time learning analytics dashboard for students in online classes. Paper presented at 2020 IEEE [International Conference on Teaching, Assessment, and Learning for Engineering]. Yokohama, Japan. [https://doi.org/10.1109/TALE48869.2020.9368340]
• Trabelsi, Z., Alnajjar, F., Parambil, M. M. A., Gochoo, M., & Ali, L. (2023). Real-time attention monitoring system for classroom: A deep learning approach for student’s behavior recognition. Big Data and Cognitive Computing, 7(1), 48-65. [https://doi.org/10.3390/bdcc7010048]
• Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. [https://doi.org/10.3102/003465430298487]
• Lim, K., Cha, S., & Leem D. (2023). A systematic literature review of automated feedback: Research from 2013 to 2022 in Korea. The Journal of Educational Information and Media, 29(2), 511-540. [https://doi.org/10.15833/KAFEIAM.29.2.511]
• Smith, P. L. (1988, January). Toward a txonomy of feedback: Content and scheduling. Paper presented at the Association for Educational Communications and Technology. New Orleans, Los Angeles USA.
• Sarsar, F. (2017). Student and instructor responses to emotional motivational feedback messages in an online instructional environment. Turkish Online Journal of Educational Technology, 16(1), 115-127.
• Shadiev, R., & Feng, Y. (2023). Using automated corrective feedback tools in language learning: A review study. Interactive Learning Environments, 1-29. [https://doi.org/10.1080/10494820.2022.2153145]
• Schneider, J., Borner, D., Van Rosmalen, P., & Specht, M. (2016, November). Can you help me with my pitch? Studying a tool for real-time automated feedback. Paper presented at 2016 IEEE [International Conference on Teaching, Assessment, and Learning for Engineering], Bangkok, Thailand. [https://doi.org/10.1109/TLT.2016.2627043]
• Nel, C., & Marias, E. (2018). Technology-enhanced assessment feedback on preservice teachers’core teaching practices. Higher Education, 43(8), 1315-1325. [https://doi.org/10.1177/21582440241274331]
• Oinas, S. E., Thuneberg, H., Vainikainen, M. P., & Hotulainen, R. (2020). Technology-enhanced feedback profiles and their associations with learning and academic well-being indicators in basic education. Contemporary Educational Technology, 12(2), 271-287. [https://doi.org/10.30935/cedtech/8202]
• Wen, D. (2023, September). A technology-enhanced multi-source feedback model for L2 writing classes. Paper presented at 2023 ICET [International Conference on Educational Technology], Xi’an, China.
• Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–40. [https://doi.org/10.2307/249008]
• Alfadda, H. A., & Mahdi, H. S. (2021). Measuring students’ use of zoom application in language course based on the technology acceptance model (TAM). Journal of Psycholinguistic Research, 50(4), 883-900. [https://doi.org/10.1007/s10936-020-09752-1]
• Wedari, L. K., Fatihah, A. N., & Rusmanto, T. (2022). Zoom application acceptance in online learning: An analysis with the technology acceptance model. International Journal of Information and Education Technology, 12(9), 821-830. [https://doi.org/10.18178/ijiet.2022.12.9.1690]
• Safaria, S., & Rachmad, A. (2024). Analysis of Zoom meeting user behavior using technology acceptance model approach. International Journal of Social Service and Research, 4(3), 1018-1028. [https://doi.org/10.46799/ijssr.v4i03.754]
• Kautsar, H. A. A., Sayfulloh, A., Handayani, K., Latif, A., & Firdaus, M. R. (2023, May). The comparison of Zoom meeting and Google Meet acceptance toward the online learning using TAM method. In AIP Conference Proceedings, 2714(1). AIP Publishing. [https://doi.org/10.1063/5.0128534]
• Fuady, I., Sutarjo, M. A. S., & Ernawati, E. (2021). Analysis of students’ perceptions of online learning media during the Covid-19 pandemic (Study of e-learning media: Zoom, Google Meet, Google Classroom, and LMS). Randwick International of Social Science Journal, 2(1), 51-56. [https://doi.org/10.47175/rissj.v2i1.177]
• Papoutsaki, A., Laskey, J., & Huang, J. (2017, March). Searchgazer: Webcam eye tracking for remote studies of web search. Paper presented at the 2017 conference on conference human information interaction and retrieval. New York, New York USA, 17-26. [https://doi.org/10.1145/3020165.3020170]
• Pal, D., & Vanijja, V. (2020). Perceived usability evaluation of Microsoft Teams as an online learning platform during COVID-19 using system usability scale and technology acceptance model in India. Children and Youth Services Review, 119, 1-13. [https://doi.org/10.1016/j.childyouth.2020.105535]
• Lee, H. E., Lee, M. J., & Lee. Y. S. (2023). A Study on university students’learning attitudes based on lecture types. Journal of Education and Culture, 29(5), 103-121. [https://doi.org/10.24159/joec.2023.29.5.103]
• Bunce, D. M., Flens, E. A., & Neiles, K. Y. (2010). How long can students pay attention in class? A study of student attention decline using clickers. Journal of Chemical Education, 87(12), 1438-1443. [https://doi.org/10.1021/ed100409p]
• Wankat, P. C. (2002). The effective, efficient professor: Teaching, scholarship, and service. Allyn and Bacon.