The Journal of Korean Association of Computer Education
[ Article ]
The Journal of Korean Association of Computer Education - Vol. 27, No. 1, pp.25-37
ISSN: 1598-5016 (Print) 2733-9785 (Online)
Print publication date 31 Jan 2024
Received 29 Nov 2023 Revised 08 Jan 2023 Accepted 13 Jan 2024
DOI: https://doi.org/10.32431/kace.2024.27.1.002

시선추적 데이터 기반 AI 실시간 온라인교육 맞춤형 피드백 시스템 설계 및 사용의향 평가

김동심 ; 류다현†† ; 박규동†††
정 회 원: 한신대학교 부교수
††정 회 원: 이화여자대학교 박사(교신저자)
†††정 회 원: 광운대학교 조교수
Design of a Personalized AI-based Synchronous Online Education Feedback System using Eye Tracking Data and Evaluation of Intention to Use
Dongsim Kim ; Dahyeon Ryoo†† ; Kuudong Park†††

초록

AI(인공지능)과 빅데이터 발달을 통해 학습자의 학습과정 및 수행에 대한 정보를 수집 및 분석하고, 맞춤형 피드백을 자동으로 생성하고 전달하는 것이 가능해졌다. 테크놀로지 기반 학습(Technology-enhanced Learning, TEL) 환경에서 학습자에게 알맞은 때와 장소에 제공되는 자동화된 피드백은 바람직한 수행결과와 현재 수행 정도를 비교할 수 있는 기회를 제공한다. 이를 통해 학습자는 자신의 학습상황을 점검하고, 학습몰입과 참여를 위한 최대한의 노력을 기울일 수 있다. 또한 교수자도 필요한 시점에 관련 피드백을 학습자에게 제공할 수 있으며, 반복적인 피드백을 입력하는 데 걸리는 시간과 노력을 아낄 수 있다. 이에 본 연구에서는 실시간 온라인 학습에서 학습성과를 좌우하는 학습참여를 촉진하는 맞춤형 피드백을 제공하는 시스템을 개발하고자 한다. 특히, 시선 지속시간과 눈 깜빡임, 동공 크기의 변화에 대한 학습자의 생체데이터를 분석하여, 학습에 몰입할 수 있는 맞춤형 피드백을 제공한다. 학습자의 행태 데이터에 대한 빅데이터 분석을 바탕으로 실시간 교육처방인 자동화된 피드백을 제공함으로써, 학습에 참여도를 높일 수 있도록 하였다. 본 연구에서는 개발될 시스템의 학습자용 대시보드를 설계하여, 실제 사용자인 대학생을 대상으로 사용의향을 확인하였다. 그 결과, 긍정적 필요성 54.9%, 중립 13.4%, 부정적 필요성 31.7%가 확인되었으며, 사용의향도 긍정 68.3%, 중립 10.7%, 부정 21.0%로, 향후 사용에서의 기대감을 확인할 수 있었다. 이러한 결과를 바탕으로 시스템 개발에서의 시사점을 확인하였다

Abstract

With the advancement of AI and big data, it has become possible to deliver personalized feedback to learners by extracting information about their learning process and performance. In a technology-enhanced learning, automated feedback provided to learners at the right time provides an opportunity to compare current performance with desired performance results. This helps learners to identify their learning situation and make maximum efforts to improve their learning immersion and participation. In addition, instructors can provide relevant feedback to learners when needed, saving time and effort required to input repetitive feedback. This study aims to develop a system that provides personalized feedback to promote learning participation, which ultimately leads to better learning outcomes during online learning. Specifically, it analyzes the learner's gaze data, such as gaze duration and eye blinks, to provide customized feedback that helps students immerse themselves in learning. Based on big data analysis of learner behavior data, synchronous learning prescriptions are provided to increase learning participation. In this study, we designed a dashboard for the system's learners and confirmed their intention to use it among actual users university students. As a result, 54.9% of the need was positive, 13.4% were neutral, and 31.7% were negative, and the intention to use was 68.3% positive, 10.7% neutral, and 21.0% negative. These results confirm expectations for future use and suggest implications for system development.

Keywords:

synchronous online education, AI personalized feedback, eye tracking data, learning commitment, learning participation

키워드:

실시간 온라인교육, AI 맞춤형 피드백, 시선추적 데이터, 학습몰입, 학습참여

1. 서론

교육에서 피드백은 학습자의 수행과 결과에 대한 정보를 제공하여, 현재 수행을 개선할 수 있는 중요한 역할을 한다. 이러한 피드백의 중요성에도 불구하고, 교수자들은 제한된 수업시간, 높은 업무 강도로 인해, 실시간으로 반복하여 개별화된 피드백을 제공하기에 어려움을 느껴왔다[1, 2]. 그러나 최근 AI와 빅데이터 분석기술이 발달함에 따라, 학습과정 및 수행에서 데이터를 정밀하게 수집 및 분석할 수 있어지면서 테크놀로지가 학습자에게 맞춤형 자동화된 피드백을 제공할 수 있게 되었다[3] 테크놀로지를 통해 제공되는 피드백(Technology-Enhanced Feedback, TEF)는 기존의 교수·학습 환경에서 교수자가 겪어왔던 현실적인 문제를 극복할 수 있는 기반을 마련해 준다[4] TEF는 교수자에게 한정된 자원과 시간 내에 학습자의 수행과정과 결과물을 평가할 수 있도록 한다. TEF를 통해 교수자는 학습자에게 학습내용에 대한 많은 양, 양질의 피드백을 제공해줄 수 있어, 학습자의 수행개선에 도움을 준다. 학습자도 학습과정에서 실시간적, 반복적으로 자동화된 피드백을 제공받아, 바람직하다고 여겨지는 수행결과와 현 수준을 비교하여 수행을 개선한다.

최근에는 COVID-19 이후, 급속도로 확산된 실시간 온라인교육에서 자동화된 피드백을 활용하려는 시도가 있었다. 자동화된 쓰기 평가, 지능형 튜터링 시스템 등 개별화된 피드백을 생성하여 학습자를 지원하는 시스템을 개발하고자 하나[5], 그 수가 적고 이론적 담론 수준에 머물고 있다. 선행연구들의 결과도 실시간 온라인에서 피드백 제공에 대한 교수자의 개입 수준과 연구대상, 실험환경이 상이하여, 일반화된 연구결과를 도출하지 못하였다. 특히 고등 교육에서 피드백은 교수자들이 전공분야의 전문가이지만, 교육방법이나 피드백의 방법을 구체적으로 학습하여 적용하지 못하기 때문에 초·중·고등학교에 비해 낮게 제공하고 있다는 제한점을 가지고 있다[6]. 따라서 실시간 온라인교육 피드백 시스템의 개발에 있어서 우선적으로 대학생을 고려하여 논의를 진행하고자 한다.

본 연구의 목적은 실시간 온라인교육에서 개별화 교육을 위한 단초를 마련하기 위한 시스템 개발이다. 본 연구의 실시간 온라인교육에서 학습자별 맞춤형 자동화된 피드백 제공 시스템은 기존 온라인교육에서 고질적으로 지적되어온 낮은 집중과 학습참여에 대한 문제를 해결할 수 있다. 학습자의 시선추적 데이터의 관심 영역(Area of Interest, AOI) 비율분석을 기반으로, 학습자의 학습참여 및 몰입의 수준을 판단하여 학습자에게 학습자의 상태를 즉각적으로 제시하고, 이에 기반한 피드백을 제공할 것이다. 또한 본 연구의 개발물은 노트북에 탑재된 웹 카메라를 이용하기 때문에 별도의 기기를 구매하지 않기 때문에, 범용적으로 누구나 쉽게 활용할 수 있다. 이에 본 연구에서는 초기 개발단계로써, 학습자용 대시보드를 설계하고자 한다. 개발된 학습자용 대시보드를 실제 사용자가 될 전국의 대학생들에게 사용의향 조사를 시행하고, 이에 따른 의견을 반영하여 대시보드를 개선하였다. 본 연구의 학습자용 대시보드는 실시간 온라인교육에서의 AI 알고리즘을 활용한 맞춤형 피드백, 자동화된 피드백 개발에 대한 시사점을 제공할 수 있을 것으로 기대한다. 이와 같은 목적을 위해 도출한 연구 문제는‘실시간 온라인 학습에서 학습참여 촉진을 위한 적절한 맞춤형 피드백 시스템의 학습자용 대시보드가 개발되었는가?’이다.


2. 이론적 배경

2.1 실시간 온라인교육, 학습분석학과 생체데이터

학습자의 학습활동에 대한 데이터 분석이 정교화됨에 따라, 광대한 데이터를 통합 및 분석하여 학생의 수준이나 요구에 맞게 즉각적으로 개별화된 교육 기회를 제공하는 학습분석학을 접목하려는 시도가 교육분야에서 COVID-19 팬데믹 이후, 확산하고 있다. 특히 기존 온라인교육은 녹화된 동영상이나 애니메이션으로 제공되어, 일 방향적이라는 한계를 가지고 있으며, 이에 따라 교수자-학습자간 상호작용이 제한적으로 제시되었다[7]. 따라서 테크놀로지와 통계가 발달함에 따라, 비록 물리적 공간을 다르지만 동일 시간에 접속하여 동시에 학습활동을 할 수 있도록 지원하는 플랫폼을 통해 교수자와 학생 간 화상 수업인 실시간 온라인교육을 Face To Face를 통한 전통식 교육방법의 온라인 형태로 간주하여[8], 실시간 온라인교육에 관한 관심이 집중되었다.

실시간 온라인교육에서 학습분석은 진행 중인 수업 상황을 파악하는 최적화된 방안을 마련해준다. 특히, 학습자에게 적응적 피드백(adaptive feedback)을 제공해주어, 문제 행동을 즉시 개선할 수 있다. 교수자는 학습자 강의를 잘 이해하고 있는지, 집중하고 있는지를 파악하여, 의도한 학습목표에 도달하고 있는지를 알 수 있다. 대규모 강좌의 경우, 면대면 현장 강의에 비해 교수자가 한 번에 수업 상황을 파악하기 어렵기 때문에, 현황을 파악할 수 있는 도구가 필요하다[9, 10].

초기에는 학습자의 학습과정 활동내역이 담긴 로그데이터(log data)에 기반한 실시간 수업현황을 히트맵, 원형 도표, 막대그래프 등을 활용하여 대시보드로 구현하였다. 그 결과, 일방적으로 강의가 전달되는 기존 온라인교육의 한계를 느낀 학습자들일수록 실시간 피드백에 대한 효과를 강하게 인식하였으며, 교수자의 설명에 대한 이해와 높은 학습 동기를 보였다[9]. 그럼에도 불구하고, 로그데이터의 특성상 클릭 수를 통해 가장 많이 본 댓글이나 학습화면 탭에 머무르는 시간 등을 확인할 수 있어도 실제 교수자의 설명하는 내용을 이해하고 있는지, 집중하고 있는지를 파악하기 어렵다[10].

이러한 한계를 극복하고자 시선추적, 얼굴분석 등을 통해 실시간 온라인 수업에서의 수업에 대한 집중, 감정상태, 참여정도를 분석하거나 예측하려는 시도가 있다[10, 11].

그 예로 Sharma 외[11]는 교사의 설명을 이해하는 학습자의 집중정도를 의미하는 With-me-ness는 MOOCs에서의 학습성과를 좌우한다. 교수자가 실시간으로 설명하고 있는 영상 위에 하이라이트와 같은 시각 효과와 함께 피드백을 함께 제공했을 때, 통제집단인 학생보다 실험집단 27명은 높은 학습성과를 보였다. 시각효과와 함께 피드백을 받은 학생들이 시간이 지날수록 교수자의 설명과 제스처에 대해 집중하여, 많은 내용을 이해할 수 있었다.

또한 Hasnine 외[10]는 MOEMO(Motion and Emotion)을 통해 학습과정에서 학습자의 몰입과 정서(기쁨, 슬픔, 분노, 좌절 등)를 파악할 수 있는 실시간 학습분석 시스템을 제안하였다. MOEMO는 노트북에 내장된 일반적인 웹 카메라로 촬영한 강의영상에서 얼굴 특징을 분석하여, 실시간으로 학습자의 감정 데이터를 추출한다. 이는 자동화된 감정 감지 프로세스를 통해 5가지 참여유형(강한 수준 참여, 높은 수준 참여, 보통 수준 참여, 낮은 수준 참여, 비참여)과 2가지 집중 유형(집중, 산만)으로 구분된다. 또한 해당 대시보드는 수업 후 보고서 생성 기능을 통해, 실시간 분석뿐만 아니라 수업 후 종합적인 학생들의 정서상태, 집중력, 참여정도를 확인할 수 있다([Figure 1] 참조). 이들 연구를 통해, 실시간 온라인교육에서 학습자에게 즉시 적절한 피드백을 제공할 수 있도록 섬세한 설계가 필요함을 알 수 있다. 본 연구는 노트북에 일반적으로 내장된 웹캡을 활용하여, 별도의 기기를 사지 않아도 학습자의 집중과 참여를 독려할 수 있는 실시간 피드백을 제공하기 위해 시선 데이터를 활용할 것이다.

Figure 1.

MOEMO dashboard

2.2 피드백

피드백은 학습상황에서 수행하려는 목표와 현재 이해(understanding)와 성과(performance) 간 불일치를 줄이기 위한 노력이다[1, 12]. 학습자의 현재 학습상태 및 수행에 대한 정보를 제공하는 모든 유형의 의사소통으로써, 현재의 수행을 개선할 수 있다[13]. 학습자는 교수자에게 받는 피드백을 통해 효과적인 학습전략을 적용하고 노력의 양을 증가하며, 설정한 목표를 포기하거나 일부만 도달하려는 상황을 최소화할 수 있다. 교수자는 학습자에게 피드백을 통해 적절한 도전과 구체적인 목적을 제공하며, 효과적인 학습전략 및 도움을 적시에 제공할 수 있다[12].

학습 내용과 관련되어서 제공되는 목적에 따라 피드백은 교정적(corrective), 제안적(suggestive), 정보적(informative), 동기부여적(motivational)으로 구분된다[2, 14]. 교정적 피드백은 학습자의 답변이나 행동에 대한 정확성 여부를 알려주기 위한 피드백이며, 제안적 피드백은 힌트나 핵심 질문 등을 통해 수정이 필요한 부분을 지적한다. 정보적 피드백은 학습자의 과제에 대한 추가적인 정보를 제공하며, 동기부여적 피드백은 문제해결을 지속할 수 있도록 학습동기를 부여한다[2].

본 연구에서 다루는 학습행동을 분석한 학습참여에 관련되어 효과적인 피드백을 제공하기 위해서는 제공시점, 횟수, 적응성(adaptiveness), 제공하는 목적과 수준을 고려해야 한다.

첫째, 학습목표에 따라 피드백을 제공하는 시점이 즉각적이어야 하는지, 지연적이어야 하는지를 결정해야 한다. Mathan과 Koedinger[15]는 발생하는 오류의 수정 개선이 목표일 경우에는 메타인지적 기술을 포함하기 때문에, 지연적 피드백이 제공되어야 한다고 강조하였다. 반면, 수행개선이 목표일 경우에는 학습자가 시도를 통해, 스스로 오류를 분석하여 수정해나가는 잘 설계된 피드백을 즉시 제공해야 한다.

둘째, 피드백 제공 횟수와 정보 제공방식을 고민해야 한다. 대부분의 연구는 정답을 맞힐 때까지 피드백을 제공하는 다중시도(multiple-try)[16]와 순차적으로(sequentially) 관련 정보를 제공하는 방식이 인지부하 측면에서 효과적임을 보고하였다[17].

셋째, 모든 학습자에게 같은 피드백을 제공하는 것보다 학습자의 사전지식, 메타인지, 학습동기 등을 고려하여 맞춤형 피드백을 제공하는 것이 효과적이다[17].

넷째, 학습자의 특성 및 학습목표를 고려하여 어느 수준에서 피드백을 제공해야 하는지, 어떤 목적으로 피드백을 지원해야 하는지를 결정해야 한다[12] ([Figure 2] 참조). 실제 피드백은 현재 상태와 원하는 목표 상태와의 불일치를 줄이기 위한 목적으로 제공되어야 하며, 과업 수준(task level)에서 학습이 얼마나 잘 이해하고 있으며, 수행되고 있는지 분석하는 피드백, 이해/수행하는 데의 과정을 다루는 과정 수준(process level), 자기 감시, 지시, 규제 활동과 관련된 자기조절 수준(self-regulation level), 학습자에 대한 개인적인 평가와 영향에 대한 자아 수준(self level)으로 구분된다. 이는 A: 동기강화 피드백과 B: 정보교정 피드백으로 구분되며, 수준에 따라 a: 피드백 없음, b: 정확/잘못된 피드백, c: 올바른 피드백 제시, d: 정교한 피드백으로 제공될 수 있다.

따라서 본 연구에서는 다루는 피드백은 동기강화 피드백과 정보교정 피드백으로써 학습자의 시선 데이터를 분석하여, 학습자의 참여 수준에 따라 피드백을 즉각적으로, 반복적으로, 개별화된 피드백을 제공하여 학습자들이 학습참여를 유발하고자 하였다.

2.3 자동화된 피드백

기술이 발전함에 따라 자동화된 정교화된 형태와 기능을 갖추게 되었다. 학습 내용의 순서와 분량을 학습자의 수준에 맞게 조정할 뿐만 아니라 사전에 입력된 피드백을 학습자 응답에 따라 자동으로 제공할 수 있다. 시스템을 통해 제공되는 이 기능들을 활용하여, 자동화된 피드백은 학습자에게 개별화된 피드백을 제공하여 학습과정에서의 개선사항을 알려주어, 학습동기와 학습성과를 향상시킨다[4]. 또한 교수자에게는 개별 과제를 채점하고 코멘트를 작성하는 번거로움을 줄여줌으로써, 불필요한 시간의 감소와 효과적인 한정된 자원활용을 통해, 보다 양질의 피드백을 제공한다[2].

관련 연구를 살펴보면, 학습자의 학습 경험과 성과를 개선할 수 있도록 테크놀로지를 통해 제공되는 피드백(Technology-Enhanced Feedback, TEF)에 대한 연구가 있다. 시스템에서 학습자가 정보 획득과 전달, 적절한 피드백으로 전달하는 과정 중 1번이라도 테크놀로지가 개입되면, TEF에 속한다.

관련 연구를 살펴보면, Kim[18]은 67명의 EFL(English as a Foreign Language) 대학생들에게 스크린 캐스트(screencast)를 활용하여 개별화된 시청각 피드백(Audio-Visual Feedback, AVF)를 제공하였다. 15주 동안의 수업을 마친 후, 수업 전보다 학습자의 글쓰기 능력과 학업 동기를 크게 향상되었다. AVF가 자세한 설명을 통해 학습자의 이해를 도왔을 뿐만 아니라, 학습 동기를 제공하여 참여 및 적극적인 청취를 촉진하였기 때문이다. 또한 교사는 AVF를 활용하여 평균 1분당 750단어를 학생들에게 제공하였다. 일반적으로 평균 1분당 140~160단어를 말한다는 점을 고려할 때, 교사가 학생들에게 평가과정에서의 불필요한 시간과 노력을 줄임으로, 세밀하게 분석된 양질의 피드백을 학생들에게 제공한 것으로 유추할 수 있다.

또한 Oinas 외[19]는 TEF에 대한 자기조절 학습지원의 핀란드 대학생들의 인식을 조사하였다. 62명의 인터뷰와 132명의 설문지 응답을 분석한 결과, 학생들이 바람직한 학습목표를 이해하는 데 TEF가 도움이 됨을 밝혔다. 그뿐만 아니라 이모티콘이 학습행동을 모니터링하는 데 효과적이기 때문에, 적극적인 참여를 위한 피드백으로 활용될 수 있음을 주장하였다.

선행연구들은 언어학습과 동료학습에서의 TEF 활용의 효과성을 살펴본 연구들이 대부분이었고, 실증연구 및 개발연구의 수는 드물었다. 그뿐만 아니라 연구대상, 교육환경, 교수자의 개입 수준이 상이하였다. 최근에는 실시간 화상 플랫폼이나 학습관리시스템(Learning Management System, LMS)을 통해 제출한 과제에 대해 댓글로 피드백을 제공하는 연구 등이 수행되고 있다[2].


3. 맞춤형 피드백 시스템 개발

본 연구는 대학생을 대상으로 한 실시간 온라인 환경에서 학습참여 촉진을 위한 맞춤형 피드백을 제공하는 시스템 개발에 목적이 있다. 프로토 타입 개발을 위해 제작된 맞춤형 피드백은 실제 사용자인 교수자에게 타당도를 검토 받았으며, 학습자에게 해당 시스템에 대한 설명한 후, 온라인 설문을 통해 의견을 물었다.

3.1 설계

첫째, 선행연구를 토대로 맞춤형 피드백 제공을 위한 학습자용 초기 대시보드를 개발하였다. 본 연구에서 피드백은 실시간 온라인교육이라는 교육환경의 특성을 고려하여, [Figure 2]의 과정 수준에서 제공된다. 선행연구[12, 14]를 바탕으로 구분된 피드백 유형 및 성격을 고려하여([Figure 2] 참조) 피드백이 제공된다. A(동기강화 피드백)의 경우, 시스템의 자동화된 피드백으로 제공된다. B(정보교정 피드백)의 b(정확/잘못된 피드백), c(올바른 피드백 제시), d(정교한 피드백)의 경우, 학습자 개인의 수행과 이해 수준을 돕고자 교수자가 입력하여 제공할 수 있도록 설계되었으며, a(피드백 없음)의 경우 실시간 온라인 수업에서 학습참여 및 몰입 촉진에 도움이 되지 않기 때문에 제외하였다.

Figure 2.

The type of feedback※ A: Motivational reinforcing feedback, B: Informational corrective feedback※ a: No feedback, b: correct/incorrect feedback, c: presentation of correct feedback, d: elaborative feedback※ According to the perspective of this study, the contents of Hattie & Timperley (2007) p.87 and Smith (1988) pp.733-735 are reconstructed.

둘째, 개발된 대시보드는 2명의 교육공학 전공 자문가들에게 줌(zoom)을 활용하여 1시간 내외의 자문을 받았다. 자문내용을 반영하여 수정하고, 최종 대시보드를 개발하였다. 최종 대시보드의 UI(user interface)는 실제 데이터의 활용을 고려하였다.

셋째, 본 연구에서는 학습자에게 실시간 피드백을 제공하기 위해서 학습자의 생체데이터 중 대표적인 시선 데이터를 활용하고자 하였다. 시선 데이터는 온라인교육에서 학습자의 주의집중, 참여, 인지부하 등의 측정이 가능하여 다중양식에서 대표적으로 사용되고 있다[20]. 시선추적 장비로부터 수집된 데이터를 기반으로 해석하는 과정을 통해 학습자에게 맞춤형 피드백을 제공하고자 한다.

특히 웹캠 기반으로 시선 추적 데이터를 얻기 위해 WebGazer[21]를 활용한다. WebGazer는 인공지능 기술을 통해 얼굴과 동공의 위치를 분석하여 화면 내 시선의 위치를 파악하는 자바스크립트로 구현된 오픈소스 라이브러리이다. WebGazer는 전통적인 컴퓨터 비전 알고리즘을 사용하여 얼굴 정보를 추출하고 이를 각각 회귀 및 다항식 함수를 기반으로 화면 좌표에 매핑하며, 대규모 데이터 세트에 대해 훈련된 엔드투엔드 딥 러닝 알고리즘(end-to-end deep learning algorithms)을 적용하여 웹캠 시선 추적의 잠재력을 향상시킬 수도 있다[22]. 또한 WebGazer는 실험실 내에서 파악하기 어려운 자연스러운 행동을 파악하기 위해 활용되는데, 특히 원격 환경에서 웹 검색 행동을 분석하거나[20], MOOC 환경에서의 자연스러운 학습자 의도를 분석하기 위해 활용되었다[23].

본 연구에서는 WebGazer를 통해 시선의 움직임을 추적하여 실시간으로 화면 내 사용자의 시선 위치를 파악한다. 사용자의 시선이 사전에 설정한 관심 영역 (화면 내 수업이 진행되는 웹 브라우저 영역)을 벗어나는 경우를 감지한다. WebGazer는 화면 내 얼굴이 위치하지 않을 때조차 시선의 움직임을 표현한다. 이점을 보완하기 위해 Google에서 제공하는 Mediapipe를 활용하여 웹캠에 얼굴이 존재하지 않는 경우에는 수업 활동에 참여하고 있지 않은 것으로 처리한다. 또한 사용자의 웹 브라우저 창의 활성화 상태를 감지하여 참여도 파악에 활용하였다. 브라우저 창이 최소화되거나 다른 탭으로 전환되는 경우, 수업 활동에 참여하고 있지 않은 것으로 간주하였다. 수업 미참여 행동(창 최소화, 다른 탭 전환, 음소거 등)이 10분을 기준으로 20% 이상 나타나면, 시선추적 데이터가 확보되어도 참여도의 수준을 하(下)집단으로 평가할 예정이다. 감지된 모든 데이터는 사용자의 컴퓨터에 실시간으로 저장이 되며, 10분 간격으로 분석을 위해 서버로 전송된다. 서버에서는 이 데이터를 종합하여 각 학습자의 참여도 수준을 평가하고, 이 정보를 교수자에게 전달한다. 참여도의 수준 평가는 화면에 고정된 평균 10분 동안 비율로, 상위 70% 상(上)집단, 하위 30% 집단은 하(下)집단으로 구분할 예정이다.

넷째, 학습자들의 행동들을 기반으로 하여 자동화된 맞춤형 피드백 제공을 위한 기준 및 제공되는 피드백 내용을 설계하였다(<Table 1> 참조).

Example of an automated feedback design.

구체적으로 학습자별 기준점을 삼을 수 있는 캘리브레이션을 실시간 온라인 수업 전 실시한다. 10분 단위로 누적된 데이터의 분석 결과에 따라 피드백 역시 10분 단위로 제시된다. 피드백은 퍼듀 대학교(Purdue university)의 사례를 참조하여, 종모양 아이콘과 함께 위험(빨간색)과 칭찬(초록색)으로 전달된다.

3.2 대시보드 개발

첫째, 실시간 온라인 수업이 이루어지는 화면은 [Figure 3]과 같다. 오른쪽 화면에는 교수자와 학습자 본인의 얼굴이 나올 수 있도록 하였으며(①, ②번), ③번에는 이모티콘(Emoji)를 배치하여 학습자의 인지적, 심리적 상태를 나타낼 수 있도록 하였다. ④번에는 교수자-학습자, 학습자 간 이야기를 나눌 수 있는 채팅창이, ⑤번에는 동료 학습자의 현황이 보일 수 있도록 설계하였다. 또한 ⑥번에는 학습현황 및 시선추적 현황이 보일 수 있도록 배치하였으며, 2분마다 수집된 데이터의 평균이 가로바 형태로 보일 수 있도록 설계하였다. 이와 함께 자동화된 피드백은 10분 단위로 고정된 자동화된 피드백을 제공하며, 기준값에서 학습자가 벗어날 때 즉시 자동화된 피드백을 제공한다. 또한 교수자는 언제든지 피드백을 줄 수 있다.

Figure 3.

Customized feedback system screen design for learners in synchronous online education※ Some screen designs may change during system upgrade work.

둘째, 실시간 온라인 수업에서 수집된 데이터를 분석하여 활동에 관한 결과를 보여주는 화면은 [Figure 4]와 같다. 해당 화면은 학습과정에서 생체데이터를 학습분석학적 관점에서 분석한 결과를 보여준다. 전반적인 결과를 요약해주는 분석 결과와 학습활동 분석으로 구성되어 있다. 학습활동 분석은 시선추적에 대한 실시간 분석 결과를 보여주며, 학습을 마친 후 참여도의 높고 낮은 구간과 어려움 예측구간을 알려줌으로써 학습자가 자신의 학습상황을 점검할 수 있도록 하였다. 시선추적 분석을 통해 참여도가 높은 구간과 낮은 구간을 알 수 있으며, 눈 깜빡임 분석을 통해 학습 내용 이해에 어려움을 겪은 구간을 예측할 수 있다. 학습 중과 후에 따라 아이콘의 활성화 여부에 따라, 학습자가 이를 확인할 수 있도록 하였다.

Figure 4.

Learning activity screen design applying learning analytics in synchronous online education※ Some screen designs may change during system upgrade work.


4. 연구 방법

4.1 연구 대상

개발된 맞춤형 피드백 시스템의 대시보드에 대한 사용의향을 확인하기 위해, 4주(2023.4.28.~2023.5.20.)에 걸쳐 전국의 4년제 대학생들의 의견을 수집하였다. 구글 설문지를 활용하여 관련 링크를 대학 게시판 및 커뮤니티 등에 배포하였다. 본 연구에 참여한 대학생들은 모두 연구참여에 동의하였으며, 연구참여에 동의하지 않은 학생의 경우, 설문조사에 참여할 수 없게 하였다. 온라인 설문의 특성상 모두 응답하지 않으면 제출되지 않아 모든 문항에 응답하였다. <Table 2>에서 볼 수 있듯이 총 262명 대학생이 참여하였으며, 여학생과 수도권 A대학, 20~25세 이하, 인문사회 계열 대학생이 가장 많았다. 학년별은 비슷한 응답 수를 보였다.

Participants

4.2 연구 절차 및 분석

첫째, 수도권 A대학 생명윤리위원회를 통해 IRB 심의를 받았다(No. 2022-01-006). 둘째, 4주간 온라인 설문에 대한 응답을 수집하였다. 셋째, Likert 5점 척도(1=매우 그렇지 않다~5=매우 그렇다)로 구성된 개발된 맞춤형 피드백 시스템 대시보드에 대한 필요성과 사용의향에 대한 빈도분석을 실시하였다. 넷째, 서술형으로 수집된 응답은 교육공학 전문가 2명에 의해 키워드 중심으로 내용을 분류하였다. 분류된 내용은 빈도분석을 실시하였다.

4.3 연구 도구

개발될 맞춤형 피드백 시스템의 대시보드에 대한 필요성과 사용성과 실시간 온라인교육에서 필요하다고 생각되는 기능에 대한 의견을 분석하였다. 본 연구의 설문에 응답한 대학생 모두 실시간 온라인 수업에 대한 사전경험을 가졌다(<Table 3> 참조).

Questionnaire


5. 연구 결과

5.1 필요성에 대한 인식 분석 결과

본 연구에서 개발될 실시간 온라인 환경에서 학습참여 촉진을 위한 맞춤형 피드백을 제공하는 시스템의 학습자용 대시보드의 필요성을 분석하였다. 그 결과, ‘적절하다’와 ‘매우 적절하다’에 응답한 학생들이 144명(54.9%)으로 가장 많았으며, ‘보통이다’ 35명(13.4%), ‘적절하지 않다’ 32명(12.2%), ‘매우 적절하지 않다’ 51명(19.5%) 순으로 나타났다. 이를 통해 대학생들은 본 연구의 학습자용 대시보드가 적절하다고 인식하였음을 알 수 있다(<Table 4> 참조).

The result of necessity

5.2 사용의향에 대한 인식 분석 결과

본 연구에서 개발될 실시간 온라인 환경에서 학습참여 촉진을 위한 맞춤형 피드백을 제공하는 시스템의 학습자용 대시보드의 사용의향을 분석하였다. <Table 5>의 결과, ‘종종 사용할 것이다’와 ‘항상 사용할 것이다’에 응답한 학생들이 176명(68.3%)으로 가장 많았으며, ‘때때로 사용할 것이다’ 28명(10.7%), ‘전혀 사용하지 않을 것이다’ 15명(5.7%), ‘거의 사용하지 않을 것이다’ 40명(15.3%) 순으로 나타났다. 이를 통해 대학생들은 본 연구를 통해 개발된 학습자용 대시보드를 사용하고 싶어 한다고 해석할 수 있다.

The result of intention to use

사용의향인 ‘종종 사용할 것이다’와 ‘항상 사용할 것이다’에 응답한 179명 중, 미응답자 74명을 제외한 105명 학생의 사용하고자 하는 이유를 분석하였다. <Table 6>의 결과, 75명(67.6%)이 ‘집중을 더 잘할 수 있어서’로 응답하였다. 다음으로 ‘사용하기 편하고 간단한 UI라서’ 11명(9.9%), ‘내 학습현황과 학습패턴을 실시간으로 파악할 수 있어서’ 9명(8.1%) 순이었다. 이외 ‘교수자와의 상호작용’ 2명(1.8%), ‘사용에 대한 호기심’ 2명(1.8%), ‘나의 상태를 표현할 수 있어서’ 1명( .9%) 등의 의견이 있었다.

The result on reasons for use

사용하지 않을 것이라는 의사를 나타낸 ‘전혀 사용하지 않을 것이다’와 ‘전혀 사용하지 않을 것이다’에 응답한 55명 중, 미응답자 4명을 제외한 51명 의 사용하고 싶지 않은 이유를 분석하였다. 다음 <Table 7>과 같이 14명(27.5)%이 ‘억압받는 것 같아서’로 가장 많이 응답하였고, ‘부담스러워서’ 12명(23.5%), ‘내 학습에 도움이 될지 모르겠어서’와 ‘피드백을 받더라도 개선할 마음이 들지 않을 거 같아서’ 9명(17.6%) 순이었다. 이외 ‘프라이버시를 침해하는 것 같아서’ 2명(3.9%), ‘새로운 시스템에 대한 거부감’ 1명(2.0%), ‘익숙하지 않아서’ 1명(2.0%) 등의 의견이 있었다.

The result on reasons for not use

실시간 온라인교육에서 나의 학습에 도움이 될 거 같은 기능에 대해, 미응답자 101명을 제외한 161명 학생의 응답을 분석하였다(<Table 8> 참고). 구체적으로 살펴보면‘학습과정에 집중할 수 있는 기능’이 30명(18.6%)으로 가장 많았다. 다음으로 유사한 속성의 비슷한 응답을 구분하여 살펴보았다. 즉,‘교수자로부터 바라는 점(A)’54명(33.5%)과‘동료 학습자로부터 바라는 점(B)’20명(12.4%)이 높게 언급 되었다. 상세하게 살펴보면, A에서 학습자는 교수자와 즉각적인 상호작용을 하고, 현황을 파악하여 실시간 피드백이나 처치를 받는 기능을 원하였다. B에서는 학습자간 상호작용을 위해, 다양한 이모지를 사용하거나 의견을 나눌 수 있는 자유로운 분위기가 조성되기를 희망하였다. 다음으로‘안정적인 시스템’16명(9.9%),‘복습을 위한 실시간 온라인 강의 녹음 지원’10명(6.2%),‘손쉬운 사용을 위한 매뉴얼 및 서비스 센터 지원’ 8명(5.0%), ‘현장감 있는 강의를 위한 실재감 요소가 포함된 강의 제공’ 5명(3.1%) 순으로 나타났다. 이외‘개별화된 맞춤형 피드백 제공’3명(1.9%),‘학습패턴 분석 후, 학습참여를 독려할 수 있는 기능’2명(1.2)%,‘실시간 수업영상에 자막 제공’1명( .6%)등이 있다.

The result of features considered necessary in synchronous online education


6. 결론 및 제언

본 연구는 실시간 온라인교육에서 시선추적 데이터를 활용하여 학습참여의 수준을 확인하고, 개별적인 피드백을 제공함으로써, 학습자들의 학습에서의 몰입과 참여 수준을 증진시킬 수 있는 시스템을 개발하고자 관련 대시보드를 개발하고, 이에 따른 실제 사용자인 학습자들에게 사용의향을 확인하는데 구체적 목적이 있다.

첫째, 본 연구를 통해 학습자인 대학생들은 본 연구에서 개발 중인 실시간 온라인교육에서의 맞춤형 피드백 시스템에 대한 필요성을 인식하고 높은 사용의향을 보였다. 구체적으로 긍정적 필요성 54.9%, 중립 13.4%, 부정적 필요성 31.7%가 확인되었으며, 사용의향도 긍정 68.3%, 중립 10.7%, 부정 21.0%로, 향후 사용에 있어서의 기대감을 확인할 수 있었다.

둘째, 실시간 온라인교육에서 필요한 주요 시스템 기능으로 집중유지와 학습참여를 독려할 수 있도록 기능과 수업 상호작용(교수자-학습자, 학습자-학습자)를 강화하는 기능이 필요하다고 응답하였다. 본 연구에서 개발한 실시간 온라인교육 맞춤형 피드백 시스템은 개별화된 피드백을 제공할 뿐만 아니라 학습자의 집중력 향상과 학습패턴 분석 결과를 실시간으로 확인함으로써, 자기조절 학습에 도움이 된다. 그럴 뿐만 아니라 학습자의 의사나 상태를 나타내는 이모지를 통해 교수자와 학습자간 원활한 상호작용을 돕는다. 따라서 향후 개발될 실시간 맞춤형 피드백 시스템은 학습자와 현장의 요구가 모두 반영되었으며, 사용성과 타당도를 충분히 갖추었다고 판단할 수 있다.

본 연구에 대한 한계와 후속 연구에 대한 제언이자 본 시스템 개발에서의 시사점은 다음과 같다.

첫째, 본 연구는 연령, 성별, 학과, 지역 등을 고려하여 4년제 대학생들을 대상으로 의견을 최대한 수집하고자 하였으나, 실제 설문 응답에 수도권 A대학의 대학생과 여학생이 가장 많이 참여하였다. 일반화된 연구 결과를 위해, 대학 유형, 학과, 지역, 성별 등을 고려하여 다양한 의견을 수집할 필요가 있다.

둘째, 피드백에 관한 연구는 오랜 시간 이루어져 왔지만, 실시간 온라인교육에서의 맞춤형 피드백에 관한 연구는 드물다. 실증과 개발연구를 통해 맞춤형 피드백에 대한 세부적인 구분 및 설계에 대한 논의가 필요하며, 관련 분야 연구가 활성화될 필요가 있다.

셋째, 본 연구에 참여한 참여자 중 일부는 사생활 침해와 감시에 대한 염려, 개선에 대한 의지 부족 등의 이유로 사용에 대한 걱정을 보였다. 이들 의견을 반영하여, 실시간 온라인교육에서의 사전교육과 시스템 내에서의 개인정보를 보호할 수 있는 설계전략이 적용될 필요가 있다. 또한 본 연구에서는 학습자의 안구와 관련된 시선 추적 데이터를 수집하므로 사전에 반드시 연구목적에 대한 설명 후 사용에 대한 동의를 받아야 하며, 이후 데이터는 보완절차를 통해 관리되어야 한다. 생체심리 데이터 활용에 비동의한 학생들은 관련 서비스를 사용할 수 없다.

넷째, 본 연구는 다양한 학습경험을 가진 대학생들의 의견을 반영한 실시간 온라인교육에서의 일반적인 맞춤형 피드백 제공을 위한 대시보드를 설계하는 데 목적이 있어서, 참여 횟수 및 학년 등 학습자 요인에 따른 의견의 차이를 확인하지 않았다. 학습경험 및 학습자 요인에 따른 사용의향 차이가 있다는 점[24, 25]을 고려한 후속연구가 수행될 필요가 있다. 또한 효과성 규명을 통해, 실시간 온라인교육의 학습성과에 영향을 주는 요인을 살펴볼 필요도 있다.

그런데도 본 연구는 학습자의 시선추적 데이터를 활용하여 실시간 온라인 수업에서 학습자 맞춤형 피드백을 제공하기 위해, 자동화된 피드백을 활용하며, 학습분석학을 적용한 학습활동 분석을 대시보드로 설계하였다. 본 연구진은 해당 대시보드를 바탕으로 맞춤형 피드백 시스템의 프로토타입을 개발하고 있으며, 실험을 통해 효과성을 확인할 예정이다. 해당 시스템은 실시간 온라인교육의 개인학습, 강의 중심의 수업에 특화되어 있다. 후속 연구를 통해, 토론학습, 팀 활동 등을 고려한 다양한 수업 유형을 고려하여 맞춤형 피드백 시스템이 필요하다. 그러나 본 연구는 이론에서 머무르지 않고 개발연구로 이어질 수 있도록 징검다리 역할을 수행하였으며, 수집된 빅데이터인 시선추적 데이터에 대해 AI를 활용하여 분류하여 맞춤형 피드백을 제공하였다는 데 의의가 있다.

Acknowledgments

이 성과는 2022년 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.NRF-2022R1F1A1065295).

References

  • Pardo, A., Jovanovic, J., Dawson, S., Gašević, D., & Mirriahi, N. (2019). Using learning analytics to scale the provision of personalized feedback. British Journal of Educational Technology, 50(1), 128-138. [https://doi.org/10.1111/bjet.12592]
  • Lim, K., Cha, S., & Leem D. (2023). A systematic literature review of automated feedback: Research from 2013 to 2022 in Korea. Journal of Korean Association for Educational Information and Media, 29(2), 511-540. [https://doi.org/10.15833/KAFEIAM.29.2.511]
  • Shadiev, R., & Feng, Y. (2023). Using automated corrective feedback tools in language learning: A review study. Interactive Learning Environments, 1-29. [https://doi.org/10.1080/10494820.2022.2153145]
  • Schneider, J., Börner, D., Van Rosmalen, P., & Specht, M. (2016). Can you help me with my pitch? Studying a tool for real-time automated feedback. IEEE Transactions on Learning Technologies, 9(4), 318-327. [https://doi.org/10.1109/TLT.2016.2627043]
  • Zhang, Z. V., & Hyland, K. (2018). Student engagement with teacher and automated feedback on L2 writing. Assessing Writing, 36, 90-102. [https://doi.org/10.1016/j.asw.2018.02.004]
  • Payne, A. (2021). Technology-enhanced feedback in higher education: Source-recipient relationships in a new dialogic paradigm. Qeios. Retrieved on 16 October 2023 from: https://www.qeios.com/read/GSTJ8R [https://doi.org/10.32388/gstj8r.2]
  • Belt, E. S., & Lowenthal, P. R. (2023). Synchronous video-based communication and online learning: an exploration of instructors’ perceptions and experiences. Education and Information Technologies, 28(5), 4941-4964. [https://doi.org/10.1007/s10639-022-11360-6]
  • Ministry of Education. (2020). The standards for distance learning operation in elementary, middle, high school, and special school in 2020. Ministry of Education.
  • Owatari, T., Shimada, A., Minematsu, T., Hori, M., & Taniguchi, R. I. (2020, December). Real-time learning analytics dashboard for students in online classes. Proceedings of 2020 IEEE International Conference on Teaching, Assessment, and Learning for Engineering, 523-529. [https://doi.org/10.1109/TALE48869.2020.9368340]
  • Hasnine, M. N., Nguyen, H. T., Tran, T. T. T., Bui, H. T., Akçapınar, G., & Ueda, H. (2023). A real-time learning analytics dashboard for automatic detection of online learners’ affective states. Sensors, 23(9), 4243. [https://doi.org/10.3390/s23094243]
  • Sharma, K., Alavi, H. S., Jermann, P., & Dillenbourg, P. (2016, April). A gaze-based learning analytics model: in-video visual feedback to improve learner's attention in MOOCs. Proceedings of 6th International Conference on Learning Analytics and Knowledge. Edinburgh, United Kingdom, 417-421. [https://doi.org/10.1145/2883851.2883902]
  • Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. [https://doi.org/10.3102/003465430298487]
  • Narciss, S. (2008). Feedback strategies for interactive learning tasks. New York, USA: Routledge.
  • Smith, P. L. (1988, January). Toward a taxonomy of feedback: Content and scheduling. Proceedings of the Annual Meeting of the Association for Educational Communications and Technology. New Orleans, Los Angeles USA.
  • Mathan, S. A. & Koedinger, K. R. (2005). Fostering the intelligent novice: learning from errors with meta-cognitive tutoring. Journal of Educational Psychology, 40, 257-265. [https://doi.org/10.1207/s15326985ep4004_7]
  • Clariana, R. B. (1993). A review multiple-try feedback in traditional and computer-based instruction. Journal of Computer-Based Instruction, 20(3), 67-74.
  • Narciss, S. & Huth, K. (2006). Fostering achievement and motivation with bug-related tutoring feedback in a computer based training for written subtraction. Learning and Instruction, 16, 310-322. [https://doi.org/10.1016/j.learninstruc.2006.07.003]
  • Kim, V. (2018). Technology-enhanced feedback on student writing in the english-medium instruction classroom. English Teaching, 73(4), 29-53. [https://doi.org/10.15858/engtea.73.4.201812.29]
  • Oinas, S., Ahtiainen, R., Vainikainen, M. P., & Hotulainen, R. (2021). Pupils’ perceptions about technology-enhanced feedback: Do emojis guide self-regulated learning?. Scandinavian Journal of Educational Research, 65(6), 1037-1051. [https://doi.org/10.1080/00313831.2020.1788149]
  • Kim, D., & Ryoo, D. (2023). Research trend of multimodal learning analysis : Focus on online learning. Journal of The Korean Association of Information Education, 23(17), 189-200.
  • Papoutsaki, A., Laskey, J., & Huang, J. (2017, March). Searchgazer: Webcam eye tracking for remote studies of web search. Proceedings of the 2017 conference on conference human information interaction and retrieval. New York, New York USA, 17-26. [https://doi.org/10.1145/3020165.3020170]
  • Steffan, A., Zimmer, L., Arias-Trejo, N., Bohn, M., Dal Ben, R., Flores-Coronado, M. A., Franchin, L., Garbisch, I., Grosse Wiesmann, C., Hamlin, J. K., Havron, N., Hay, J. F., Hermansen, T. K., Jakobsen, K. V., Kalinke, S., Ko, E.-S., Kulke, L., Mayor, J., Meristo, M.. & Schuwerk, T. (2023). Validation of an open source, remote web‐based eye‐tracking method (WebGazer) for research in early childhood. Infancy, 1-25. [https://doi.org/10.31234/osf.io/7924h]
  • Robal, T., Zhao, Y., Lofi, C., & Hauff, C. (2018, March). Webcam-based attention tracking in online learning: A feasibility study. Proceedings of 23rd International Conference on Intelligent User Interfaces. New York, New York USA(pp. 189-197). [https://doi.org/10.1145/3172944.3172987]
  • Lin, K. M. (2011). e-Learning continuance intention: Moderating effects of user e-learning experience. Computers and Education, 56(2), 515-526. [https://doi.org/10.1016/j.compedu.2010.09.017]
  • Saritaş, M., Yildiz, E., & Şenel, H. (2015). Examining the attitudes and intention to use synchronous distance learning technology among pre-service teachers: A qualitative perspective of technology acceptance model. American Journal of Educational Research, 3(10A), 17-25. [https://doi.org/10.12691/education-3-10A-3]

Appendix

부 록

자동화된 피드백 디자인의 예

참여자 특징

질문지

사용하고 싶은 이유

사용하고 싶지 않은 이유

실시간 온라인교육에서 학습에 도움이 될 거 같은 기능

김 동 심

2006년 이화여자대학교 사회생활학과(학사)

2014년 이화여자대학교 교육공학 전공(석사)

2017년 이화여자대학교 교육공학과(박사)

2018년 ~ 현재 한신대학교 교육대학원 부교수

관심분야: 에듀테크, 온라인교육, HCI, 교육자원 및 성과관리

E-mail: southpaw61@hs.ac.kr

류 다 현

2011년 단국대학교 한문교육·특수교육(학사)

2015년 이화여자대학교 교육공학 전공(석사)

2022년 이화여자대학교 교육공학과(박사)

2022년 ~ 현재 이화여자대학교 교육공학과 박사

관심분야: 학습과학, HCI, 역량평가, 교육성과 관리

E-mail: rdahyun@gmail.com

박 규 동

2012년 경북대학교 컴퓨터학부(학사)

2019년 포항공과대학교 창의IT융합공학과(박사)

2020년 ~ 현재 광운대학교 정보융합학부 조교수

관심분야: HCI, 인공지능, 에듀테크, 보조공학

E-mail: kdpark@kw.ac.kr

Figure 1.

Figure 1.
MOEMO dashboard

Figure 2.

Figure 2.
The type of feedback※ A: Motivational reinforcing feedback, B: Informational corrective feedback※ a: No feedback, b: correct/incorrect feedback, c: presentation of correct feedback, d: elaborative feedback※ According to the perspective of this study, the contents of Hattie & Timperley (2007) p.87 and Smith (1988) pp.733-735 are reconstructed.

Figure 3.

Figure 3.
Customized feedback system screen design for learners in synchronous online education※ Some screen designs may change during system upgrade work.

Figure 4.

Figure 4.
Learning activity screen design applying learning analytics in synchronous online education※ Some screen designs may change during system upgrade work.

Table 1.

Example of an automated feedback design.

Feedback content Reference value Icon
※ A: Risk(negative feedback), B: Praise(positive feedback)
A If you need help, please raise your hand for the instructor When 10 minutes of
eye-concentration time looking outside the screen has elapsed, when more than 80% of eye tracking values are lower than
the average in a section
Red bell
The instructor explains the content of the lecture.
Please make eye contact with the
instructor.
When the instructor on the screen is explaining the lecture, 10 minutes pass by looking outside the screen.
B It's great to see you enjoying learning. When concentrating on the screen for a certain period Green
bell

Table 2.

Participants

Division Frequency % Division Frequency %
※ For universities with under 5 respondents, included in etc.
Gender Female 196 74.8 Major Engineering 57 21.8
Male 66 25.2 Education 19 7.3
Grade Freshmen 67 25.6 Arts/physical 9 3.4
Sophomore 57 21.8 University A 200 76.3
Junior 74 28.2 B 11 4.2
Senior 64 24.4 C 29 11.1
Age < 20 64 24.4 D 7 2.7
20~25 175 66.8 E 5 1.9
≥ 25 23 8.8 etc. 10 3.8
Major Social
science
164 62.6 Total 262 100
Natural
science
13 5.0

Table 3.

Questionnaire

Categories No Related contents Scale
※ † Respondents 4 and 5 of question 2
※ †† Respondents 1 and 2 of question 2
Necessity 1 What is the level of need for the personalized feedback system developed in synchronous online learning? 5point Likert
Intention to use 2 What Is the level of intention to use personalized feedback systems developed in synchronous online
learning?
2-1 If so, why? Descriptive response
2-2 If not, why?††
Etc. 3 What methods or techniques can be used to enhance the effectiveness of learning in a synchronous online
learning system?

Table 4.

The result of necessity

Items Frequency %
A Strongly disagree 32 12.2
Disagree 51 19.5
B Neither agree or disagree 35 13.4
C Agree 80 30.5
Strongly agree 64 24.4
Total 262 100.0

Table 5.

The result of intention to use

Items Frequency %
A Never 15 5.7
Rarely 40 15.3
B Sometimes 28 10.7
C Often 83 31.7
Always 96 36.6
Total 262 100.0

Table 6.

The result on reasons for use

Related content Frequency %
※ † Some responses were processed as duplicate responses considering the content of the opinions.
Concentrate better 75 67.6
Easy to use and simple UI 11 9.9
To understand my learning status/pattern 9 8.1
To communication with instructors in real time 3 2.7
Instructors can check the status in real time and correct problems immediately 2 1.8
Motivate to learn 2 1.8
It was a new feature I had yet to see in other systems 2 1.8
Suitable to use as an attendance check function 2 1.8
To learn self-directed learning 1 .9
Familiar UI 1 .9
To receive quality online lectures 1 .9
Free, Optimal for a learning environment. 1 .9
To express my condition through emojis 1 .9
Total 111 100.0

Table 7.

The result on reasons for not use

Related content Frequency %
※ † Some responses were processed as duplicate responses considering the content of the opinions.
Being oppressed 14 27.5
Feel burdensome 12 23.5
Not sure if it will help my learning 9 17.6
I will not adapt to receive feedback 9 17.6
Infringing on my privacy. 2 3.9
Bother to use it 1 2.0
Resistance to the new system 1 2.0
Not used to it 1 2.0
It would be distracting because the length of the automated feedback section is short 1 2.0
A lack of autonomy 1 2.0
Total 51 100.0

Table 8.

The result of features considered necessary in synchronous online education

Related content Frequency %
※ A: Expect from an instructor, B: Expect from a colleague
※ † Some responses were processed as duplicate responses considering the content of the opinions.
To focus on the learning process 30 18.6
A To support immediate interaction with instructors 25 54 15.5 33.5
Real-time feedback from the instructor 16 9.9
Provides presence lectures 5 3.1
Instructor's understanding of problem situations and status in real-time
education
4 2.5
Instructor's immediate intervention and treatment of problem situations 3 1.9
To collect questions for the instructor in advance 1 .6
B To support active interaction between learners 16 20 9.9 12.4
Use various emojis 4 2.5
Stable system 16 9.9
Record for synchronous online lessons 10 6.2
Manual and service center against error 8 5.0
Attendance system 4 2.5
Provide personalized feedback 3 1.9
To check my understanding level about what I learned today 3 1.9
To analyze learning patterns in real-time and encourage learning participation 2 1.2
To enhance chat 2 1.2
Intuitive UI 1 .6
Supports index 2 1.2
Loading of rich, readable learning materials in real-time 2 1.2
To guarantee high autonomy system 1 .6
Improve sound and picture quality 1 .6
Upload immediately 1 .6
Provide subtitles for synchronous online lessons 1 .6
Total 161 100.0

<Table 1>

자동화된 피드백 디자인의 예

Feedback content Reference value Icon
※ A: 위헙(부정적 피드백), B: 칭찬(긍정적 피드백)
A 도움이 필요하면 교수자에게 손을 들어주세요. 화면 밖을 바라보는 시선 집중 시간이 10분 동안 해당 구간 평균보다 80% 이상 낮은 경우 붉은 종
교수자가 강의 내용을 설명하는 중입니다. 교수자와
눈을 맞춰주세요.
화면 속 강사가 강의를 설명하는 동안 화면 밖을 바라보며 10분이 지나간 경우
B 즐겁게 학습하고 있는 군요. 일정시간 화면에 집중할 때 녹색 종

<Table 2>

참여자 특징

Division Frequency % Division Frequency %
※ 응답자가 5명 미만인 대학의 경우 기타에 포함
성별 여성 196 74.8 Major 공학 57 21.8
남성 66 25.2 교육 19 7.3
학년 1학년 67 25.6 예체능 9 3.4
2학년 57 21.8 University A 200 76.3
3학년 74 28.2 B 11 4.2
4학년 이상 64 24.4 C 29 11.1
나이 20 미만 64 24.4 D 7 2.7
20~25 미만 175 66.8 E 5 1.9
25 이상 23 8.8 기타 10 3.8
전공 사회과학 164 62.6 Total 262 100.
0
자연과학 13 5.0

<Table 3>

질문지

Categories No Related contents Scale
※ † 2번 문항의 4, 5점 응답자
※ †† 2번 문항의 1, 2점 응답자
필요성 1 실시간 온라인교육에서 개발된 맞춤형 피드백 시스템의 필요성 수준은 어느 정도인가? 5점 Likert
사용의향 2 실시간 온라인교육에서 개발된 맞춤형 피드백 시스템의 사용의향은
어느 정도인가?
2-1 그렇다면 그 이유는? 서술형
2-2 그렇지 않다면, 그 이유는?
기타 3 실시간 온라인교육에서 학습 효과를 높이기 위해 어떤 방법이나 기술을 사용할 수 있을까요?

<Table 6>

사용하고 싶은 이유

Related content Frequency %
※ † 일부 답변은 의견 내용을 고려하여 중복 답변으로 처리함
집중을 더 잘할 수 있어서 75 67.6
사용하기 편하고 간단한 UI 11 9.9
내 학습현황/패턴을 파악할 수 있어서 9 8.1
실시간으로 교수자와 소통할 수 있어서 3 2.7
교수자가 현황을 한눈에 파악하여, 문제점을 즉시 수정할 수 있어서 2 1.8
학습동기를 제공해줘서 2 1.8
타 플랫폼에서 보지 못한 새로운 기능이라 사용해 보고 싶어서 2 1.8
출석체크 기능으로 사용하면 좋을 거 같아서 2 1.8
자기주도적인 학습을 할 수 있어서 1 .9
익숙한 UI 1 .9
양질의 온라인 강의를 제공받을 수 있어서 1 .9
무료, 학습환경에 최적화되어 있다고 생각해서 1 .9
나의 상태를 이모티콘를 통해 표현할 수 있어서 1 .9
전체 111 100.0

<Table 7>

사용하고 싶지 않은 이유

Related content Frequency %
※ † 일부 답변은 의견 내용을 고려하여 중복 답변으로 처리함
억압받는 거 같아서 14 27.5
부담스러워서 12 23.5
내 학습에 도움이 될 지 잘 모르겠어서 9 17.6
피드백을 받더라도 개선할 마음이 들지 않을 거 같아서 9 17.6
나의 프라이버시를 침해하는 것 같아서 2 3.9
귀찮아서 1 2.0
새로운 시스템에 대한 거부감 1 2.0
익숙하지 않아서 1 2.0
자동화된 피드백 구간의 길이가 짧아서, 집중이 흐트러질 듯 1 2.0
자율성이 떨어져서 1 2.0
전체 51 100.0

<Table 8>

실시간 온라인교육에서 학습에 도움이 될 거 같은 기능

Related content Frequency %
※ A: 교수자에게 기대, B: 동료에게 기대
※ † 일부 답변은 의견 내용을 고려하여 중복 답변으로 처리함
집중 30 18.6
A 교수자와의 즉각적인 상호작용 25 54 15.5 33.5
교수자로부터의 즉각적인 피드백 16 9.9
현장감 있는 강의를 위한 실재감 요소가 포함된 강의 제공 5 3.1
실시간 교육에 있어서 교수자의 문제상황 및 현황 파악 4 2.5
문제 상황에 대한 교수자의 즉각적인 개입 및 해결 3 1.9
사전에 교수자의 질문 수집 1 .6
B 학습자간의 상호작용 지원 16 20 9.9 12.4
다양한 이모지 사용 4 2.5
안정적인 시스템 16 9.9
복습을 위한 실시간 온라인 강의 녹음 지원 10 6.2
손쉬운 사용을 위한 매뉴얼 및 서비스 센터 지원 8 5.0
출석처리 시스템 4 2.5
개별화된 맞춤형 피드백 제공 3 1.9
배운내용에 대한 이해도 확인 3 1.9
학습패턴 분석 후, 학습참여를 독려할 수 있는 기능 2 1.2
채팅기능 강화 2 1.2
직관적인 UI 1 .6
색인 지원 2 1.2
실시간 학습자료 제공 2 1.2
높은 자율성 지원 1 .6
음향 및 화질 개선 1 .6
즉시 업로드 1 .6
실시간 수업영상에 자막 제공 1 .6
Total 161 100.0