[ Article ]

The Journal of Korean Association of Computer Education - Vol. 28, No. 7, pp.53-64

ISSN: 1598-5016 (Print) 2733-9785 (Online)

Print publication date 31 Jul 2025

Received 04 May 2025 Revised 23 Jun 2025 Accepted 25 Jun 2025

DOI: https://doi.org/10.32431/kace.2025.28.7.005

실시간 온라인 수업에서 학습자 참여 모니터링을 위한 교수자용 대시보드 설계 연구

류다현^†

; 김동심^††

†정회원 이화여자대학교 교육공학 박사
††정회원 한신대학교 교육대학원 부교수(교신저자)

Research on the design of a dashboard for instructors to monitor learner participation in synchronous online education

Dahyeon Ryoo^†

; Dongsim Kim^††

초록

본 연구는 실시간 온라인 수업 지원을 위한 SOEFS(Synchronous Online Education Feedback System) 교수자용 대시보드를 개발하는데 목적이 있다. 먼저, 실시간 온라인 수업 시스템의 주요 구성 요소 등을 문헌 고찰을 통해 정리하고, 이를 기반으로 SOEFS 교수자용 초기 대시보드를 설계하였다. 이후, 다양한 전공과 실시간 온라인 수업 경험을 가진 교수자 4인을 대상으로 인터뷰를 실시하여, 대시보드의 유용성, 이해 용이성, 학습성과 기여 가능성, 우려되는 점 등에 대한 의견을 수집하고 분석하였다. 인터뷰 결과, SOEFS 교수자용 대시보드는 학습자의 참여 상태를 직관적으로 파악하고, 즉각적인 피드백 제공을 지원하여 교수자의 수업 관리 부담을 경감시킬 수 있는 것으로 나타났다. 또한 실시간 수업 중 학습자의 몰입 상태와 학습성과를 체계적으로 모니터링할 수 있어, 실시간 온라인 수업 운영의 효율성과 학습자 지원 효과를 높이는 데 기여할 수 있음을 확인하였다. 본 연구는 실시간 온라인 수업 환경에서 교수자 지원을 위한 실질적이고 타당한 시스템 개발의 기초자료를 제공하며, 향후 다양한 수업 유형과 교수자의 요구를 반영한 시스템 고도화 연구의 필요성을 제안하였다.

Abstract

This study aims to develop an instructor dashboard for the SOEFS (Synchronous Online Education Feedback System) to support synchronous online education. First, the main components of synchronous online education systems were reviewed through a literature analysis, and an initial SOEFS instructor dashboard was designed based on the findings. Subsequently, interviews were conducted with four instructors from various disciplines who had experience with synchronous online teaching, to collect and analyze their opinions regarding the dashboard’s usefulness, ease of understanding, potential contribution to learning outcomes, and concerns. The interview results indicated that the SOEFS instructor dashboard enables intuitive monitoring of students’ engagement and supports the provision of immediate feedback, thereby reducing the instructional management burden for instructors. In addition, the dashboard was found to contribute to enhancing the efficiency of class operations and improving learner support by systematically tracking students’ engagement and learning performance during synchronous sessions. This study provides a foundation for the development of practical and validated support systems for instructors in synchronous online education environments and highlights the need for future research to advance system features based on diverse instructional types and instructor needs.

Keywords:

synchronous online education, instructor dashboard, learning analytics, design principal, SOEFS

키워드:

실시간 온라인 수업, 교수자 대시보드, 학습분석, 설계 원리

1. 서론

실시간 온라인 수업은 온라인 환경에서 서로의 얼굴을 보며 음성과 문자로 소통할 수 있는 수업 방식으로, 유연한 미래 교육의 핵심 요소로 주목받고 있다. 이는 오프라인 수업의 효과를 일정 부분 재현할 수 있다는 점에서 교육적 가치가 높다. 그러나 COVID-19 팬데믹을 계기로 전면적으로 시행된 실시간 온라인 수업의 경험을 통해, 이러한 수업 방식이 확장되기 위해서는 학습자의 집중력 저하[1, 2], 교수자의 수업 관리의 어려움[4, 5] 등 다양한 교육적 이슈가 해결되어야 함이 확인되었다.

이에 본 연구에서는 이러한 문제를 극복하고자, 학습자에게는 실시간 학습 상태에 대한 맞춤형 피드백을 제공하여 수업 참여를 유도하고, 교수자에게는 학생의 참여 상태를 실시간으로 파악하여 즉각적으로 지원할 수 있도록 돕는 시스템인 SOEFS(Synchronous Online Education Feedback System)를 개발하고자 한다. SOEFS는 학습자의 시선추적 데이터를 기반으로 학습 분석 관점에서 실시간 피드백을 제공하며, 교수자와 학습자 모두에게 학습 활동에 대한 유의미한 분석 결과를 전달하는 것을 특징으로 한다. SOEFS의 구체적인 구성과 기능은 다음과 같다[15].

첫째, SOEFS는 학습자의 참여 상태를 실시간으로 파악하기 위해 시선 추적 데이터를 활용한다. 실시간 온라인 수업에서는 학습자의 음성이나 비언어적 표현(예: 표정, 몸짓 등)을 교수자가 직접적으로 관찰하기 어려워, 학습자의 몰입 여부나 수업 집중도를 파악하는 데 한계가 존재한다[1, 2]. 이를 보완하기 위해 SOEFS는 시선 데이터를 기반으로 학습자의 참여 수준 정도를 분석하여, 참여 상태를 실시간으로 계량화하고 시각화한다. 이와 같은 기능은 교수자가 학습자의 수업 참여 여부를 보다 정밀하게 이해하고, 즉각적인 교수적 반응을 가능하게 한다.

둘째, SOEFS는 교수자에게 학습자의 실시간 참여 정보를 제공함으로써, 수업 중 학습자의 참여 수준에 따라 적절한 지원을 할 수 있도록 돕는다. 본 시스템은 개별 학습자의 시선 추적 데이터를 실시간으로 분석하여 참여 수준을 평가하고, 이를 기반으로 참여도의 수준에 따라 학습자에게 맞춤형 피드백을 제공한다. 죽, SOEFS는 참여 수준을 상·하로 분류할 뿐만 아니라, 참여 패턴에 따라 학습자 그룹을 식별하고, 개별 학습자에게는 정량적 분석 결과에 기반한 차별화된 피드백을 전달한다. 이는 단순히 집단 수준의 일반적 피드백을 제공하는 것이 아니라, 학습자의 특성과 학습 상황에 따라 개별화된 전략적 지원을 가능하게 하는 점에서 의의가 있다.

특히 상위 참여 집단의 학습자는 성취를 인정받으며 지속적으로 높은 수준의 학습 목표에 도전할 수 있고, 하위 참여 집단의 학습자는 기초 학습에 대한 도움과 긍정적인 피드백을 통해 학습 지속 가능성을 높일 수 있다. 교수자는 SOEFS를 통해 학습자의 참여 수준을 실시간으로 파악할 수 있으며, 대시보드 상의 시각적 정보를 기반으로 수업을 효율적으로 관리하고 학습 참여를 모니터링할 수 있다[4, 5]. 이를 통해 수업 중 도움이 필요한 학습자를 신속하게 식별하고 지원함으로써, 교수자의 실시간 온라인 수업 운영에 대한 부담을 완화하고, 학습자에게 적절한 교육적 처치를 제공할 수 있다. 이러한 개입은 학습자에게 높은 몰입과 학업 성과를 유도할 수 있으며, 학습 과정 중 적절한 시기의 피드백 및 상호작용은 지속적인 학습 동기를 유발하여 중도 탈락률을 낮추는 데 기여할 수 있다[6–8].

셋째, SOEFS는 교수자에게 수업 종료 후 학습자의 참여 상태와 수업 과정을 시각적으로 확인할 수 있는 대시보드를 제공한다. 교수자는 해당 대시보드를 통해 학습자의 참여 패턴을 분석하고, 이를 바탕으로 다음 수업에 대한 준비 및 교수·학습 전략을 조정할 수 있다[1, 3]. 이는 교수자가 자신의 수업을 성찰하고 점검할 기회를 제공한다는 점에서 교육적으로 중요한 의미를 지닌다.

실시간 온라인 수업의 효과성을 높이기 위해 이를 지원할 수 있는 교수·학습 전략과 시스템 개발에 대한 논의가 요구되고 있음에도 불구하고, 현재까지 관련 연구는 그 수가 매우 제한적이며, 주로 이론적 논의에 머물러 있다. 특히, 교수자를 위한 대시보드에 관한 연구는 극히 드물며, 기존 연구들에서는 교수자의 실제 요구를 반영하기보다는 연구자가 필요하다고 판단한 기능 위주로 대시보드를 설계하는 경향이 있었다. 또한 개발된 대시보드의 효과 검증에서도 주로 학습자의 만족도나 인식 변화에 초점을 두었으며, 교수자의 경험이나 요구, 인식의 변화에 대한 분석은 미흡하였다[2].

이러한 한계를 보완하고자, 본 연구에서는 문헌 고찰과 더불어 실제 사용자인 교수자와의 인터뷰 결과를 바탕으로 초기 교수자용 대시보드를 설계하였다. 이에 따라 본 연구의 구체적인 연구문제는 다음과 같다.

연구문제: 실시간 온라인 수업을 효과적으로 운영하기 위해 교수자에게 제공되는 대시보드는 어떻게 설계되어야 하는가?

2. 이론적 배경

2.1 실시간 온라인 수업

실시간 온라인 수업은 교수자와 학습자가 온라인 플랫폼을 통해 실시간으로 상호작용하며 진행되는 수업 방식이다. 이 방식은 면대면 수업과 비교할 때 Table 1 과 같은 차이점과 공통점을 가진다[12]. 특히, 실시간 온라인 수업은 면대면 수업의 핵심 강점 중 하나인 다양한 상호작용을 온라인 환경에서 가장 효과적으로 구현하는 방법으로 평가된다.

Table 1.

Media preferences for synchronous online class vs. face-toface in the classroom

이러한 실시간 온라인 수업의 주요 특징은 동시성(synchronicity)과 상호작용(interactivity)이다. 동시성은 교수자와 학습자가 동일한 시간에 수업에 참여하여 실시간으로 소통하고 피드백을 주고받을 수 있도록 한다. 상호작용은 즉각적인 질문과 응답을 가능하게 하여, 학습자가 학습 내용을 보다 깊이 이해할 수 있는 환경을 조성한다. 이를 통해 학습자는 물리적으로 떨어져 있어도 마치 같은 공간에서 수업을 듣는 것과 유사한 학습 경험을 얻을 수 있다[11, 12].

2.2 교수자 피드백

피드백은 학습자에게 학습활동이나 성과에 대해 제공되는 양적·질적 정보를 제공하는 모든 활동이다[ 13, 14]. 이를 통해 학습자는 자신의 현재 상태를 파악하고 개선할 부분을 인식함으로써, 더 나은 성과를 달성할 수 있도록 동기를 부여받는다[14]. 실시간 온라인 수업에서 낮은 집중과 학습활동 참여에 대한 문제를 고질적으로 지적됨에 따라, 즉각적인 교수자 피드백을 학습자에게 제공하고자 노력하고 있다. 교수자가 제공하는 피드백은 주제에 더 깊고 비판적인 시각을 제공하며, '나-주제 상호작용 중심의 과정 성찰'과 '주장의 합리성에 대해 내재적으로 검토하는 내용 성찰'에 대한 기회를 제공하였다[18]. 관련 연구의 흐름을 정리하면 다음과 같다.

첫째, 대다수 연구는 실시간 온라인 수업에서 교수자의 피드백이 수행하는 역할에 주목해왔다. 학습참여도가 높은 실시간 온라인 학습 환경을 조성하기 위해서는 교수자의 실재감이 필수적이며, 적시에 이루어지는 전문적인 개입이 피드백의 질을 향상시키고 학습성과를 극대화하는 데 중요한 역할을 한다[19]. 홍콩 8개 대학교 학생 1,740명과 교수자 460명을 대상으로 진행된 연구에서는 동료 학습자 간 피드백보다 교수자 피드백이 더 효과적인 것으로 나타났다[7]. 또한, 교수자가 피드백을 제공하는 과정에서 학습자는 자신이 겪는 어려움을 성찰할 기회를 얻음으로써 학습 동기가 촉진되었다. 연구에서는 교수자가 제공하는 피드백이 학습자의 사고를 확장하고 문제의 본질을 이해하도록 돕는다는 점에서 단순한 정보 제공보다 훨씬 더 복합적인 과정이며, 이에 관한 연구가 상대적으로 부족하다는 점을 지적하였다.

아랍 지역의 대학생 160명을 대상으로 실시간 온라인 수업(80명)과 전통적인 교실 수업(80명) 간의 만족도를 비교하였다[8]. 연구 결과, 실시간 온라인 수업에 참여한 학습자들의 만족도가 전반적으로 낮았으며, 개인 간 편차도 크게 나타났다. 이는 실시간 온라인 수업에서 학습자의 만족도가 낮았던 원인이 교수자의 상호작용 방식과 피드백 제공 방식에 영향을 받았기 때문으로 해석된다. 특히, 교수자가 학습자들과 활발하게 소통하고, 학습 내용을 깊이 이해하려는 학습자들에게 긍정적인 피드백을 제공했을 때, 해당 학습자들의 만족도가 상대적으로 높게 나타났다.`

또한 교수자들의 경험을 토대로 실시간 온라인 수업을 효과적으로 구성하고 운영하기 위한 지침을 제안하였다[6]. 구체적으로, 교수자는 수업 리뷰, 토론 및 소그룹 활동, 개인 학습 과정에서 학습자의 학습 과정을 면밀히 관찰하고, 적절한 피드백을 제공함으로써 학습자가 적극적으로 참여할 수 있도록 지원해야 한다. 또한, 학습자들 간의 의견 교환과 피드백이 원활하게 이루어지도록 교수자가 이를 촉진하는 역할을 수행해야 한다.

둘째, 일부 연구에서는 자동화된 피드백의 중요성을 확인하였다. 그 예로 [10]은 학습 관리 시스템의 자동 피드백 생성에 대한 63편의 연구를 체계적인 문헌 검토를 통해 확인한 결과, 연구의 65.07%는 자동 피드백이 활동에서 학생의 성과를 향상 시켰다. 또한 연구의 82.53%는 수동 피드백이 자동 피드백보다 더 효율적이라는 증거가 없다고 밝혔다. 그러나 현재 연구에서 제시되고 있는 자동화된 피드백은 대부분은 실제 정답과 비교하는 수준에서 이루어지고 있어, 자동화된 피드백이 학습자들의 학습상태에 대한 피드백이 아님을 확인할 수 있었다. 일부 언어 학습에서 문법 교정[28]이나 감정표현 훈련[29]를 위한 자동화된 피드백 시스템처럼 특정 맥락에서의 학습자의 내용지식 중심의 자동화된 피드백을 제공하고 있었다. 이러한 자동화된 피드백은 학습자의 만족도와 학습성과를 증진하는데 영향을 주어, 학습 지원요소로 확인할 수 있었다.

이상의 선행연구들은 공통적으로 교수자의 피드백에 대한 인식이 학습경험 향상에 중요한 역할을 함을 시사한다. 또한 자동화된 피드백을 통해서 학습자의 학습을 지원하는 것은 긍정적 학업 성과를 가지고 옴을 확인할 수 있었다. 즉, 본 연구의 맥락인 효과적인 실시간 온라인 수업이 되기 위해서는 학습자가 자신의 수준을 점검하고, 비판적 사고와 더 깊이 있는 탐구를 수행할 수 있도록 돕는 피드백이 필요하다[9]. 그러나 자동화된 피드백은 주로 교육내용을 중심으로 제시되며, 학습자의 학습 참여에 대한 피드백은 아니었다. 본 연구에서는 수업 과정 중 교수자의 부담을 줄이면서도 학습자의 학습 참여를 효과적으로 지원하기 위해, 실시간 학습 참여 상태를 분석하고 이에 기반한 자동화된 피드백을 제공하는 시스템을 개발하고자 한다. 이 시스템은 학습자의 학습 태도와 참여도를 실시간으로 모니터링하여 교수자가 보다 신속하고 적절한 개입을 할 수 있도록 도울 수 있을 것으로 기대된다.

2.3 교수자 대시보드 설계

교수자 대시보드는 실시간 온라인 수업에서 학습활동에 대한 시각화된 데이터를 제공함으로써, 학습자에게 개인화된 피드백을 제공할 수 있도록 한다. 이를 통해 개별과제를 채점하거나 피드백 코멘트를 작성하는 시간을 줄이고[5], 현황에 따라 필요한 교수·학습전략을 선정하여 적용함으로써 한정된 시간과 자원을 효율적으로 사용할 수 있다[4, 5].

최근에는 학습 과정에서 생성되는 데이터를 분석하여 학습 경향을 파악하고 학습성과를 최적화할 수 있는 학습경로를 제공하는 학습분석학을 접목한 교수자용 대시보드를 설계하였다[1, 2, 4, 20]. 그 예로 [2]는 대규모 온라인 수업에서 학습분석학 기반 대시보드를 사용하여 교수자가 학습자에게 실시간으로 피드백을 제공할 수 있도록 대시보드를 설계하였다. 이는 강의 내용에 대한 설명, 중요부분 표시, 학습활동 요약으로 구성되었다.

그러나 개발과정에서 실제 사용자인 교수자의 요구나 의견은 반영되지 않았다. 개발된 대시보드에 대한 효과성도 사용 집단과 통제 집단간 학습 동기, 만족도, 태도 등을 비교하고 있어 교수자가 느끼는 실제 효과성을 파악하기 어렵다. RIFF video를 활용하여 참여자의 말하기 시간(speaking time), 누가 서로 대화를 주고 받았는 지를 나타내는 영향(influence)과 방해(interruption), 표현(affirmations), 모든 참여자들의 발언 시간을 보여주는 타임라인(time line)으로 구성된 분석을 보여준다[20]. 62명이 참여자들을 대상으로 한 결과, RIFF video를 사용할 때마다 말하기 시간과 빈도가 2배 이상 증가하였으며, 4회 이상 사용한 학습자가 80% 이상 높은 성적을 받았다(Fig. 1 참조).

Figure 1.

Dashboard using RIFF video※ [20]. p.5.

3. 연구 방법

3.1 연구 절차

본 연구절차는 크게 문헌분석, 대시보드 설계, 이용자 피드백 조사 순으로 진행되었다. 첫째, 문헌연구를 통해, 실시간 온라인 수업을 위한 교수자용 대시보드 설계 원칙과 정보유형에 따른 시각화 요소를 설정하였다. 둘째, SOEFS의 목적과 특징을 고려하여 연구진이 대시보드 초안을 설계하였다. 셋째, 교수자용 초기 대시보드를 교수자에게 제공하여 설명한 후, 4명의 교수자들에게 인터뷰를 통해 유용성과 대시보드에 대한 반 등을 조사하였다. 수정사항에 대한 의견을 반영하여 최종 교수자용 대시보드를 확정하였다.

3.2 자료수집

사용자의 의견을 수집하기 위해 인터뷰를 수행하였다. 비확률적 표집 방법 중 다양한 전공을 고려한 의도적 표집을 사용하여, 대상자인 교수자를 선정하였다(Table 2 참조). 모든 인터뷰는 대면과 Zoom을 통해 2시간 내로 개별 면접형식의 인터뷰가 1회씩 이루어졌다. 면담 내용은 녹취되어, 전사작업을 통해 유의미한 내용을 정리하였다.

Table 2.

Participants

2023년 4-5월에 인터뷰를 실시하였다. 연구 대상자는 인문·사회계열과 공과계열 교수 등 다양한 계열의 교수자 4명이다. 이들 모두 10년 이상의 교수경력을 가졌으며, COVID-19 시기에 정규수업을 실시간 온라인 교육으로 진행한 경험을 가지고 있다.

인터뷰 질문은 SOEFS 교수자 대시보드에 대한 이해도와 어떤 면에서 유용하다고 생각되는지, 대시보드에 대한 반응과 함께 수정되었으면 하는 점을 물었다(Table 3 참조). 이는 [17]에서 언급한 Kirkpatrick의 4수준 모델을 적용한 대시보드의 목적을 고려하였다[21, 22]. 학습분석학에 기반을 둔 대시보드는 사용자의 반응을 일으켜야 하고(수준 1), 대시보드가 보여주는 내용을 제대로 이해시켜야 하며(수준 2), 학습관련 행동의 변화(수준 3)를 일으켜서, 학업성취에 기여(수준 4)해야 한다([3], p.195 재인용). 해당 단계에서는 반 구조화된 인터뷰를 시행하였으며, 개발된 질문은 교육전공 전문가 2인이 검토하여, 타당성을 확보하고 수정되었다.

Table 3.

Interview questions

본 연구는 연구 윤리를 준수하여 인터뷰가 진행되었다. 연구 참여 중단을 언제든지 할 수 있음을 참여자들에게 안내하였으며, 인터뷰 전 연구목적과 내용 등을 고지한 후 참여동의를 받았다. 분석과정에서 불확실한 정보에 대해서는 연구 참여자와의 전화 혹은 인터뷰를 통해 추가적으로 관련 내용을 확인하였다. 본 연구에 참여한 연구대상자인 교수자들에게는 소정의 참가비를 제공하였다.

3.3 분석 틀 및 자료분석 방법

인터뷰는 SOEFS 교수자용 대시보드를 본 후, 교수자의 인식변화와 상세기능에 대한 의견을 분석하였다. 2명의 연구자가 반복적 비교 분석(constant comparison method)을 통해 전사한 인터뷰를 4단계(디브리핑 → 의미단위(meaning unit) 분석 → 축약된 의미단위 도출 → 주제와 하위주제 범주화 분류)에 걸쳐 분석하였다[23](Table 4 참조). 연구자간 토론을 통해 분석내용에 대한 최대한 합의를 하여 타당성과 신뢰성을 갖추고자 하였다.

Table 4.

Interview analysis process

4. 연구 결과

4.1. 문헌연구

SOEFS의 교수자용 대시보드 개발을 위해, 문헌 고찰을 통해 설계 원리를 도출하였다. 학습분석학을 활용한 대시보드는 수업의 전반적인 학습활동 상황 및 교수학습 성찰에 필요한 정보를 다각적으로 제공해야 한다[4]. 본 연구의 SOEFS 교수자용 대시보드 설계 원리를 Table 5에 정리하였다.

Table 5.

Design principles reflected in the SOEFS instructor dashboard

정보유형에 따른 시각적 요소의 활용은 다음 Table 6과 같다. 예를 들어, 학습참여자별 온라인 활동 정도는 막대 그래프, 활동 양상(시계열 분석)은 선 그래프로 표현하였다. 학습자들이 남긴 메시지의 경우에는 태그 클라우드를 통해서 제시될 수 있을 것이다.

Table 6.

Use visuals by analytics

실시간 온라인 수업에서 겪는 어려움을 고려한 SOEFS는 실시간 온라인 수업에서 고질적으로 지적된 문제점을 해결하기 위해 다음과 같은 기능을 가지고 있다. 첫째, 시선이 머무르는 시간에 따라 학습자의 학습참여 수준을 파악할 수 있다. 학습자의 시선데이터 수집은 학습자의 실시간 온라인 수업 참여를 위한 기기의 카메라를 사용하여, 학습자의 시선이 실제 수업이 진행되는 화면에 머무는 시간을 고려하여 측정된다. 둘째, 교수자에게 실시간으로 학습자들의 참여현황을 알려준다. 10분마다 학습자의 학습참여 수준을 상/하 집단으로 구분하고, 이를 교수자에게 제공한다. 이와 함께 학습자들이 자유롭게 자신의 수업상태를 표현하기 위한 이모지를 선택할 수 있으며, 이는 교수자에게 즉각적으로 제공된다. 셋쨰, 교수자의 교수활동 성찰을 위해 수업이 종료된 후에는 학습자의 수업참여 현황에 대해 분석한 그래프를 제공한다.

본 연구는 대시보드를 구성할 때 고려하는 학습 정보 중 학습 참여와 학습 성과 정보를 중심으로[24], 필요한 기능을 정리하였다. 특히, 수업 참여 인원에 대한 전체 평균뿐만 아니라 개별 학생들의 학습 현황을 실시간으로 살펴볼 수 있도록 관련 기능을 대시보드에 구현해야 함을 강조하였다. 이상의 논의를 바탕으로 SOEFS 교수자용 대시보드에 주요 기능을 도출하였다.

SOEFS 교수자용 대시보드는 A 실시간 온라인 수업이 이루어지는 중과 B 실시간 온라인 수업이 종료된 이후에 제공되는 학습성과 분석으로 구분되어 있다(Table 7 참조). A에는 대표적으로 학습자의 참여 수준을 높은 집단을 녹색 시그널, 참여 수준이 낮은 집단을 빨간 시그널로 제시한다. 또한 학습자의 학습자들의 이모지는 총합으로 교수자에게 제시된다. 이를 통해 교수자는 즉각적으로 학습자의 학습상태를 파악할 수 있다. B에는 대표적으로 전체 학습자-개별 학습자의 시간대별 수치를 비교하여 제시하고, 학습자들이 채팅창을 분석하여, 교육이 이루어진 과정을 확인할 수 있도록 하였다.

Table 7.

Key features of the SOEFS Instructor Dashboard

4.2 SOEFS 교수자용 대시보드 초기 설계

문헌고찰과 교수자 인터뷰를 통해 도출된 필요한 기능을 고려하여 SOEFS 교수자 초기 대시보드를 개발하였다. 메시지 설계 원리를 적용하여(Table 8 참조)[16], 기능과 시각성을 고려한 화면별 대시보드를 상세하게 설계하였다. 각 원리는 근접성, 명확성, 단순성, 일관성, 색상, 정렬에 대한 내용이다.

Table 8.

Message design principles

4.3 사용자(교수자) 인터뷰

SOEFS와 SOEFS의 교수자 대시보드에 대한 설명과 화면을 본 후, 유용성 및 대시보드 반응, 수정 의견을 물었다. 취합된 의견을 반영하여, 최종 SOEFS 교수자용 대시보드를 확정하였다.

가. 반응과 이해

첫째, 교수자들은 SOEFS에 대한 필요성에 대해 공감하였다. 시선추적의 정확성, 부담감 등에 대해서 언급하기도 하였지만, 실제 대부분의 대시보드의 직관성으로 인해 별도의 사용 안내 없이도 즉시 활용 가능할 것으로 기대하였다. 또한 SOEFS의 주요한 기능들이 학습자들의 참여에 도움을 줄 수 있을 것으로 언급하였다.

일단 제가 딱 봤을 때 느낌은 동공이라는 걸로 참여도를 하는 게 이게 맞나⋯ 조는 것도 다 잡아내나요?(교수자 c).

중상위에 있는 친구들을 상위자로 끌어올리는 것과 고성과자들을 계속 유지시키는 게 더 중요한 부분인 것 같아요. 그러니까 그렇기 때문에 오히려 이제 줌으로 하게 되면은 좀 마음이 해이해지잖아요. 그럴 때 이런 장치를 통하면은 약간 평균적인 있는 친구들도 뭔가 경각심을 일으켜서 더 적극적으로 참여하게 되지 않을까(교수자 a).

열심히 참여하고 있으면 초록색, 빨간색 이런 거는 되게 좋은 것 같아요. 바로 알 수 있어요(교수자 c).

직관적으로⋯ 10분 단위로 A라는 학생은 잘 참여하는 학생, B라는 학생은 못하는 학생 이렇게 자동적으로 보여주는 거죠?(교수자 d).

그러나 교수자 입장에서 다음과 같이 다양한 기능으로 인해서 오히려 교수활동을 방해할 수 있을 것 같다는 우려도 나타났다.

저는 강의를 하고 있는 도중에 아이들이 채팅창에 막 올라오면 그거를 답해줄 수가 없어요. 게다가 애들이 막 뭘 빨리 올리면 막 질문이 위로 올라와 버리잖아요.

그럼 앞에 올라간 거를 내가 캐치해서 읽고 하는 동안에 아이들은 줌에서 또 그냥 홀드하고 기다려야 되는 그런 상황들이 벌어지더라고요. 그래서 사실 피로도가 그냥 대면 수업을 하는 거하고 비교할 수 없을 정도로 화상 수업이 피곤하거든요. 그런데 지금 이제 이런 기능들이 추가되는 게 많은 정보를 준다는 점에서는 좋지만 교수자한테는 엄청 피로도를 더 증가시킬 것 같아요(교수자 b)

나. 변화와 기여

SOEFS 교수자용 대시보드는 교수자에게 교수활동에 대한 성찰의 효과를 가지고 올 수 있을 것으로 기대하였다. 이를 통한 수업 변화의 긍정적 측면을 확인할 수 있었다.

이벤트 시점이 좁아지면 그때 어떤 주제를 했더니 호응도가 좋았다 그러면 다음에 뭐 이걸 써야 되겠다라고 그렇게 엮을 수 있을 것 같고요. 그리고 이게 일별도 중요한데 주차별 주차별이 또 나올 거 아니에요?

그런게 쌓이니 좋네요(교수자 d).

만약에 내가 지정했던 어떤 이론 부분을 아이들이 별로 집중하지 못하고 있더라 하면 그거에 대해서 뭔가 원인 파악을 해보려고 하는 노력을 하실 수 있겠죠. 설명이 너무 길었나 아니면 설명이 너무 어려웠나 아니면 내가 말투가 너무 졸렸나? 그래서 이걸 어떻게 바꿔서 해보면 애들이 더 재미있을까? 이런 거에 대한 고민을 하시는 교수님들이 진짜 많으니까(교수자 b).

다. 시선추적 등의 개선을 위한 방향

교수자들은 SOEFS에 대해 다양한 보조 지표(부정참여 방지, 구간별 모니터링 차별화, 대규모 강좌 대응 등)가 필요성을 제시하기도 하였으며, 구체적으로 피드백 시간, 교수자 확인 내용 등을 언급하기도 하였다.

만일 사용된다면 대규모 강좌 등을 고려해야 할 것 같아요. 학생들 이름이 제시되면 화면에 보이는 숫자도 제한될 텐데 그렇다면 저렇게 하나하나 표시되는 게 의미가 있을까요? 그냥 집중하고 있는 학생의 수가 중요할꺼 같아요(교수자 c).

학생들의 참여도가 처음부터 끝까지 계속 유지돼야 된다는 가정 하에 만든 것 같은데⋯ 일반적으로 15분을 넘어가면 주의 집중력이 흐려져서, 중요한 포인트에서만 집중 여부를 체크하면 좋을 것 같아요(교수자 b).

노트북 위에다가 유튜브를 얹어놓고서 학생들이 교수님이랑 눈 마주치는 것 같다라는 생각이 들 수 있도록 하는 학생들도 있거든요. 더 많은 상황을 고려해야 할꺼 같아요(교수자 a).

라. 수정 의견과 최종 대시보드

전반적으로 연구 참여자들은 SOEFS 교수자용 초기 대시보드에 대해 여러 가지 반응을 보였다. 인터뷰 과정에서 함께 물었던 수정 및 보완에 대한 의견을 반영하여 수정 후 최종 대시보드를 확정하였다. 주요 수정의견과 변경사항은 Table 9와 같다.

Table 9.

Revised key features of the SOEFS Instructor Dashboard

주요 수정은 대부분 실시간 온라인 수업이 이루어지는 대시보드로 전반적인 화면구성은 유지하되, 수업 현황을 직관적으로 파악할 수 있도록 일부 그래프 제시 방법을 변경하였다.

Fig. 2와 같이 수업이 이루어지는 중에는 교수자 얼굴(①), 실시간으로 시선 데이터가 분석되어 구간별로 학습자 현황(위험/우수)를 파악할 수 있으며(⑥), 구간별 학습활동 분석(②), 시스템 지원 기능(켈리브레이션, 하이라이트, 녹음, 피드백 제공, 공지사항 안내)(③), 채팅창(④), 학습자 얼굴 및 이모지 현황(⑤), 학습현황 분석결과로 구성되어 있다.

Figure 2.

Screen during synchronous online education

Fig. 3과 같이 수업이 종료된 후에는 학습분석학 기반 학습성과 분석결과와 함께 해석을 제공한다. 학습활동 분석(높은/낮은 참여도, 어려움 예측 구간)과 대화 분석(피드백, 채팅창)으로 구성되었다.

Figure 3.

Dashboard for analysing the performance of synchronous online classes

5. 논의 및 결론

본 연구는 실시간 온라인 수업에서 맞춤형 피드백 제공을 위해 교수자용 대시보드를 설계하였다. 문헌고찰, 교수자용 대시보드 초기 설계, 사용자(교수자) 인터뷰의 결과를 종합한 결과는 다음과 같다.

첫째, 문헌고찰을 통해 정리한 설계 원리와 시각화 요소를 적용하여 SOEFS 교수자용 초기 대시보드를 설계하였다. 검증된 이론적 근거를 적용하여 학습몰입과 참여를 유도할 수 있는 신뢰로운 SOEFS 교수자용 대시보드를 개발하였다. 특히, 하나의 그래프에 여러 가지 정보를 제공하는 것이 아닌 직관적으로 해석할 수 있도록 단순한 양식을 사용하였다.

둘째, SOEFS 교수자용 초기 대시보드는 10분 단위 구간별 학습몰입 추세를 파악할 수 있도록 설계되었으며, 핵심 기능을 단순하고 명료하게 구현하고자 하였다. 개발 과정에서는 에자일(agile) 방법론을 적용하여 신속한 피드백 수렴과 짧은 개발 주기를 통해 리스크를 최소화하고자 하였다.

셋째, 실 사용자인 교수자의 목소리를 최대한 반영하고자 사용자(교수자)의 인터뷰를 통해 SOEFS 교수자용 최종 대시보드 확정하였다. 교수자들은 SOEFS가 실시간으로 학습자의 참여도와 정서 상태를 파악하고 시각화해준다는 점에서 수업 중 즉각적인 교수전략 조정 및 학습자 개별 지원에 유용한 도구가 될 수 있다고 평가하였다. 고등교육에서의 온라인교육의 확산을 위해 교수자의 요구를 반영하여, 실제 수업에서 교수자를 지원할 수 있는 시스템으로 개발될 수 있도록 하였다.

넷째, 본 대시보드를 살펴본 교수자들의 반응은 대시보드가 학습자의 참여 상태를 직관적으로 파악할 수 있도록 돕고, 즉각적인 피드백 제공을 지원함으로써 수업 관리 부담을 경감시키는 데 효과적일 수 있음을 확인하였다. 교수자들은 실시간으로 학습자의 참여 상태를 시각적으로 확인하고, 이를 기반으로 개별 학습자에게 필요한 지원을 신속하게 제공할 수 있을 것으로 기대하였다.

이와 같은 과정을 통해 대시보드가 교수자의 교수활동 지원의 의미를 가질 수 있도록 수정되었다.

실제 교수자들은 SOEFS에 대하여 기대와 우려를 함께 제시하여 향후 개발을 위해서는 다음과 같은 고려사항이 필요함을 확인할 수 있었다.

첫째, 학습에 도움이 되는 시스템의 기본조건인 사용성과 유용성을 확보하기 위해서는 수업을 진행하는 교수자의 역할이 중요하다. 교수자는 실시간 온라인 수업 혹은 동영상 기반 온라인 수업에서 테크놀로지 활용에 어려움을 겪는다[25, 26]. 테크놀로지는 학습의 수단으로 사용되었던 과거와 달리, 최근에는 학습목표이자 수단이 되고 있음에 따라 교수자의 테크놀로지 활용능력이 수업의 질을 결정한다[26, 27]. 이에 SOEFS는 직관적이고 단순한 기능 제공을 통해 실시간 온라인 수업에서의 교수자의 기술적 부담을 경감시키고자 하였다. 그럼에도 불구하고, 교수자들은 수업 중 대시보드를 지속적으로 확인해야 하는 시스템 정보에 기반한 수업 운영에 한 부담을 함께 언급하였다. 이에 따라 SOEFS 대시보드는 교수자의 수업 흐름을 방해하지 않으면서도 최소한의 필요한 정보를 선택적으로 확인할 수 있는 형태로의 개선이 필요함이 나타났다.

둘째, 일부 교수자들은 시스템에서 제시되는 학습자 참여 수준 및 감정 정보의 정확성에 대한 신뢰도 문제를 언급하였다. 향후 SOEFS가 교육 현장에서 활용되기 위해서는 시스템의 알고리즘 기반 진단 정확도와 시각화 정보의 해석 가능성을 지속적으로 검증해야 할 것이다. 특히 웹캠기반으로 한 참여도 측정기술의 한계에 따른 수업 적용에서의 유의점을 제시하고 이에 따른 교수자에게 해당 정보의 의미와 해석방법에 대한 명확한 안내와 연계 연수가 함께 제공되어야 할 것이다.

본 연구는 실시간 온라인 수업을 지원하는 교수자용 대시보드를 문헌고찰 및 사용자 의견을 반영하여 설계하였다는 점에서 의의가 있다. 특히 실시간 온라인 수업 환경에서 교수자용 대시보드 연구는 극히 드물며, 기존 연구들 역시 학습자용 대시보드에 한정되어 있다는 점에서 학문적·실천적 가치를 지닌다. 다만, 설계과정 중 소수의 교수자를 대상으로 연구가 진행되어 일반화의 한계를 가지고 있다. 따라서 실제 프로토 타입의 SOEFS의 개발을 통해 실제 교수자의 사용성 평가가 이루어져야 할 것이다. 개발된 SOEFS는 사용성뿐만 아니라 학습성과에 대한 전이 효과를 장기적으로 평가할 필요가 있다. 특히 단기적 인지 성취를 넘어, 장기적으로 학습자의 역량과 능력 향상에 기여하는지를 확인해야 한다. 이러한 학습성과는 교수자의 테크놀로지 수용 및 활용 역량에 크게 좌우되므로, SOEFS의 효과를 극대화하기 위해서는 교수자 대상의 테크놀로지 활용 연구와 지원 방안 개발이 함께 이루어져야 할 것이다.

Acknowledgments

이 성과는 2022년 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.NRF-2022R1F1A1065295)

References

Elias, T. (2011). Learning analytics: Definitions, processes and potential. Athabasca University. Retrieved from https://landing.athabascau.ca/file/download/43713
Owatari, T., Shimada, A., Minematsu, T., Hori, M., & Taniguchi, R. I. (2020). Real-Time learning analytics dashboard for students in online classes. 2020 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE). Takamatsu, Japan. [https://doi.org/10.1109/TALE48869.2020.9368340]
Park, Y. J., & Jo, I. H. (2014). Design and application of visual dashboard based on learning analytics. Journal of Korean Association for Educational Information & Media, 20(2), 191-216. [https://doi.org/10.15833/KAFEIAM.20.2.3]
Hwang, Y. J., Kim, I. S., & Seo, Y. K. (2021). A study on the development of faculty dashboard prototype based on learning analytics for university students competency Enhancement: A university of engineering students. The Journal of Education Consulting & Coaching, 5(3), 55-74. [https://doi.org/10.31137/ECC.2021.5.3.55]
Lim, K., Lim, J., Kim, Y., Jin, M., & Park, M, (2017). Developing criteria for evaluating the quality of online dashboard: From HCI Perspective. Journal of Korean Association for Educational Information and Media, 23(4), 861-889. [https://doi.org/10.15833/KAFEIAM.23.4.861]
James, B. R., Leinbach, A. A., & MacDonald, A. M. (2022). Effective online teaching: Voices of experience. New Directions for Community Colleges, 2022(199), 35-48. [https://doi.org/10.1002/cc.20522]
Carless. D (2006). Differing perceptions in the feedback process. Studies in Higher Education, 31(2), 219-233. [https://doi.org/10.1080/03075070600572132]
Mahmood, A., Mahmood, S. T., & Malık, A. B. (2012). A comparative study of student satisfaction level in distance learning and live classroom at higher education level. Turkish Online Journal of Distance Education, 13(1), 128-136.
Jensen, L. X., Bearman, M., & Boud, D. (2021). Understanding feedback in online learning–A critical review and metaphor analysis. Computers & Education, 173, 104271. [https://doi.org/10.1016/j.compedu.2021.104271]
Cavalcanti, A. P., Barbosa, A., Carvalho, R., Freitas, F., Tsai, Y. S., Gašević, D., & Mello, R. F. (2021). Automatic feedback in online learning environments: A systematic literature review. Computers and Education: Artificial Intelligence, 2, 100027. [https://doi.org/10.1016/j.caeai.2021.100027]
Dennis, A. R., Fuller, R. M., & Valacich, J. S. (2008). Media, tasks, and communication processes: A theory of media synchronicity. MIS Quarterly, 32(3), 575-600. [https://doi.org/10.2307/25148857]
Heo, M. A. (2022). Exploring changes in class participation behavior based on the media environment: Focusing on class communication participation and speaking efficacy. Korean Speech & Discourse Analysis, 55, 49-91. [https://doi.org/10.18625/jsc.2022..55.49]
Pardo, A., Jovanovic, J., Dawson, S., Gašević, D., & Mirriahi, N. (2019). Using learning analytics to scale the provision of personalized feedback. British Journal of Educational Technology, 50(1), 128-138. [https://doi.org/10.1111/bjet.12592]
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. [https://doi.org/10.3102/003465430298487]
Kim, D, Ryoo, D., Park, K. & Kang, H. (2024). Evaluating the effectiveness of AI-based synchronous online feedback education system. The Journal of Korean Association of Computer Education, 27(7), 11-23. [https://doi.org/10.32431/kace.2024.27.7.002]
Kim, Y., Heo, H., Kim, H., Keo, Bo., Park, Y., Kim, Y., & Du, M. (2016). Design instructional messages. Kyoyookbook.
Yoo, Y., Lee, H., Jo, IH., Park, Y. (2015). Educational dashboards for smart learning: Review of case studies. In: Chen, G., Kumar, V., Kinshuk, ., Huang, R., Kong, S. (Eds.) Emerging issues in smart learning: Lecture notes in educational technology. Springer. [https://doi.org/10.1007/978-3-662-44188-6_21]
Jin, S. H., Im, K. W. (2022). Content analysis of teacher feedback on asynchronous online discussion activities. Korean Journal of Educational Research, 60(2), 301-330. [https://doi.org/10.30916/KERA.60.2.301]
Romanoski, M. (2020). Improving online instructor presence and student engagement: An online professional development intervention. [Doctoral dissertation], Arizona State University.
Porter, B., & Bozkaya, B. (2020). Assessing the effectiveness of using live interactions and feedback to increase engagement in online learning. arXiv preprint, 1-19. [https://doi.org/10.48550/arXiv.2008.08241]
Jo, I., Heo, J., Lim, K., Choi, J., & Noh, J. (2013). Usability study of middle school English digital textbook: A stimulated recall approach. Educational Technology International, 14(1), 109-136. [https://doi.org/10.23095/ETI.2013.14.1.109]
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning Analytics Dashboard Applications. American Behavioral Scientist. 57(10), 1500-1509. [https://doi.org/10.1177/0002764213479363]
Kvale, S., & Brinkmann, S. (2009). Interviews: Learning the craft of qualitative research interviewing. Sage.
Lim, K. Y., Eun, J. H., Jung, Y. J., & Park, H. N. (2018). Exploratory study on the information design of online dashboard for learner-centered learning. The Journal of Korean Association of Computer Education, 21(3), 35-50. [https://doi.org/10.32431/kace.2018.21.3.004]
Assareh, A., & Bidokht, M. H. (2011). Barriers to e-teaching and e-learning. Procedia Computer Science, 3, 791-795. [https://doi.org/10.1016/j.procs.2010.12.129]
Tawfik, A. A., Shepherd, C. E., Gatewood, J., & Gish-Lieberman, J. J. (2021). First and second order barriers to teaching in K-12 online learning. TechTrends, 65(6), 925-938. [https://doi.org/10.1007/s11528-021-00648-y]
Krumsvik, R. J. (2014). Teacher educators' digital competence. Scandinavian Journal of Educational Research, 58(3), 269-280. [https://doi.org/10.1080/00313831.2012.726273]
Hui, B., Rudzewitz, B., & Meurers, D. (2023). Learning processes in interactive CALL systems: Linking automatic feedback, system logs, and learning outcomes. Language Learning & Technology, 27(1), 1-23. https://hdl.handle.net/10125/73527
Wynn, A., & Wang, J. (2023). BETTER: An automatic feedBack systEm for supporTing emoTional spEech tRaining. In International Conference on Artificial Intelligence in Education (pp. 746-752). Springer Nature Switzerland. [https://doi.org/10.1007/978-3-031-36272-9_66]
Yoo, M. (2017). Development of visualization principles for online discussion activities based on learning analysis. Journal of Educational Technology, 33(4), 901-941. [https://doi.org/10.17232/KSET.33.4.901]
Few, S. (2013). Information dashboard design: The effective visual communication of data. O'Reilly Media, Inc..

Appendix

부 록

<표 1>

실시간 온라인 수업과 대면 수업의 미디어 특징

참여자

인터뷰지

인터뷰 분석과정

SOEFS의 교수자 대시보드에 반영한 설계 원리

<표 6>

분석정보별 시각적 요소의 활용

<표 7>

SOEFS 교수자 대시보드의 주요 기능

<표 8>

메시지 설계 원리

<표 9>

주요 수정의견 및 변경사항 정리

류다현

· 2011년 단국대학교 한문교육·특수교육 (학사)

· 2015년 이화여자대학교 교육대학원 교육공학 전공(석사)

· 2022년 이화여자대학교 교육공학과 (박사)

· 2022년~현재 이화여자대학교 교육공학과 박사

관심분야 : 학습과학, HCI, 역량평가, 교육성과 관리

rdahyun@gmail.com

김동심

· 2006년 이화여자대학교 사회생활학과 (학사)

· 2014년 이화여자대학교 교육공학과 (석사)

· 2017년 이화여자대학교 교육공학과 (박사)

· 2018년~현재 한신대학교 교육대학원 부교수

관심분야 : 교육공학, HCI, 학습과학, 교육자원 및 성과관리

southpaw61@hs.ac.kr

	Synchronous online class	Face-to-face in the classroom
※ A Symbol sets: The kinds of symbols (signals) that a medium allows as a way to convey information ※ B Parallelism: The number of senders who can deliver a message at the same time ※ C Transmission velocity; The speed at which a medium sends and receives messages ※ D Rehearsability: The degree to which a message sender prepares a message before sending it ※ E Reprocessability: The degree to which the receiver can reconfirm the message ※ [12]. p.56.
A	• Symbols(0): Text, Voice, etc. • Signals(X): Facial expressions, etc.	• Symbol:(0): Voice, cannot be text • Signals(X): Facial expressions, etc.
B	Very low/high	Medium
C	Slower than classroom	Very fast
D	0	X
E	0	X

Name	Gender	Major
a	Male	Social welfare
b	Female	Educational Psychology
c	Female	Science Education
d	Male	Computer science

Division	Questions
※ [3, 4, 21, 22]
Usability & effectiveness	Is the feature easy to understand?
	Does it simplify the teaching process?
	Is it easy to manipulate SOEFS?
	Does SOEFS help me achieve the learning objectives?
Reactions to dashboard	Does the information provided by the SOEFS instructor dashboard make sense as designed?
Learning outcomes	Do the features of SOEFS facilitate learning outcomes? Will I continue to use the functionality provided by SOEFS for instructors in synchronous online classes?
Etc	If additional features are needed, what are they? If I need to make changes, which ones?

Step	Related content
Debriefing session	Discussion of overall impressions, key results, and insights from the interview
Meaning unit analysis	Divided meaning units into each interview text
Condensed meaning unit analysis	Extracted out of meaning units with regard to the context
Categorized into themes/subthemes	Merged and abstracted into tthemes/ subthemes

	Design principle	Related literature
1	Present visual information (graphs, pictures) rather than text so that information can be intuitively understood and changes can be easily identified	[3], [4], [30], [31]
2	Considering the space available, the most important visual elements should be placed in the most prominent places	[3], [30], [31]
3	Use appropriate visualisation methods, such as the use of colour, shape and emphasis, depending on the type and nature of the information	[3], [31]
4	Avoid meaningless emphasis, colour changes, stereoscopic effects, animation effects, etc	[30]
5	Present numerical information accurately, taking into account the readability of the information	[30]
6	When visualising statistical information, the basic elements of a graphic representation are background, labels, axes, etc	[30]

Analytics information	Visuals element
※ [3]. p.196
Online activity by participant	Histogram
Activity patterns(time series analysis)	Line Chart, Bar Chart
Location of all/individual students	Scatter Plot, Numerical graph, Trend line
Success/failure prediction	Siginal, Trend line, Win-Loss Chart
Interactions between learners	Sociogram
Activity summary for all students	Table, Matrix
Message analytics	Tag Cloud, Word Cloud

	Function	Visual element
※ A : Dashboard for screens where synchronous online classes take place ※ B : Dashboard for analysing the performance of synchronous online classes
A	Learners participation	Signal
	Provide feedback	Feedback icon
	Number of people by emoji	Emoji, Numerical graph
	Learning activities (average)	Trend line
	Celebrations, video recordings, highlights, and announcements	Icon
B	Identify learning status to high/low engagement zones	Icon, Trend line
	Identify learning status to difficult prediction zones	Icon, Trend line
	Conversation analysis	Tag cloud

	Design principles	Related content
※ Reorganised with [16] pp.126-pp.203. ※ Initial dashboard design example, as the final dashboard is included. Screens are not included separately
1	Proximity	Presenting related content adjacent to each other, such as text and pictures, diagrams and headings, etc.
2	Clarity	Provide visuals or text to help people understand Use aids and supporting explanations Avoid over-specification and unnecessarily long descriptions, as they distract the focus
3	Simplicity	Avoid presenting unnecessary content and design Overwhelming users with too much content can be confusing
4	Consistency	Consistency in editing and design Consistency of content
5	Colour	Use contrasting colours for emphasis and important parts (e.g., red) Use of fewer colours in educational materials is recommended, with no more than five colours recommended (Grillani, 2003)
6	Alignment	Designing visual connections between all elements of the information Use alignments that take into account the proximity of the content, rather than a haphazard arrangement of visual elements

	Major revisions	Changes
※ A : Dashboard for screens during synchronous online classes ※ B : Dashboard for screens after synchronous online classes ※ C : Etc
A	Changed graphs to intuitively show student counts rather than rosters	Changed the graph to show the number of high and atrisk learners at a glance
	Consider an effective way to identify the best/at-risk learners by section	Provide a pop-up list of atrisk students in bands when mouse over details
	Revise the graph to show engagement and at-risk learners by section	Use vertical bar and dot graphs to see engagement and at-risk learners at the same time
		Add icons to drill down into detailed activity on selection
B	Detailed explanation of criteria	Explanation icons to provide explanations for metrics
B	Present dialogue analysis on content by section	Conversation analysis screen is presented as the first screen in chronological by section, and the related section is linked by pressing the play icon
C	Simplify features for instruct ors to run synchronous online classes	Simplified functions and icon design for usability

	정의	실시간 온라인 수업	대면수업
※ 허모아[12]. p. 56.
상징집합	정보를 전달하기 위한 방법으로 매체가 허용하는 기호의 종류	기호: 문자, 음성 등 가능 신호: 표정 등 불가	기호: 음성 가능, 문자 불가능 신호: 표정 등 가능
평행성	동시에 메세지를 전달할 수 있는 발신자의 숫자	아주 낮거나 아주 높음	중간
전달속도	매체가 메시지를 송수신하는 속도	교실 수업에 비해 느림	아주 빠름
예행가능성	메시지 발신자가 메시지를 발신하기 전, 준비정도	있음	없음
재처리가능성	수신자가 메시지를 다시 확인할 수 있는 정도	있음	없음

이름	성별	전공
a	남	사회복지
b	여	교육심리
c	여	과학교육
d	남	컴퓨터공학

구분	질문
※ [3, 4, 21, 22]의 연구를 바탕으로 구성함
유용성과 효과성	기능을 이해하기 쉬운가?
	교수과정을 간소화 시키는가?
	SOEFS 조작을 쉽게 할 수 있는가?
	내가 수업에서 학습목표를 달성하는 것을 SOEFS가 도와주는가?
대시보드에 대한 반응	SOEFS 교수자용 대시보드가 제공하는 정보가 설계시 의도했던대로 이해가 되는가?
학습성과	SOEFS의 기능이 학습성과를 촉진할 수 있는가? 실시간 온라인 수업에서 교수자를 위해 SOEFS에서 제공하는 기능을 계속해서 사용하고 싶은가?
기타	추가 기능이 필요하다면, 어떤 기능인가? 수정/삭제가 필요다면, 어떤 기능인가?

단계	내용
디브리핑 세션	인터뷰에 대한 전반적인 인상, 주요 결과, 통찰에 대한 논의
의미 단위 분석	인터뷰 텍스트를 의미 단위로 분리
의미 단위 압축 분석	문맥을 고려하여 의미 단위를 추출
주제 및 하위주제 분류	제 및 하위주제로 통합하고 추상화

	설계 원리	관련 문헌
1	정보를 직관적으로 이해할 수 있고, 변화 추이를 쉽게 파악할 수 있도록 텍스트보다는 시각적 정보(그래프, 그림)을 제시해야 한다	[3], [4], [30], [31]
2	한정된 공간이라는 점을 고려하여, 가장 중요한 시각 요소는 가장 눈에 잘 띄는 곳에 배치해야 한다	[3], [30], [31]
3	정보의 유형 및 특성에 따라 색, 형태, 강조효과 등 을 사용하여 적절한 시각화 방법을 활용해야 한다	[3], [31]
4	의미 없는 강조 효과, 색상의 변화, 입체 효과, 애니메이션 효과 등은 자제해야 한다	[30]
5	표현하고자 하는 정보의 수치를 가독성을 고려하여 내용 정보를 정확히 표기해야 한다	[30]
6	통계적 정보를 시각화할 때 기본적인 요소로 배경, 명칭, 축 등의 구체적 내용이 필요하다	[30]

분석 정보	시각적 요소
※ [3], p.196.
학습자 참여도	막대 그래프
활동 양상(시계열 분석)	선 그래프
전체 개별 학생들의 위치	산포도
성공/실패 예측	신호등, 성패 차트
학습자간 상호작용	소시오그램
전체 학생들의 활동요약	표와 매트릭스
메시지 분석	표와 매트릭스

	메시지 원리	관련 설명
※ [16]. pp.126-pp.203의 내용을 참조하여 재정리함 ※ 최종 대시보드를 수록함에 따라, 초기 대시보드 설계예시 화면을 별도로 수록하지 않음
1	근접성의 원리	• 공간의 근접성: 글과 그림, 다이아그램과 제목 등 관련된 내용이 인접하게 제시
2	명확성의 원리	• 관련 내용이 잘 이해될 수 있도록 시각자료나 텍스트 제시 • 명확성을 위해, 보조자료나 부연성 설명을 활용 • 지나친 구체화와 불필요한 긴 설명은 사용자의 초점을 분산시키기 때문에, 사용 지양
3	단순성의 원리	• 불필요한 내용과 디자인을 제시하지 않는 것 • 과도하게 많은 내용을 사용자에게 주는 것은 혼란을 줄 수 있음
4	일관성의 원리	• 편집과 디자인의 일관성: 색상, 포맷, 디자인 등의 일괄적 반복 적용 • 내용의 일관성: 내용의 위계적 구조에 따라 배경 색상 및 포맷 일치
5	색상의 원리	• 대조의 원리: 강조 및 중요한 부분에 대조적인 색깔(예: 빨간색 사용) • 교육용 자료의 색상의 적게 사용하는 것을 권장하며, 5개 내외의 색상 사용권장
6	정렬의 원리	• 제공되는 정보의 모든 요인들이 시각적인 연결성을 갖도록 디자인 • 시각적 요인을 무분별하게 배열하지 않고, 내용의 근접성을 고려하여 정렬 사용

	기능	시각적 요소
※ A : 실시간 온라인 수업이 이루어지는 화면에 대한 대시보드 B : 실시간 온라인 수업의 학습성과 분석에 대한 대시보드
A	우수 학습자/위험학습자 표기	신호등 시그널
	피드백 제공	자동화된 피드백/입력 피드백 아이콘
	이모지별 인원 수	이모지+숫자(명)
	학습활동(평균)	추이선
	켈리브레이션, 비디오 녹음, 하이라이트, 공지사항 안내	아이콘
B	높은/낮은 참여도 구간에 따른 학습현황 파악	아이콘, 추이선
	어려운 예측 구간에 따른 학습현황 파악	아이콘, 추이선
	대화분석	태그 클라우드

	주요 수정의견	변경사항
※ A : 실시간 온라인 수업이 이루어지는 화면 ※ B : 실시간 온라인 수업의 학습성과 분석에 대한 대시보드 ※ C : 기타
A	학생명단보다는 학생 수를 직관적으로 구간별로 파악할 수 있도록 그래프 변경	우수/위험군인 학습자의 인원 수를 한번에 볼 수 있도록 그래프 변경
	구간별로 우수/위험군인 학습명단을 확인할 수 있도록 효과적인 방법 고민	상세내역에 커서를 대면, 바로 위험군인 학생명단을 구간별로 팝업형식으로 볼 수 있도록 제공
	구간별 참여도 현황과 위험군인 학습자 현황을 동시에 볼 수 있도록 그래프 수정	세로막대와 점 그래프를 활용하여 참여도와 위험군인 학습자 현황 동시에 파악
	구간별 참여도 현황과 위험군인 학습자 현황을 동시에 볼 수 있도록 그래프 수정	아이콘을 추가하여 선택시 세부활동을 세밀하게 볼 수 있도록 구성
B	기준에 대한 상세설명 필요	설명 아이콘을 추가하여, 지표에 대한 설명 제공
B	구간별 콘텐츠 기준 대화분석 제시	구간별 시간 순으로 대화분석 화면이 첫 화면으로 제시, 플레이 아이콘을 누르면 관련 구간 연동
C	실시간 온라인 수업 운영을 위해 교수자를 위한 기능 간소화	사용성을 고려한 기능 간소와 및 아이콘 설계