CSCL에서의 교실 오케스트레이션: 교수자 대시보드의 기능 및 시각화 전략 탐색
; 이다혜††
; 임규연†††
; Dahye Lee††
; Kyu Yon Lim†††
초록
CSCL(computer-supported collaborative learning)에서 교수자는 대시보드를 통해 개인, 그룹, 클래스 단위의 협력 상황에 대한 정보를 모니터링할 수 있다. 이때 대시보드는 단순히 학습 데이터를 제공하는 것을 넘어, 데이터 해석을 안내하고, 교육적 처방을 결정하는 데 구체적인 도움을 제공해야 한다. 따라서 CSCL에서 교수자가 학습 상황을 관리하고 조율하는 오케스트레이션을 지원하는 대시보드의 설계적 시사점을 도출하는 것이 필요하며, 이를 위해 최근 5년간 국내외 연구에서 제시된 CSCL 교수자 대시보드의 사례를 분석하였다. 분석 단위, 대시보드의 오케스트레이션 기능, 지표, 시각화 유형 등을 중심으로 분석한 결과, 미러링을 넘어 알림 및 조언 기능이 구현된 대시보드가 필요하며, 개인, 그룹, 클래스 단위를 고려하고 협력 데이터 지표에 맞는 시각화 유형을 활용해야 함을 확인하였다. 이러한 결과를 바탕으로 본 연구는 CSCL 교수자 대시보드의 설계 및 개발에 대한 실질적인 시사점을 제공하였다.
Abstract
In computer-supported collaborative learning(CSCL), instructors can monitor collaborative activities at individual, group, and class levels through dashboards. These dashboards should not only provide information but also guide instructors in interpreting relevant information and taking appropriate actions to support students. This study aims to derive design implications for dashboards that support teachers' classroom orchestration in CSCL environments. To this end, we analyzed teacher dashboards in the context of CSCL presented in domestic and international studies over the past five years. The results of this study indicate the need for dashboard research that extends beyond mirroring to incorporate alerting and advising functions, and considers all units of analysis—individual, group, and class. Furthermore, the results emphasize the importance of employing appropriate visualization types according to the indicators of collaborative data. Based on these findings, this study provides practical implications for the design and development of teacher dashboards in CSCL.
Keywords:
Teacher dashboard, Orchestration, CSCL, Collaborative Learning Analytics, Collaborative learning키워드:
교수자 대시보드, 교실 오케스트레이션, 컴퓨터 기반 협력학습, 협력학습분석학, 협력학습1. 서론
테크놀로지의 발전으로 세상이 빠르게 변화하면서 과거에는 존재하지 않았던 새로운 유형의 문제들이 끊임없이 발생하고 있다. 이러한 문제들은 복잡성이 높아 혼자 해결하기 어렵기 때문에 타인과 협력하여 해결책을 찾을 수 있는 역량을 요구한다. 따라서 다른 학습자들과 상호작용하며 지식을 구성하는 협력학습 기회가 학습자에게 제공되어야 한다.
협력학습에 참여하는 학습자들은 사전 지식, 학습 동기, 협력에 대한 태도 등 인지적 및 정의적 측면에서 각기 다른 출발점을 가지고 있다. 이렇게 다양한 특성의 학습자들은 협력학습에서 서로의 아이디어에 대해 논의하고, 비판하며, 질문하는 거래적 담화(transactive discourse)에 참여한다[1]. 이 과정에서 학습자들은 때때로 비협조적인 팀원으로 인해 불균등한 참여를 경험하거나[2], 팀원과 의견이 대립하는 문제를 겪기도 한다[3]. 이러한 상황이 발생하면, 학습자는 의미를 협상하고 아이디어를 정교화하면서 공동의 지식을 구축하는 높은 수준의 협력을 경험하기 어렵다.
이러한 어려움을 해소하고 협력학습의 효과를 높이기 위해서 교수자는 학습자 개인, 그룹, 클래스가 경험하는 문제 상황을 파악하여 적절한 처방을 적시에 제공해야 한다. 예를 들어, 그룹 내 개인의 동기 부족으로 협력이 잘 이루어지지 않거나 그룹별 과제 진척 속도에 차이가 발생할 경우, 교수자는 기존 계획을 조정하거나 학습자가 필요로 하는 지원을 적응적으로 제공해야 한다. 즉, 여러 사회적 수준에서 발생하는 학습 활동을 효과적으로 조정하여 학습자에게 필요한 처방을 제공하는 교수자의 오케스트레이션(orchestration)이 필요하다[4]. 그러나 다수의 학습자로 구성된 수업에서 교수자가 모든 학습 과정을 파악하는 것은 현실적으로 쉽지 않다. 특히 컴퓨터 기반 협력학습(Computer-Supported Collaborative Learning, 이하 CSCL)에서는 협력이 시공간의 제약 없이 이루어지기 때문에 교수자가 학습 과정을 모니터링하고 조율(orchestrate)하는 것이 더욱 어렵다.
교수자의 오케스트레이션을 지원하기 위해 최근 활발히 연구되고 있는 협력학습분석학(Collaborative Learning Analytics, CLA)을 적용할 수 있다. 협력학습분석학은 협력학습 과정에서 적시에 필요한 처방을 제공하기 위해 데이터를 수집하고 분석하여 활용하는 접근법으로[5], 교수자가 협력 데이터의 분석 결과를 쉽게 이해하고 활용할 수 있게 한다. 협력학습분석학의 대표적인 예시로 교수자에게 그룹 참여도, 과제 진척도, 오개념 등의 협력 상황에 대한 정보를 시각화하여 제공하는 교수자 대시보드가 있다[6]. 교수자 대시보드를 통해 교수자는 개인, 그룹, 클래스 수준에서 협력 상황을 모니터링할 수 있다. 그러나 교수자가 대시보드를 통해 학습 상황을 모니터링하는 것에서 나아가 정확한 데이터 해석을 토대로 적절한 교육적 조치를 취할 수 있을 때, 비로소 대시보드의 교육적 효과가 발휘된다[7]. 따라서 학습자에 관한 정보를 단순히 제공하는 것을 넘어, 그 정보를 교수자가 어떻게 활용해야 하는지를 안내하고, 교육적 처방을 결정하는 데 구체적인 도움을 제공하는 교수자 대시보드가 필요하다.
CSCL은 다양한 시공간적 맥락과 개인, 그룹, 클래스라는 여러 사회적 수준에서 상호작용이 발생하기에 협력 맥락과 분석 단위 및 분석 수준에 따라 대시보드가 어떤 기능을 제공하는지 확인할 필요가 있다. 더불어 데이터 속성에 따라 대시보드 시각화 방식이 달라질 수 있다는 점과 협력학습에는 다양한 사회적 수준이 존재한다는 점을 함께 고려할 때, 협력 지표와 시각화 유형, 분석 단위 간의 관계를 종합적으로 살펴볼 필요가 있다. 이에 본 연구는 CSCL 환경에서 오케스트레이션을 지원하는 교수자 대시보드에 대한 설계적 시사점과 전략을 도출하는 것을 목적으로, 최근 5년간 국내외 연구에서 다루어진 CSCL 지원 교수자 대시보드 사례를 오케스트레이션 관점에서 분석하였다. 이러한 목적을 위해 도출한 연구문제는 다음과 같다.
1. CSCL을 지원하는 교수자 대시보드 연구의 전반적인 동향은 어떠한가?
2. CSCL을 지원하는 교수자 대시보드는 시공간적 맥락과 분석 단위 및 분석 수준에 따라 어떠한 오케스트레이션 기능을 제공하는가?
2-1. CSCL을 지원하는 교수자 대시보드는 시공간적 맥락에 따라 어떠한 오케스트레이션 기능을 제공하는가?
2-2. CSCL을 지원하는 교수자 대시보드는 분석 단위 및 분석 수준에 따라 어떠한 오케스트레이션 기능을 제공하는가?
3. CSCL을 지원하는 교수자 대시보드 연구에서 분석 단위, 지표, 시각화 유형 간의 관계는 어떠한가?
2. 이론적 배경
2.1. CSCL과 오케스트레이션
협력학습이란 두 명 이상의 학습자가 공동의 산출물 또는 해결책을 만들어내기 위하여 함께 의미를 구성(meaning making)하며 학습하는 것을 의미한다[8, 9]. 기술의 발전으로 협력이 이루어지는 시공간이 확장되고 다양한 형태의 상호작용이 가능해지면서 컴퓨터 기반 협력학습(CSCL)이 주목받고 있다[10, 11]. CSCL이란 컴퓨터 및 네트워크에 의해 촉진되거나 매개되는 협력학습으로[12], 실시간 및 비실시간과 대면 및 비대면 형태 모두를 아우른다[12, 13].
성공적인 협력학습을 위해서 교수자는 협력학습 경험을 체계적으로 설계하기 위한 다양한 노력을 한다. 이러한 노력은 긍정적 상호의존성(positive interdependence)이 담보되는 협력 과제를 설계하는 것부터[14] 협력 스크립트를 제공하여 활동의 순서를 제시하고 학습자들에게 특정한 역할을 부여하는 것에 이르기까지[15] 다각도에서 이루어진다. 하지만 아무리 교수자가 사전에 수업과 제반 사항을 철저히 준비하고 계획하더라도 실제 수업 및 활동의 진행은 계획한 대로 이루어지지 않는다[14]. 예를 들어, 학습자 특성 측면에서 그룹 내 개인의 동기와 참여가 유지되지 않아 학습자들이 도달해야 할 합의나 해결안에 이르지 못하는 경우가 발생할 수 있다[3]. 혹은 각 그룹마다 과제 진척 속도가 달라 먼저 과제를 완수한 그룹은 대기 시간(idle time)이 발생하여 자연스럽게 과제 외(off-task) 행동을 할 수 밖에 없는 상황에 놓이는 반면, 속도가 느린 그룹은 목표한 협력 결과물을 도출하기 위해 추가적인 시간이 필요할 수 있다. 또한 환경적인 측면에서 교수자의 모니터링 부족으로 수업의 목표를 벗어난 협력이 이루어지는 경우도 존재한다[16]. 이와 같이 협력학습 중에 계획에서 벗어난 상황이 발생하면 교수자는 이를 실시간으로 인식할 수 있어야 하며, 기존에 설계된 수업을 수정하거나 학습자가 필요로 하는 지원을 적시에 제공하는 등의 적응적인 조치를 취해야 한다[17].
이처럼 CSCL에서 개인, 그룹, 클래스라는 사회적 수준, 다양한 매체와 맥락에서 발생하는 학습 활동을 효과적으로 조정하여 필요한 지원을 제공하는 것을 오케스트레이션이라고 한다[4, 18]. 오케스트레이션은 교수자를 단순히 학습자를 옆에서 안내하는 역할로만 보지 않고, 학습 활동을 생산적인 방향으로 관리하는 ‘지휘자(conductor)’로 바라본다는 개념적인 특징을 지니고 있다[19, 20]. 그러나 연구자마다 설명하고 있는 오케스트레이션의 정의에 차이가 존재한다. 먼저 오케스트레이션을 교수자가 효과적인 수업을 실행하기 위해 실시간으로 학습활동, 학습자원, 학습과정, 교수전략 등을 조율하고 관리하는 행위로 보면서 ‘실시간’에 초점을 둔 협의의 관점이 존재한다[19]. 반면, 실시간 맥락뿐만 아니라 비동시적 온라인 맥락에서도 교수자의 오케스트레이션이 필요하다고 주장하며 보다 넓은 관점에서 바라보는 연구도 있다[21]. 유사하게 교수자가 실시간 데이터에 의존하여 섣부른 반응을 보이기보다는 사후 성찰을 통해 더 나은 결정을 내릴 필요가 있음을 강조하며, 실시간 데이터와 비실시간 데이터의 균형이 필요하다고 주장한 연구도 존재한다[22]. 공간적 맥락에서도 오케스트레이션이 교실뿐만 아니라 실험실, 가정, 현장 학습 등 다양한 공간에서 이루어질 수 있다고 보는 연구도 존재한다[18, 23]. 따라서 본 연구에서는 대시보드 설계에 대한 포괄적인 시사점을 도출하기 위해, 모든 시공간적 맥락에서 이루어지는 CSCL의 학습활동, 학습자원, 학습과정, 교수전략 등을 조율하고 관리하는 활동을 CSCL 오케스트레이션으로 정의하는 광의의 관점을 채택하고자 한다.
교수자는 오케스트레이션을 수행할 때 시간, 공간 등 외재적인 제약(extrinsic constraints)을 고려해야 하며[24], 협력의 인지적 측면과 사회적 측면의 균형을 맞춰야 한다[25]. 이와 같은 다양한 측면을 고려하여 오케스트레이션을 수행하는 것은 교수자에게 ‘오케스트레이션 부담(orchestration load)’을 유발한다. 게다가 CSCL에서는 테크놀로지를 통해 상호작용의 방식이 확장되면서 교수자가 학습자의 상황을 인지하는 것이 더 어려워진다[26, 27]. 따라서 CSCL에서 학습자의 협력 데이터를 실시간으로 분석하고 교수자가 적절한 지원을 제공할 수 있도록 돕는 테크놀로지가 필요하다. 이를 통해 교수자의 오케스트레이션 부담을 최소화하면서 효과적인 협력학습 환경을 조성하는 데 기여할 수 있을 것이다.
2.2. CSCL을 지원하는 교수자 대시보드에서의 오케스트레이션
CSCL에서 교수자의 오케스트레이션은 학습분석 기술을 통해 지원할 수 있다[28, 29]. 학습분석은 학습자의 학습 데이터를 측정, 수집, 분석하여 학습 상황에 대한 설명, 진단, 예측, 처방을 제공하는 연구분야이다[30, 31]. CSCL에서 협력 과정을 이해하고 지원하기 위해서는 그 과정에 대한 체계적인 분석이 필요하며, 이에 따라 최근 CSCL에서도 학습분석학적 접근이 시도되고 있다[5]. CSCL과 학습분석학을 접목한 협력학습분석학은 협력 과정에서 생성되는 데이터를 수집하고 분석하여 그 과정을 이해하고, 이를 통해 협력학습을 개선하려는 접근법이다[32]. 또한 CSCL에서는 개인, 그룹, 클래스와 같이 여러 사회적 수준이 존재하기 때문에 하나의 단위에만 초점을 두지 않고 여러 수준을 고려하는 다층적인 분석이 필요하다[5].
이때 협력학습분석학은 협력학습 과정에서 얻은 데이터를 단순히 협력 과정을 이해하는 데 사용하는 것을 넘어, 피드백을 포함한 교수적 처방에 분석 결과를 활용하는 것을 강조한다. 이러한 협력학습분석학의 처방적 역할을 하는 대표적인 테크놀로지의 예시로 교수자 대시보드가 있다. 교수자 대시보드는 교수자에게 학습자에 대한 정보를 제공하여 학습 진행 상황을 모니터링하는 데 도움을 주는 시각적 디스플레이다[33, 34]. 최근 교수자 대시보드 개발에 대한 관심이 증가하고 있으며[35], 협력 과정에서 사용되는 플랫폼과 같은 협력 도구에 생성된 학습 데이터를 시각화하여 교수자가 적절한 개입을 할 수 있도록 지원하는 연구들이 진행되고 있다[6, 36].
협력학습분석학의 관점에서 CSCL을 지원하는 교수자 대시보드는 단순히 정보를 제공하는 현황판 수준을 넘어, 교수자가 그 정보를 활용하여 적절한 처방을 적시에 제공할 수 있도록 지원해야 한다[33]. 그러나 다수의 학습자를 대상으로 하는 협력학습 맥락에서 교수자는 그룹 내 다양한 메커니즘을 조율해야 하므로 이미 많은 인지 부하를 겪는다[18]. 이러한 상황에서 새로운 기술인 대시보드를 활용하는 것은 교수자에게 추가적인 인지 부하를 초래할 수 있다[20]. 또한 교수자가 대시보드에 제시된 모든 정보를 항상 제대로 이해하고 해석하는 것은 아니다[33, 37]. 예를 들어, 교수자의 데이터 시각화 리터러시가 부족하거나, 주어진 시간 대비 과도한 정보가 제공될 때 이러한 현상이 발생할 수 있다. 교수자 대시보드는 교수자가 데이터를 인지하고 올바르게 해석하여 적절한 교육적 조치로 변환할 수 있을 때 비로소 효과적으로 활용될 수 있으므로[38], 교수자 대시보드를 개발할 때는 교수자가 협력 데이터를 올바르게 해석할 수 있도록 필요한 정보만을 선별하여 제공해야 한다. 더불어 교수자의 도움, 개입, 또는 지원이 필요한 문제 상황에 대해서는 알림을 명시적으로 제공하고, 교수자가 취해야 할 처방적 행동에 대한 조언과 안내를 함께 제공할 필요가 있다[33].
CSCL을 지원하는 교수자 대시보드에서 제공하는 오케스트레이션 기능은 다음과 같다[28, 33]. 첫째, 미러링(mirroring)은 학습자 데이터를 수집하고 분석하여 교수자에게 제시하는 기능이다. 둘째, 알림(alerting)은 정보를 제시하는 것뿐만 아니라, 일정한 기준에 따라 관심이나 주의가 필요한 그룹을 분류하여 교수자에게 알림을 주는 기능이다. 셋째, 조언(advising)은 정보를 제시하고 특정 사건에 대해 알림을 주는 것뿐만 아니라, 상황을 이해하고 필요한 처방을 제공할 수 있도록 추가적인 해석과 지침을 제공하는 기능이다.
따라서 CSCL 오케스트레이션을 지원하는 대시보드 개발을 위해서는 선행연구에서 개발된 대시보드에 구현된 세 가지 기능의 분포를 살펴볼 필요가 있다. 이때 CSCL의 시공간적 맥락에 따라 상호작용 패턴이 달라지며, 이에 따라 교수자와 테크놀로지가 제공해야 하는 지원도 달라지므로[39], 선행연구에서 개발된 대시보드가 협력 맥락에 따라 어떤 기능을 지원하는지 확인할 필요가 있다. 또한 CSCL은 개인, 그룹, 클래스라는 여러 분석 단위에서 이루어지며, 하나의 단위를 분석하는 단일 분석 수준의 연구와 둘 이상의 단위를 분석하는 다층 분석 수준의 연구로 분석 수준을 분류할 수 있다[5]. 따라서 분석 단위 및 분석 수준에 따라 대시보드가 어떤 기능을 제공하는지 살펴볼 필요가 있다. 나아가 대시보드는 데이터 특성에 따라 적절한 시각화 유형이 달라질 수 있기에[40], CSCL 대시보드에서도 협력 데이터 지표에 따라 적절한 시각화 유형이 달라질 수 있다. 개인, 그룹, 클래스라는 여러 분석 단위를 다루는 CSCL 특성상 대시보드 시각화 과정에서 분석 단위가 어떻게 고려되고 있는지 함께 살펴볼 필요가 있다. 예를 들어, 그룹 내 사회적 관계를 시각화하기 위해서 시각화 유형 중 사회 연결망 분석(SNA)을 선택하는 것이 적절하다고 여겨질 수 있다[41]. SNA는 집중도, 밀도와 같은 집단 수준의 데이터와 중심성(centrality)과 같은 개인 수준의 데이터를 하나의 시각화로 표현할 수 있다[42-44]. 종합하면, 협력 데이터 지표, 분석 단위, 그리고 시각화 유형 간의 관계가 존재할 것으로 예상된다.
이에 본 연구에서는 CSCL을 지원하는 교수자 대시보드 연구의 동향뿐만 아니라 대시보드의 오케스트레이션 기능을 시공간적 맥락 및 분석 단위와 연결하여 분석하였다. 또한 협력 데이터의 분석 단위, 데이터 지표, 시각화 유형 간의 관계를 탐구하였다. 이를 통해 CSCL을 지원하는 교수자 대시보드의 오케스트레이션 기능, 협력 지표, 시각화 방식을 종합적으로 분석함으로써, 향후 대시보드 개발에 대한 설계적 시사점을 도출하였다.
3. 연구방법
본 연구는 국내외 연구에서 제안된 CSCL 지원 교수자 대시보드 관련 선행연구를 체계적으로 분석하여 CSCL 환경에서 교수자의 오케스트레이션을 지원하는 대시보드 설계에 대한 시사점을 도출하고자 체계적 문헌 고찰을 실시하였다[45]. 본 연구는 PRISMA 2020 지침을 따라 실시하였고, 전반적인 연구 절차는 분석 대상 선정, 분석 프레임워크 도출, 문헌 분석, 결과 도출 순으로 진행되었다. 효율성과 정확성을 위해 Alshami 외[46]의 연구를 참고하여 ChatGPT를 분석 대상 선정 과정에서 활용하였다.
3.1. 분석 대상 선정
본 연구에서 분석 대상 문헌을 선정한 단계는 다음과 같다. 첫째, 국내외에서 이루어진 CSCL 맥락의 교수자 대시보드 연구를 수집하였다. 이때 다양한 시공간적 맥락을 포함하는 CSCL 환경에서 교수자를 지원하는 대시보드 사례를 확인하기 위해 상대적으로 넓은 범위의 키워드를 상정하였다. 이를 통해 본 연구의 연구 범위인 광의의 오케스트레이션 정의 역시 반영할 수 있을 것으로 판단하였다. Web of Science, Scopus, 학술연구정보서비스(RISS), 한국학술지인용색인(KCI)에서 2019년 1월부터 2024년 5월까지 게재된 국내외 문헌을 검색하였다. 먼저 국외 학술지에 출판된 문헌을 수집하기 위해 Web of Science와 Scopus에서 ‘orchestration’ AND ‘dashboard’, ‘CSCL’ AND ‘teacher’ AND ‘dashboard’, ‘collaborative learning’ AND ‘teacher’ AND ‘dashboard’, ‘team-based’ AND ‘teacher’ AND ‘dashboard’, ‘problem-based’ AND ‘teacher’ AND ‘dashboard’, ‘project-based’ AND ‘teacher’ AND ‘dashboard’를 키워드로 검색하였다. 또한 국내 학술지에 게재된 문헌을 수집하기 위하여 RISS와 KCI에서 ‘협력학습’ AND (‘교사’ OR ‘교수자’) AND ‘대시보드’, (‘PBL’ OR ‘문제’) AND (‘교사’ OR ‘교수자’) AND ‘대시보드’, ‘팀’ AND (‘교사’ OR ‘교수자’) AND ‘대시보드’, (‘PjBL’ OR ‘프로젝트’) AND (‘교사’ OR ‘교수자’) AND ‘대시보드’, ‘모둠’ AND (‘교사’ OR ‘교수자’) AND ‘대시보드’, ‘그룹’ AND (‘교사’ OR ‘교수자’) AND ‘대시보드’를 키워드로 검색하였다. 이때 공동의 해결안 또는 산출물을 만들어 내는 과정에서 학습자 간 상호작용 및 의미 형성이 이루어지기에 문제기반학습(PBL)과 프로젝트기반학습(PjBL) 등의 키워드를 포함하여 검색하였다. 마지막으로 CSCL 맥락에서의 교수자 대시보드를 주제로 하는 연구에서 눈덩이 표집을 실시하여 9편의 문헌을 추가로 수집하였다. 그 결과 국내 문헌 13편, 국외 문헌 93편으로 총 106편의 문헌이 수집되었다.
다음으로, 수집된 106편의 문헌을 대상으로 1차 선별을 하였다. 논문의 제목, 초록, 키워드를 검토하여 교육 맥락의 연구가 아니거나 선행연구를 고찰한 문헌 연구인 경우는 제외하였다. 또한 해당 문헌에서 다루고 있는 대시보드가 교수자를 대상으로 한 것이 아닌 경우도 제외하였다. 이 단계에서 Alshami 외[46]가 제시한 것과 같이, ChatGPT에 제목, 초록, 키워드를 입력하고 선별 기준에 대한 프롬프트를 입력하여 선별 작업을 실시하도록 하였다. 예를 들어, 교육 맥락의 연구만을 선별하기 위하여 “Please exclude the articles of the studies that are not conducted in the context of education, provide the reason for the exclusion in detail, cite the relevant sentence in the abstract for each article, and provide the included studies.”라는 프롬프트를 입력하고, ChatGPT가 일차적으로 선별한 후 그 결과를 연구진이 검토하였다. 그 결과 1차 선별 과정에서 국내 문헌 5편, 국외 문헌 43편이 배제되어 국내 문헌 8편, 국외 문헌 50편, 총 58편의 문헌이 선정되었다.
2차 선별에서는 각 논문의 본문을 검토하여 두 명 이상의 학습자가 공동의 산출물 또는 해결책을 만들어 내기 위하여 함께 의미를 구성하며 학습하는 경우만을 포함하였으며, 이러한 협력학습의 범위를 벗어나거나, 협력 과제에 관한 기술이 불충분한 경우 제외하였다. 예를 들어, 학습자들이 각자 문제를 해결한 후 서로의 학습 결과에 대해 동료 피드백을 제공하는 활동은 의미 협상(meaning negotiation)을 통한 공동의 의미 구성(meaning making)이 일어나는 것으로 보기 어렵다고 판단하여 분석 대상에서 제외하였다. 이와 같은 기준에 근거하여 2차 선별에서는 국내 문헌 8편, 국외 문헌 7편이 배제되어 43편의 문헌이 선정되었고 모두 국외 문헌이었다.
마지막으로 3차 선별에서는 논문의 내용을 검토하여 구체적인 개발물 없이 교수자 대시보드에 대한 설계 원리를 도출하는 데 그친 경우나 협력의 시공간적 맥락, 상호작용 방식, 수집 데이터 유형, 대시보드의 기능 및 시각화 유형에 대한 설명이 충분하지 않은 경우를 제외하였다. 또한 동일한 교수자 대시보드를 활용하여 동일한 연구진이 여러 차례 연구를 수행한 경우, 모든 연구를 분석 대상에 포함하면 특정 대시보드의 기능, 시각화 방식, 시공간적 맥락 등의 요소가 중복되어 결과가 도출될 가능성이 있다고 판단하였다. 본 연구의 목적은 국내외 연구에서 개발한 CSCL 지원 교수자 대시보드 연구의 전반적인 특징 및 기능을 분석하여 향후 교수자 대시보드 개발에 필요한 시사점을 도출하는 데 있기에 최종 개발물에 근접한 대시보드를 제시하고 있는 문헌만을 선정하고 그 외의 문헌들은 제외하였다. 그 결과 25편의 논문이 제외되어 총 18편의 논문이 최종 분석 대상으로 선정되었다. 본 연구의 선별 기준을 정리하면 Table 1과 같다.
Inclusion/Exclusion (I/E) criteria
분석 대상 문헌을 선정하기에 앞서 연구자들은 충분한 논의를 통해 차수별 선별 기준에 대하여 동일한 이해 수준을 갖춘 후 각 연구자가 독립적으로 선별하였다. 이후 선별 결과를 비교하고 그 결과가 일치하지 않은 경우, 논의를 통해 문헌 포함 여부에 대한 합의를 도출하였다. 이러한 절차를 통해 최종적으로 18편의 논문을 분석 대상 문헌으로 선정하였다.
3.2. 분석 프레임워크 및 문헌 분석 방법
문헌 분석을 위한 프레임워크는 다음과 같은 절차를 통해 도출되었다. 먼저, CSCL, 교수자 대시보드, 협력학습분석학과 관련된 다수의 문헌을 검토하여 연구진 간의 논의를 거쳐 주요 분석 기준을 도출하였다. 이후 전체 문헌을 분석하면서 모호한 기준은 본 연구의 맥락에 맞게 항목을 수정하고, 새로운 항목이 필요할 경우 연구진 간 합의를 통해 추가하였다. 또한 분석 프레임워크의 세부 항목에 해당하는 문헌이 존재하지 않는 경우, 해당 세부 항목을 분석 프레임워크에서 삭제하였다. 이러한 과정을 통해 Table 2의 분석 프레임워크가 도출되었다.
Framework
첫째, CSCL을 지원하는 교수자 대시보드 연구의 전반적인 동향을 파악하기 위해 다음과 같이 연구 맥락을 분석하였다. 학교급은 K-12과 대학 교육으로 분류하였고, 연구 환경은 함윤희 외[47]를 참고하여 실험 환경과 수업 환경으로 분류하였다. 교수자 대시보드 설계 및 개발 과정에 최종 사용자(end-user)인 교수자의 참여 여부를 코딩하였다. CSCL이 이루어진 공간적, 시간적 맥락과 상호작용 방식은 임규연 외[32]를 참고하여 분석하였다. 교수-학습은 본 연구에서 정의한 협력학습에 해당하는 토론, 문제해결, 프로젝트기반학습, 협력적 글쓰기로 분류하였다. 문헌에 충분한 설명이 나타나지 않은 경우, ‘명시되지 않음’으로 분류하였다.
둘째, 분석 수준 및 분석 단위는 Wise 외[5]에서 제시한 협력학습분석학의 분석 수준과 분석 단위를 바탕으로 분류하였다. 단일 연구 내의 분석 단위가 둘 이상일 경우 중복으로 코딩하였다. 수집 데이터 유형은 Jeong 외[48]의 기준을 참고하여 코딩하였다. 이 과정에서 생리심리데이터와 설문 자료 항목은 해당하는 문헌이 존재하지 않아 제외하였으며, 흔적 데이터와 생성 데이터 항목은 로그 데이터라는 하나의 범주로 통합하여 코딩하였다.
셋째, 교수자 대시보드 관련 세부 항목은 다음과 같은 분석 기준으로 코딩하였다. 오케스트레이션 기능은 미러링, 알림, 조언[28, 33], 오케스트레이션 커맨드(Orchestration commands)[6]로 분류하였다. 미러링은 데이터 분석 결과를 교수자에게 제시하는 기능이며, 알림은 주의가 필요한 그룹을 분류하여 교수자에게 알림을 주는 기능, 조언은 처방을 제공할 수 있도록 추가적인 해석과 지침을 제공하는 기능이다. 오케스트레이션 커맨드는 시작, 다음 단계, 기기 제어, 기기 제어 해제 등의 메뉴 버튼으로 수업에서 활용하는 애플리케이션 및 디스플레이를 실시간으로 제어하는 기능이다. 단일 교수자 대시보드의 기능이 두 가지 이상일 경우 중복으로 코딩하였다. 지표의 경우, 각 대시보드 내 지표들을 코딩한 다음, 코딩한 지표들을 Schwendimann 외[49]가 제시한 지표 그룹(indicator group)을 기준으로 유목화하였다. 이 과정에서 학습자(Learner-related)와 맥락(Context-related) 항목은 해당하는 문헌이 존재하지 않아 제외하였다. Schwendimann 외[49]에서 제시한 시각화 유형을 기준으로 각 대시보드에서 사용한 시각화 방식을 코딩하였다. 이 과정에서 선행연구에서 언급되지 않은 시각화 유형은 새로 추가하며 연구자 간 합의를 통해 기준을 수정하였다. 분석 기준에 대한 사전 훈련을 위해 선정 문헌 중 5편을 연구자가 각자 분석한 후 논의를 통해 분석 기준에 대한 연구자 간 동일한 이해를 확립하였다. 나머지 문헌은 연구자가 각자 분석한 후 교차 검증을 통해 합의를 이루었다.
4. 연구 결과
4.1. 전반적 연구 동향
CSCL을 지원하는 교수자 대시보드의 전반적인 연구 동향을 파악하기 위해 발행 연도와 연구 맥락, 수집 데이터 유형을 분석하였다. 먼저, 발행 연도를 기준으로 CSCL 교수자 대시보드 관련 연구의 연도별 증감 추세를 확인한 결과는 Figure 1과 같다.
Publication per year
코로나19 이후인 2021년에 가장 많은 수의 논문이 발행되었다. 2024년은 5월까지 발간된 논문을 대상으로 하였으므로 적은 수의 문헌(n = 1)이 수집되었다.
연구 맥락을 살펴보기 위해 학교급, 연구 환경, 최종 사용자인 교수자의 개발 과정 참여 여부, 시공간적 맥락, 상호작용 방식, 교수-학습 맥락을 분석하였으며, 분석 결과는 Table 3과 같다. 학교급의 경우, 대학 교육에서 이루어진 연구(n = 11, 64.7%)의 비율이 K-12 맥락에서 이루어진 연구(n = 6, 35.3%)의 비율보다 높게 나타났다. 연구 환경의 경우, 수업 환경에서 이루어진 연구(n = 12, 70.6%)가 실험 환경(n = 5, 29.4%)에서 이루어진 연구보다 빈번하였다. 대시보드 설계 및 개발 과정에서 교수자의 참여 여부를 분석한 결과, 교수자가 참여한 연구가 12편이었으며, 교수자의 참여 여부를 확인할 수 없는 연구는 6편이었다.
Research context and types of data collected(N = 18)
공간적 맥락은 오프라인 학습(n = 9, 52.9%), 온라인 학습(n = 7, 41.2%), 블렌디드(n = 2, 11.8%) 순으로 나타났다. 시간적 맥락은 동시적(n = 13, 76.5%), 비동시적(n = 3, 17.6%), 모두(n = 2, 11.8%) 순으로 나타나, 동시적 맥락에서 수행된 연구가 월등히 높은 비중을 차지하고 있었다. 상호작용 방식은 면대면(n = 8, 47.1%), 채팅(n = 6, 35.3%), 게시판(n = 4, 23.5%)의 순으로 빈번하게 나타났다. 교수-학습은 문제해결(n = 11, 64.7%)의 빈도가, 수집 데이터 유형의 경우 로그데이터(n = 13, 76.5%)의 빈도가 가장 높게 나타났다. 또한 18편의 문헌 중 13편에서 2개 이상의 데이터를 조합한 다중양식(multimodal) 데이터를 활용한 것으로 확인되었다[50].
4.2. 교수자 대시보드의 오케스트레이션 기능
선행연구에서 개발된 대시보드에서 구현된 오케스트레이션 기능이 CSCL의 시공간적 맥락에 따라 달라지는지를 확인하기 위하여 시공간적 맥락에 따른 기능을 분석한 결과는 Table 4와 같다.
Orchestration functions by context
먼저, 온라인과 오프라인 맥락 모두 대시보드에 미러링 기능이 구현되어 있는 반면[21, 36, 51, 52, 53, 54, 55], 온라인 맥락의 경우 조언 기능까지 구현된 사례가 발견되지 않았다. 특히 동시적 온라인 맥락에서 알림 기능까지 구현된 반면[56, 57], 비동시적 온라인 맥락의 경우 알림 기능이 구현된 사례가 확인되지 않았다[21, 53, 55]. 블렌디드 맥락에 기반한 대시보드 연구는 비교적 활발히 이루어지지 않았으며, 그중 조언 기능까지 구현된 경우는 확인되지 않았다[58, 59].
다음으로 향후 대시보드 개발 연구에서 알림, 조언 기능의 구현 방식에 대한 시사점을 제시하기 위해 대시보드의 알림, 조언 기능이 각각 어떻게 구현되어 있는지를 추가로 살펴보았다. 첫째, 단순 정보 제공을 넘어 특정 사건에 대한 알림을 제공하기 위해 대부분의 대시보드에서는 색상 변화를 활용하였다. 예를 들어, 계획보다 현재 학습 단계가 늦어졌을 때 타이머 알람의 색깔이 빨간색으로 변하거나[6], 로봇으로 학습하는 상황에서 로봇에 오류가 생겨 학습에 문제가 발생했을 때 해당 그룹을 빨간색으로 표시하였다[59]. 또한 침묵 시간이 늘어날수록 막대가 초록색에서 연두색, 빨간색으로 변하거나[36], 낮은 그룹별 발화량과 불균등한 참여가 확인된 경우 다른 색상으로 시각화하여 알림을 제공한 연구도 확인되었다[56]. 해당 연구에서는 학습자의 협력 데이터를 시각화한 경우 외에도 교수자가 특정 소회의실에서 보낸 시간이 상대적으로 낮음을 알려주기 위한 알림도 제공되었다. 주제에서 벗어난 담론, 기술적 문제, 잘못된 해결책과 같은 중요한 순간들을 각각 다른 색상으로 컬러코딩하고, 해당 이슈가 발생할 때 학습자 워크스페이스(workspace) 외곽에 특정 색상의 띠를 두르는 방법도 사용되었다[57]. 이러한 색상 변화 방법 외에도 단순히 질적 정보를 텍스트로 제공하거나[60], 느낌표를 활용하는 연구[29, 33]도 확인되었다.
둘째, 단순한 정보 제공과 알림을 넘어, 교수자가 적절한 처방을 제공할 수 있도록 돕는 조언을 제공하는 대시보드에서는 메시지를 활용한 사례들이 다수 발견되었다. 예를 들어, 팝업창을 활용하여 개입 행동을 선택할 수 있도록 교수자에게 옵션을 제공하거나, 문제가 있는 그룹과 그 문제 상황에 대한 정보를 알려주는 방식이 확인되었다[6, 33, 61]. 또한 조언을 텍스트로 생성하여 교수자에게 제공하는 방법도 포함되었다[33]. 이외에도 교수자에게 추천 프롬프트를 팝업 형태로 제시하여 그중에서 메시지를 선택하거나 직접 메시지를 작성할 수 있도록 하는 기능도 확인되었다[29]. 해당 사례에서는 교수자가 텍스트와 오디오 형태 중 선호하는 방식을 선택할 수 있도록 하였다.
교수자의 오케스트레이션을 지원하는 기능으로 미러링, 알림, 조언 기능 외에도, 시작, 활동 시간 추가 부여, 일시 정지, 다음 단계, 종료 버튼을 활용하여 실시간으로 수업 흐름을 제어하거나[6, 29, 61] 계기판 버튼을 활용하여 수업 중 활동 순서를 관리할 수 있도록 하는[59, 62] 오케스트레이션 커맨드 기능이 확인되었다. 오케스트레이션 커맨드 기능이 구현된 대시보드는 총 6편으로, 주로 오프라인 동시적 맥락에서 많이 사용되었으며(n = 5), 그 외에는 동시적 블렌디드 맥락의 연구(n = 1)가 존재했다. 또한 6편 중 2편[59, 62]은 알림까지, 4편[6, 29, 61, 63]은 조언까지 기능이 구현된 대시보드로, 오케스트레이션 커맨드 기능을 보유하고 있는 대시보드는 모두 미러링 기능에 그치지 않고 알림 또는 조언 기능을 구현한 대시보드였다.
선행연구에서 개발된 대시보드에서 분석 단위와 분석 수준에 따라 오케스트레이션 기능이 어떻게 나타나는지를 확인하기 위하여 분석 단위 및 분석 수준별 기능을 분석한 결과는 Table 5와 같다.
Orchestration functions by Unit and Level(s) of Analysis
하나의 단위를 분석한 단일 분석 수준의 연구는 그룹 단위를 분석한 경우(n = 15), 개인 단위를 분석한 경우(n = 5), 클래스 단위를 분석한 경우(n = 3)의 순으로 연구가 이루어졌다. 먼저 그룹 단위를 분석한 연구에서는 대시보드의 기능이 미러링까지 구현된 경우(n = 7), 알림까지 구현된 경우(n = 5), 조언까지 구현된 경우(n = 3)로 골고루 나타났다. 반면, 개인 단위와 클래스 단위를 분석한 연구에서는 대시보드의 기능이 주로 미러링까지만 구현된 것을 확인할 수 있다. 둘 이상의 단위를 분석한 다층 수준의 연구에서는 주로 개인 단위와 그룹 단위를 함께 분석한 연구(n = 13)가 있었다.
그룹 내 개인별 채팅 메시지 수 같은 개인 수준의 데이터와 그룹별 채팅 메시지 수 같은 그룹 수준의 데이터를 하나의 대시보드에서 함께 분석한 연구를 예로 들 수 있다[58]. 개인 단위와 그룹 단위를 다층으로 분석한 연구의 경우 미러링뿐만 아니라 알림과 조언까지의 기능이 구현되었다. 반면, 개인 단위와 클래스 단위를 다층으로 분석한 연구(n = 1)와 그룹 단위와 클래스 단위를 다층으로 분석한 연구(n = 1)는 대시보드 지표들에 대한 기능이 미러링까지만 구현된 것을 알 수 있다.
4.3. 분석 단위, 지표, 시각화 유형의 관계
CSCL 대시보드에서 협력 데이터 지표에 따라 적절한 시각화 유형이 어떻게 달라지며, 시각화 과정에서 분석 단위가 어떻게 고려되고 있는지를 함께 살펴보기 위하여 분석 단위, 지표, 그리고 시각화 유형 간의 관계를 분석한 결과는 Table 6과 같다. 시각화 유형을 지표별로 유목화한 결과, 지표에 따라 사용된 시각화 유형이 다르게 나타난 것을 확인할 수 있다.
Relationship among Indicators, Visualization Types, and Unit of Analysis
활동(Action-related) 지표 중 참여도는 텍스트, 막대그래프, 꺾은선 그래프, 파이차트, 방사형 그래프 등으로 시각화되었다. 텍스트 형태는 개인 및 그룹 단위 정보를 제시할 때 주로 활용되었다. 개인별 채팅 메시지 수[58], 그룹별 채팅 메시지 수[58], 그룹별 활동 상태[56], 그룹별 무음 시간[36], 클래스 전체 참여자 수[53] 등이 텍스트 형식으로 대시보드에 시각화되었다. 막대그래프는 그룹별 발화량[56], 그룹이 작성한 글자 수[60] 등과 같은 그룹 단위 정보 간의 비교를 시각적으로 나타내기 위해 사용되었다. 꺾은선 그래프는 시간에 따른 데이터 변화를 시각적으로 보여주기 위해 사용되었으며, 개인별 채팅 횟수와 글자 수[21], 그룹별 대화량과 그룹별로 과제를 해결하기 위해 시도한 횟수를[33] 보여주는 사례가 포함되었다. 파이차트는 개인별 기여도를 퍼센트로 나타내거나[3], 클래스별 활발한 참여자와 그렇지 않은 참여자를 시각화하는 데 사용되는 등[53] 그룹 및 클래스 내 개인의 참여 분포를 보여주는 데 활용되었다. 종합적으로, 참여도 지표의 시각화는 개인 또는 그룹 단위에 비해 클래스 단위의 분석이 상대적으로 부족한 것을 확인할 수 있다. 활동 지표 중 진척도는 이벤트 타임라인, 색상 변화 등으로 시각화되었다. 이벤트 타임라인은 시간 경과에 따른 그룹의 활동 진행 상황을 나타내기 위해 막대 형태, 그리드 형태 혹은 시계열 점 플롯(Timeline dot plot)을 사용한 사례가 포함되었다[6, 33, 56]. 색상 변화는 완료된 활동, 진행 중인 활동, 그리고 완료되지 않은 활동을 구분하기 위해 사용되었다[59, 62]. 전반적으로 과제 진척도 지표의 시각화는 주로 그룹에 초점을 맞추고 있음을 확인하였다.
내용(Content-related) 지표 중 토픽은 텍스트, 워드 클라우드 등으로 시각화되었다. 텍스트 형태는 내용 분석을 통해 개인별로 자주 사용하는 단어를 시각화하거나[21], 클래스별로 가장 많이 활용된 키워드와 빈도수를 나타낼 때 사용되었다[53]. 워드 클라우드는 그룹별 토론 내용을 시각화할 때 사용되었다[55, 60]. 내용 지표 중 담화 내용은 텍스트, 파이차트, 방사형 그래프 등으로 시각화되었다. 텍스트 형태는 개인 및 클래스별로 산출된 키워드를 클릭했을 때, 해당 키워드가 포함된 게시글 전문을 볼 수 있도록 하는 방식으로 활용되었다[53]. 또한 텍스트 내용을 클릭하면 각 그룹의 발화 내용을 볼 수 있는 사례도 있었다[60]. 파이차트는 진술, 협상, 질문, 관리, 감정적인 소통 등 담화 패턴의 비율을 보여주기 위해 사용되었다[55]. 방사형 그래프는 주요 키워드의 포함, 주요 키워드 간 관련성을 비롯한 다섯 가지 지표를 통해 지식 정교화가 어떻게 이루어지고 있는지 한눈에 볼 수 있게 시각화하는 데 사용되었다[55]. 내용 지표 중 아이디어 유망성(idea promisingness)은 텍스트와 표로 시각화되었다. 텍스트 형태는 개인별 답변, 소그룹에서 높은 투표를 받은 답변, 대그룹 수준에서 최종 선택된 답변을 보여주고 핵심 키워드를 강조하기 위해 사용되었다[61]. 표는 단어 빈도의 합계를 해당 빈도로 정규화하여 점수를 산출한 결과, 가장 대표적인 의견과 대표적이지 않은 의견을 제시하기 위해 사용되었다[58].
결과(Result-related) 지표 중 수행 점수는 텍스트, 표 등으로 시각화되었다. 텍스트 형태는 A, B, C와 같은 그룹별 공동 집필(co-writing) 점수[52] 혹은 그룹별 활동 점수[59]를 나타내는 데에도 활용되었다. 표는 개인 및 그룹별 응답 점수를 정리하여 제시하는 목적으로 사용된 사례가 포함되었다[58].
사회적(Social-related) 지표 중 그룹 내 네트워크는 네트워크 그래프, 텍스트, 막대그래프, 이벤트 타임라인으로 시각화되었다. 네트워크 그래프는 상호작용의 횟수, 지속시간, 순서, 순서 교대(turn-taking), 발화 시간 등 그룹 내 역동성을 시각화하기 위해 사용되었으며, 개인과 그룹을 다층으로 분석한 연구가 다수를 이루었다[21, 36, 55, 56, 60]. 일부 연구에서는 이와 같은 동일한 지표를 텍스트로 시각화하기도 하였다[52, 53]. 토론 포럼 게시판을 사용한 맥락의 경우, 그룹 내 네트워크를 네트워크 그래프로 시각화하거나[53] 그룹 내 네트워크의 밀도와 응집력을 막대그래프로 표현하기도 하였다[55]. 또한 이벤트 타임라인을 통해 스레드 형식의 채팅 대화 내용을 시각화한 연구도 확인되었다[21].
기타로 분류된 지표에는 개요, 교수자 데이터, 학습자 워크스페이스, 정서가 있다. 개요에는 그룹 수, 전체 지속시간을 텍스트로 보여주며 클래스 전체 상황을 살펴볼 수 있게 하는 연구가 포함되었다[60]. 기타 지표 중 교수자 데이터는 막대그래프, 텍스트, 히트맵으로 시각화되었다. 예를 들어, 막대그래프는 교수자가 각 소회의실에서 보낸 시간을 시각화하는 데 사용되었으며[56], 히트맵의 경우, 교수자가 각 그룹과 상호작용한 시간의 차이를 색상의 강도로 구분하는 방식으로 사용되었다[29]. 정서는 클래스의 전반적인 정서를 ‘긍정적’, ‘중립적’, ‘부정적’과 같은 단어로 나타낸 경우가 포함되었다[53]. 마지막으로 기타 지표 중 학습자 워크스페이스의 경우, 개인 및 그룹별로 작업하고 있는 워크스페이스를 교수자 대시보드에 그대로 보여주는 시각화 방식이 사용되었다[51, 57].
5. 결론 및 논의
본 연구는 2019년부터 2024년 5월까지 국내외에서 발표된 CSCL 지원 교수자 대시보드 연구를 오케스트레이션 관점에서 분석하여 연구 동향을 탐색하였다. 이를 바탕으로 다양한 시공간적 맥락에서 이루어지는 CSCL에서 교수자의 오케스트레이션을 지원하는 대시보드 설계에 대한 시사점을 도출하는 것을 목적으로 한다.
5.1. 전반적 연구 동향
먼저 CSCL을 지원하는 교수자 대시보드의 전반적인 연구 동향을 분석하였다. 첫째, 최종 분석 대상 논문 18편이 모두 국외 문헌으로 국내 문헌은 포함되지 않았다. 따라서 앞으로 국내에서도 CSCL 맥락에서 교수자를 지원하는 대시보드 연구가 활발히 이루어질 필요가 있다. 둘째, 학교급의 경우, 대학 교육에서의 교수자 대시보드 연구가 K-12 맥락에서의 연구보다 빈번하게 이루어졌다. 하지만 K-12 학습자는 성인 학습자와 비교했을 때 인지적, 정의적, 행동적 측면에서 다른 특징을 보이기 때문에, CSCL을 지원할 때 고려해야 할 것들이 다를 수 있다. 따라서 향후 연구에서는 K-12 맥락에서의 교수자 대시보드 연구가 더욱 확대될 필요가 있다.
셋째, 수업에서 이루어진 연구가 실험실 연구보다 많다는 분석 결과는 실제 교육 현장에서 CSCL 수업을 지원하는 교수자 대시보드 연구의 중요성을 반영한다. 이는 대면 수업의 오케스트레이션 부하를 실험실에서 정확히 시뮬레이션하기 어렵기 때문에 실제 교실 환경에서의 연구가 주로 이루어진다는 Prieto 외 [64]의 주장과 일치한다. 넷째, 최종 사용자인 교수자가 대시보드 설계 및 개발 과정에 참여한 경우가 아닌 경우보다 많았다. 이는 최근 대시보드 설계 시 초기 단계를 포함한 개발 절차의 전반에 걸쳐 이해관계자들의 의견을 참여시키는 것이 중요하다는 선행연구들의 주장과 부합하는 결과로 볼 수 있다[65-67]. 참여적 설계(participatory design)나 공동 설계(co-design)와 같은 접근을 통해 해당 대시보드의 사용자인 교수자의 의견이 적극적으로 반영되어야, 사용자의 요구를 충족하고 목적에 부합하는 대시보드를 효과적으로 설계할 수 있다.
다섯째, 공간적 맥락에서는 온라인과 오프라인 모두에서 많은 연구가 이루어졌다. 시간적 맥락에서는 동시적 맥락이 압도적으로 높은 비율을 차지했다. 이는 협력학습 상황을 실시간으로 관리하고 조율하는 교수자의 오케스트레이션을 지원하는 대시보드의 특성에 기인한 것이다. 그럼에도 불구하고 비동시적 맥락(예: 온라인 포럼 내 토론)에서도 교수자의 모니터링과 처방이 필요하기에 향후 비동시적 온라인 맥락을 다루는 교수자 대시보드 연구가 필요하다.
여섯째, 수집 데이터 유형은 로그 데이터가 많았으며, 특히 두 가지 이상의 양식으로 조합된 다중양식 데이터[50]가 약 72% 이상을 차지했다. 이를 통해 CSCL 맥락의 교수자 대시보드 연구에서 다양한 유형의 협력 데이터를 수집하고 활용하고 있음을 알 수 있다. 본 연구에서는 해당하는 문헌이 없는 관계로 생리심리데이터나 설문데이터 항목을 제외하였지만, 최근 시선 추적 및 피부전도도와 같은 생리심리데이터를 활용한 협력학습분석학 관련 연구가 증가하고 있는 추세이므로 이와 같은 데이터도 향후 교수자 대시보드에서 활용될 것으로 기대된다.
5.2. 교수자 대시보드의 오케스트레이션 기능
첫째, 시공간적 맥락에 따른 기능을 분석한 결과, 온라인 맥락에서 조언과 알림 기능이 포함된 경우가 특히 드물었다. 더불어 오케스트레이션 커맨드 기능을 보유하고 있는 대시보드는 모두 알림 또는 조언 기능을 구현하고 있음을 확인하였다. 온라인 수업일수록 교수자와 학습자가 서로의 상황을 인지하기 어렵기에 사회적 실재감(social presence)을 높여줄 필요가 있다[68]. 즉 온라인 맥락일수록 교수자의 모니터링과 처방의 필요성이 더욱 높아지므로 대시보드의 알림, 조언, 그리고 오케스트레이션 커맨드 기능을 통해 교수자의 오케스트레이션을 지원해야 한다. 온라인 맥락의 수업 중에서도 특히 비동시적 맥락에서는 알림 기능이 구현된 경우가 드물었는데, 토론 포럼과 같은 비동시적 협력학습 맥락일지라도 교수자의 모니터링과 처방 없이는 효과적인 협력학습이 자연적으로 발생하기 어려우므로 비동시적 맥락에서도 알림 기능에 대한 고려가 적극적으로 이루어져야 한다. 오케스트레이션 커맨드 기능은 오프라인 동시적 맥락에서 수행된 연구에서 주로 발견되었지만, 온라인 동시적 맥락의 협력학습에서도 교수자의 오케스트레이션이 필요하다. 따라서 협력학습을 효과적으로 지원하기 위해서는 오프라인 동시적 맥락뿐만 아니라 온라인 동시적 맥락에서도 오케스트레이션 커맨드 기능이 구현되어야 한다.
둘째, 분석 단위에 따른 교수자 대시보드의 기능을 분석하였다. 먼저, 클래스 수준의 연구는 개인 및 그룹 연구에 비해 상대적으로 부족하였다. 선행연구[5, 32]에서도 CSCL이 개인, 그룹, 클래스로 구성된 역동적인 학습 형태이기 때문에 하나의 분석 단위에만 초점을 두기보다는 여러 분석 단위를 고려한 다층 수준의 분석을 할 필요가 있다고 강조하였다. 따라서 CSCL을 지원하는 교수자 대시보드에서도 여러 분석 단위의 협력 데이터를 활용하여 교수자가 개인, 그룹, 클래스의 상황을 실시간으로 모니터링하고 필요한 처방을 제공할 수 있도록 지원해야 한다. 또한 개인 단위와 클래스 단위에서 다층으로 분석한 대다수의 연구에서 지표들의 기능이 미러링까지만 구현되었다. 대시보드는 교수자가 적절한 결론을 도출하는 데 유의미한 도움을 줄 수 있는 지원을 제공해야 하므로[33], 미러링에서 나아가 알림 및 조언 기능까지 구현된 대시보드 연구가 더욱 이루어져야 한다.
5.3. 분석 단위, 지표, 시각화 유형의 관계
대시보드의 분석 단위, 지표, 시각화 유형 간의 관계를 분석한 결과는 다음과 같다. 첫째, 지표에 따라 시각화의 목적이 결정되며, 이에 따라 적절한 시각화 유형이 달라진다. 알림이나 조언 기능을 구현하는 것도 중요하지만, 기본적으로 정보를 제시하는 미러링 기능도 여전히 중요하므로 교수자가 표상된 데이터를 즉각적으로 이해하는 것이 선행되어야 한다. 선행연구에서 개발된 교수자 대시보드를 검토한 결과, 데이터 지표에 적절한 시각화 방식을 활용하려는 노력이 이루어졌다고 해석할 수 있다. 예를 들면, 시간에 따른 과제의 진척을 보여주기 위해 이벤트 타임라인을, 참여의 분포를 보여주기 위해 막대그래프를, 담화의 토픽을 보여주기 위해 워드클라우드를, 그룹 내 네트워크를 보여주기 위해 네트워크 그래프를 자주 활용한 것을 확인할 수 있다. 즉, 지표를 가장 잘 나타낼 수 있는 데이터의 성격에 맞는 적절한 시각화를 선택하는 것이 중요하다. 따라서 협력 데이터 지표, 분석 단위, 시각화 유형 간의 관계를 명확히 이해하고, 이에 따라 적절한 시각화 방법을 선택해야 한다.
둘째, 협력학습에서는 사회인지적 측면과 사회정서적 측면이 서로 얽혀있으므로[16], 정의적 영역 관련 지표도 향후 교수자 대시보드 연구에서 다뤄야 할 필요가 있다. 셋째, 개인 및 클래스 단위 분석에 비해 그룹 단위의 분석에 초점을 두고 있는 지표들이 상대적으로 더 많이 확인되었다. 이는 협력학습에서 그룹 내 상호작용을 효과적으로 분석하고 시각화하는 것의 중요성을 반영한 결과이다. 넷째, 지표별 시각화 방법을 살펴보는 과정에서 협력 데이터의 분석 단위를 살펴본 결과, 각 지표를 시각화하는 과정에서 분석 단위가 고려되었음을 확인할 수 있었다. 예를 들어, 활동 지표 중 참여도를 분석할 때 그룹 간 비교를 위해 막대그래프를 사용하거나, 개인의 기여도(예: 발화량, 채팅 횟수 등)를 비교하기 위해 파이 차트를 활용하며, 전체 클래스의 참여자 수를 텍스트 형식으로 시각화하는 사례를 확인할 수 있었다. 이러한 결과는 협력학습에서 개인, 그룹, 클래스와 같은 다양한 사회적 수준이 존재하는 맥락적 특성이 시각화 방식에 반영된 것으로 해석할 수 있다. 즉, 협력 데이터를 분석하는 단위가 개인, 그룹, 클래스 중 무엇인지에 따라 특정 지표를 대시보드에 시각화하는 방식이 달라진다는 것을 보여준다. 또한 다층 수준에서 데이터를 분석하고 이를 시각화한 연구들이 확인되었다. 예를 들어 그룹 내 네트워크와 관련된 지표를 시각화할 때, 개인과 그룹에 대한 정보를 동시에 보여주기 위하여 SNA를 활용하거나[60], 협력적 글쓰기 수업에서 개인의 참여도와 그룹의 공동 집필 비율을 보여주기 위해 버블차트, 이벤트 타임라인, 그리고 텍스트를 활용한 연구가 존재했다[52]. 이러한 결과는 다양한 분석 단위, 특히 다층 수준이 반영된 데이터를 지표의 특성에 맞게 표현하는 방법을 고려할 필요가 있음을 시사한다.
본 연구는 CSCL 교수자 대시보드를 개발하고자 하는 연구자와 설계자들에게 교실 오케스트레이션을 효과적으로 지원하기 위한 설계적 시사점을 제공한다. 특히 CSCL에서는 시공간의 제약이 없는 환경 속에서 개인, 그룹, 클래스와 같이 다양한 수준의 협력이 이루어지므로, CSCL의 특성에 맞는 대시보드의 기능과 시각화 전략을 고려하여 교수자의 오케스트레이션을 지원할 필요가 있다. 본 연구는 이러한 복잡한 시공간적 맥락, 분석 단위 및 분석 수준, 지표, 시각화 유형 간의 관계를 종합적으로 고려하여 오케스트레이션을 지원하는 대시보드 설계에 대한 실질적인 시사점을 제공했다는 점에서 의의가 있다.
본 연구는 국내외 학술지에 게재된 문헌을 모두 수집하고자 하였으나, 선별 과정을 거치며 국외 학술지에 게재된 문헌만 최종적으로 분석에 포함되었다. 이러한 결과는 CSCL 맥락에서 교수자 대시보드와 관련된 국내 연구가 필요함을 시사한다. 해외의 협력학습 문화와 우리의 협력학습 문화에 차이가 있을 수 있음을 고려하면, 국내 맥락의 연구를 통해 보다 실질적인 시사점을 제공할 수 있을 것이다. 또한 본 연구는 문헌을 중심으로 분석을 진행하여 상업용으로 사용되고 있는 대시보드를 분석 대상에 포함하지 않았다는 한계를 지닌다. 향후 연구에서는 학술지 논문뿐만 아니라 상업적 대시보드까지 포함하여 더욱 폭넓은 범위에서 연구를 수행할 필요가 있다.
Acknowledgments
본 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2023R1A2C1004108).
References
-
Jarvela, S., Malmberg, J., Sobocinski, M., & Kirschner, P. A. (2021). Metacognition in collaborative learning. In U. Cress, C. Rose, A. F. Wise, & J. Oshima (Eds.), International handbook of computer-supported collaborative learning (pp. 281-294). Springer.
[https://doi.org/10.1007/978-3-030-65291-3_15]
-
Lee, J. H. & Lim, K. Y. (2018). The Mediating Effects of Co-Regulation in Team Project-Based Learning: Focusing on the Relationships between Self-Efficacy for Group Work, Shared Mental Model and Satisfaction. Journal of Educational Information and Media, 24(4), 805-831.
[https://doi.org/10.15833/KAFEIAM.24.4.805]
-
Jung, Y., & Lim, K. Y. (2020). College Students’ Collaborative Problem-Solving Experience: A Narrative Inquiry. Journal of Educational Technology, 36(1), 69-104.
[https://doi.org/10.17232/KSET.36.1.069]
- Fischer, F., & Dillenbourg, P. (2006). Challenges of orchestrating computer-supported collaborative learning. Paper presented at the 87th annual meeting of the American Educational Research Association (AERA).
-
Wise, A. F., Knight, S., & Shum, S. B. (2021). Collaborative learning analytics. In U. Cress, C. Rose, A. F. Wise & J. Oshima (Eds.), The international handbook of collaborative learning (pp. 425-443). Springer.
[https://doi.org/10.1007/978-3-030-65291-3_23]
-
*Martinez-Maldonado, R. (2019). A handheld classroom dashboard: Teachers’ perspectives on the use of real-time collaborative learning analytics. International Journal of Computer-Supported Collaborative Learning, 14(3), 383-411.
[https://doi.org/10.1007/s11412-019-09308-z]
-
Molenaar, I., & Knoop-Van Campen, C. A. (2018). How teachers make dashboard information actionable. IEEE Transactions on Learning Technologies, 12(3), 347-355.
[https://doi.org/10.1109/TLT.2018.2851585]
-
Dillenbourg, P. (1999). Introduction: What do you mean by “collaborative learning”?. In P. Dillenbourg (Ed.), Collaborative learning: Cognitive and computational approaches. (pp. 1-19). Emerald Group Publishing Limited.
[https://doi.org/10.18608/jla.2021.7227]
-
Suthers, D. D. (2006). Technology affordances for intersubjective meaning making: A research agenda for CSCL. International Journal of Computer-Supported Collaborative Learning, 1, 315–37.
[https://doi.org/10.1007/s11412-006-9660-y]
-
Park, E. J., Park, H. E., Cha, S. M., & Lim, K. Y. (2023). Research trends of the use of multimodal data in CSCL: Topic modeling and semantic network analysis approach. Journal of Korean Association for Educational Information and Media, 29(4), 1183-1212.
[https://doi.org/10.15833/KAFEIAM.29.4.1183]
-
Jeong, H. S. (2019). Cognitive Mechanisms of Collaborative Learning and Technology Supports. Korean Journal of Cognitive Science, 30(1).
[https://doi.org/10.19066/cogsci.2019.30.1.1]
-
Stahl, G., Koschman, T., & Suthers, D. (2014). Computer-supported collaborative learning. In R. K. Sawyer (Ed.), The Cambridge Handbook of the Learning Sciences (2nd ed., pp. 479-500). Cambridge University Press.
[https://doi.org/10.1017/CBO9781139519526.029]
-
Goodyear, P., Jones, C., & Thompson, K. (2014). Computer-supported collaborative learning: Instructional approaches, group processes and educational designs. In J. M. Spector, M. D. Merrill, J. Elen & M. J. Bishop (Eds.), Handbook of research on educational communications and technology (4th ed., pp. 439-451). Springer.
[https://doi.org/10.1007/978-1-4614-3185-5_35]
-
Scager, K., Boonstra, J., Peeters, T., Vulperhorst, J., & Wiegant, F. (2016). Collaborative learning in higher education: Evoking positive interdependence. CBE—Life Sciences Education, 15(4).
[https://doi.org/10.1187/cbe.16-07-0219]
-
Kobbe, L., Weinberger, A., Dillenbourg, P., Harrer, A., Hamalainen, R., Hakkinen, P., & Fischer, F. (2007). Specifying computer-supported collaboration scripts. International Journal of Computer-Supported Collaborative Learning, 2, 211-224.
[https://doi.org/10.1007/s11412-007-9014-4]
-
Naykki, P., Isohatala, J., & Jarvela, S. (2021). “You really brought all your feelings out”–caffolding students to identify the socio-emotional and socio-cognitive challenges in collaborative learning. Learning, Culture and Social Interaction, 30, 100536.
[https://doi.org/10.1016/j.lcsi.2021.100536]
-
Roschelle, J., Dimitriadis, Y., & Hoppe, U. (2013). Classroom orchestration: Synthesis. Computers & Education, 69, 523–26.
[https://doi.org/10.1016/j.compedu.2013.04.010]
-
Dillenbourg, P., Jarvela, S., & Fischer, F. (2009). The evolution of research on computer-supported collaborative learning: From design to orchestration (pp. 3 -19). Springer Netherlands.
[https://doi.org/10.1007/978-1-4020-9827-7_1]
-
Dillenbourg, P., & Jermann, P. (2010). Technology for classroom orchestration. New Science of Learning: Cognition, Computers and Collaboration in Education, 525-552.
[https://doi.org/10.1007/978-1-4419-5716-0_26]
-
Sharples, M. (2013). Shared orchestration within and beyond the classroom. Computers & Education, 69, 504-506.
[https://doi.org/10.1016/j.compedu.2013.04.014]
-
*Chen, Y., Hmelo-Silver, C. E., Lajoie, S. P., Zheng, J., Huang, L., & Bodnar, S. (2021). Using teacher dashboards to assess group collaboration in problem-based learning. Interdisciplinary Journal of Problem-Based Learning, 15(2).
[https://doi.org/10.14434/ijpbl.v15i2.28792]
-
Matuk, C., Tissenbaum, M., & Schneider, B. (2019). Real-time orchestrational technologies in computer-supported collaborative learning: An introduction to the special issue. International Journal of Computer-Supported Collaborative Learning, 14, 251-260.
[https://doi.org/10.1007/s11412-019-09310-5]
-
Hamalainen, R., Kiili, C., & Smith, B. E. (2017). Orchestrating 21st century learning in higher education: A perspective on student voice. British Journal of Educational Technology, 48(5), 1106-1118.
[https://doi.org/10.1111/bjet.12533]
-
Dillenbourg, P. (2013). Design for classroom orchestration. Computers & Education, 69, 485-492.
[https://doi.org/10.1016/j.compedu.2013.04.013]
-
Cuendet, S., Bonnard, Q., Do-Lenh, S., & Dillenbourg, P. (2013). Designing augmented reality for the classroom. Computers & Education, 68, 557–69.
[https://doi.org/10.1016/j.compedu.2013.02.015]
-
Buder, J., Bodemer, D., & Ogata, H. (2021). Group awareness. In U. Cress, C. Rose, A. F. Wise, & J. Oshima (Eds.), International handbook of computer-supported collaborative learning (pp.295–13). Springer.
[https://doi.org/10.1007/978-3-030-65291-3_16]
-
Janssen, J., & Bodemer, D. (2013). Coordinated computer-supported collaborative learning: Awareness and awareness tools. Educational Psychologist, 48(1), 40-55.
[https://doi.org/10.1080/00461520.2012.749153]
-
van Leeuwen, A., & Rummel, N. (2019). Orchestration tools to support the teacher during student collaboration: A review. Unterrichtswissenschaft, 47(2), 143-158.
[https://doi.org/10.1007/s42010-019-00052-9]
-
*Bae, H., Feng, C., Glazewski, K., Hmelo-Silver, C. E., Chen, Y., Mott, B. W., ... & Lester, J. C. (2023). Co-designing a Classroom Orchestration Assistant for Game-based PBL Environments. TechTrends, 67(6), 918-930.
[https://doi.org/10.1007/s11528-023-00903-4]
- Siemens, G., & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30.
-
Uskov, V. L., Bakken, J. P., Gayke, K., Fatima, J., Galloway, B., Ganapathi, K. S., & Jose, D. (2020). Smart learning analytics: Student academic performance data representation, processing and prediction. In Smart Education and e-Learning 2020 (pp. 3-18). Springer Singapore.
[https://doi.org/10.1007/978-981-15-5584-8_1]
-
Lim, K. Y., Jin, M., Jung, Y., Kim, H. J., Lee, D. H. (2023). Systematic Literature Review of Research Trends in Collaborative Learning Analytics. Journal of Educational Technology, 39(4), 1081-1121.
[https://doi.org/10.17232/KSET.39.4.1081]
-
*van Leeuwen, A., Rummel, N., & Van Gog, T. (2019). What information should CSCL teacher dashboards provide to help teachers interpret CSCL situations?. International Journal of Computer-Supported Collaborative Learning, 14, 261-289.
[https://doi.org/10.1007/s11412-019-09299-x]
-
Verbert, K., Govaerts, S., Duval, E., Santos, J. L., Van Assche, F., Parra, G., & Klerkx, J. (2014). Learning dashboards: An overview and future research opportunities. Personal and Ubiquitous Computing, 18, 1499-1514.
[https://doi.org/10.1007/s00779-013-0751-2]
-
Wise, A. F., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69.
[https://doi.org/10.18608/jla.2019.62.4]
-
*Cornide-Reyes, H., Riquelme, F., Monsalves, D., Noel, R., Cechinel, C., Villarroel, R., ... & Munoz, R. (2020). A multimodal real-time feedback platform based on spoken interactions for remote active learning support. Sensors, 20(21), 6337.
[https://doi.org/10.3390/s20216337]
-
Iftikhar, S., Garcia-Lopez, C., Garcia-Solorzano, D., Mor, E., & Guerrero-Roldan, A.-E. (2022). Designing dashboards to support teachers in online learning tools. In P. Zaphiris & A. Ioannou (Eds.), Learning and Collaboration Technologies (pp. 238-252). Springer.
[https://doi.org/10.1007/978-3-031-05657-4_17]
-
Molenaar, I., & Knoop-van Campen, C. A. (2018). How teachers make dashboard information actionable. IEEE Transactions on Learning Technologies, 12(3), 347-355.
[https://doi.org/10.1109/TLT.2018.2851585]
- Hrastinski, S. (2008). Asynchronous and synchronous e-learning. Educause Quarterly, 31(4), 51-55.
-
Sedrakyan, G., Mannens, E., & Verbert, K. (2019). Guiding the choice of learning dashboard visualizations: Linking dashboard design and data visualization concepts. Journal of Computer Languages, 50, 19 -38.
[https://doi.org/10.1016/j.jvlc.2018.11.002]
- Lim, K. Y., Park, H., & Kim, H. (2014). Effects of Social Network-based Visual Feedback on Learning in Online Discussion. Journal of Educational Technology, 30(3), 443-466.
-
Heo, H., Lim, K. Y., & Kim, Y. (2010). Exploratory study on the patterns of online interaction and knowledge co-construction in project-based learning. Computers & Education, 55(3), 1383-1392.
[https://doi.org/10.1016/j.compedu.2010.06.012]
-
Lee, A., O’Donnell, A. M., & Rogat, T. K. (2015). Exploration of the cognitive regulatory sub-processes employed by groups characterized by socially shared and other-regulation in a CSCL context. Computers in Human Behavior, 52, 617-627.
[https://doi.org/10.1016/j.chb.2014.11.072]
- Scott, J. (1999). Social network analysis: A handbook (2nd ed). Sage.
- Newman, M., & Gough, D. (2020). Systematic reviews in educational research: Methodology, perspectives and application. In O. Zawacki-Richter, M. Kerres, S. Bedenlier, M. Bond & K. Butins (Eds.), Systematic reviews in educational research: Methodology, perspectives and application (pp. 3-22). Springer.
-
Alshami, A., Elsayed, M., Ali, E., Eltoukhy, A. E., & Zayed, T. (2023). Harnessing the power of ChatGPT for automating systematic review process: Methodology, case study, limitations, and future directions. Systems, 11(7), 351.
[https://doi.org/10.3390/systems11070351]
-
Ham, Y., Cho, Y. H., Lee, H., & Kim, H. (2021). Systematic Literature Review to Explore Research Trends and Future Directions of Multimodal Learning Analytics. Journal of Educational Information and Media, 27(2), 501-529.
[https://doi.org/10.15833/KAFEIAM.27.2.501]
-
Jeong, H., Hmelo-Silver, C. E., & Yu, Y. (2014). An examination of CSCL methodological practices and the influence of theoretical frameworks 2005-2009. International Journal of Computer-Supported Collaborative Learning, 9, 305-334.
[https://doi.org/10.1007/s11412-014-9198-3]
-
Schwendimann, B. A., Rodriguez-Triana, M. J., Vozniuk, A., Prieto, L. P., Boroujeni, M. S., Holzer, A., ... & Dillenbourg, P. (2016). Perceiving learning at a glance: A systematic literature review of learning dashboard research. IEEE Transactions on Learning Technologies, 10(1), 30-41.
[https://doi.org/10.1109/TLT.2016.2599522]
- Blikstein, P., & Worsley, M. (2016). Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks. Journal of Learning Analytics, 3(2), 220-238. DOI : 10.18608/jla.2016.32.11
-
*Edson, A. J., & Phillips, E. D. (2021). Connecting a teacher dashboard to a student digital collaborative environment: Supporting teacher enactment of problem-based mathematics curriculum. ZDM–Mathematics Education, 53(6), 1285-1298.
[https://doi.org/10.1007/s11858-021-01310-w]
-
*Hoffmann, C., Mandran, N., d’Ham, C., Rebaudo, S., Haddouche, M.A. (2022). Development of Actionable Insights for Regulating Students’ Collaborative Writing of Scientific Texts. In: I. Hilliger, P.J. Munoz-Merino, T. De Laet, A. Ortega-Arranz, T. Farrell (Eds.), Educating for a New Future: Making Sense of Technology-Enhanced Learning Adoption (pp. 534-541). Springer.
[https://doi.org/10.1007/978-3-031-16290-9_47]
-
*Kaliisa, R., & Dolonen, J. A. (2023). CADA: A teacherfacing learning analytics dashboard to foster teachers’ awareness of students’ participation and discourse patterns in online discussions. Technology, Knowledge and Learning, 28(3), 937-958.
[https://doi.org/10.1007/s10758-022-09598-7]
-
*Lawrence, L., & Mercier, E. (2019). Co-Design of an Orchestration Tool: Supporting Engineering Teaching Assistants as they Facilitate Collaborative Learning. Interaction Design and Architecture (s), 42, 111.
[https://doi.org/10.55612/s-5002-042-006]
-
*Li, Y., Zhang, M., Su, Y., Bao, H., & Xing, S. (2022). Examining teachers’ behavior patterns in and perceptions of using teacher dashboards for facilitating guidance in CSCL. Educational Technology Research and Development, 70(3), 1035-1058.
[https://doi.org/10.1007/s11423-022-10102-2]
-
*Pozdniakov, S., Martinez-Maldonado, R., Tsai, Y. S., Cukurova, M., Bartindale, T., Chen, P., ... & Gasevic, D. (2022). The question-driven dashboard: how can we design analytics interfaces aligned to teachers’ inquiry?. In LAK22: 12th International Learning Analytics and Knowledge Conference, 175-185.
[https://doi.org/10.1145/3506860.3506885]
-
*Schwarz, B. B., Swidan, O., Prusak, N., & Palatnik, A. (2021). Collaborative learning in mathematics classrooms: Can teachers understand progress of concurrent collaborating groups?. Computers & Education, 165, 104151.
[https://doi.org/10.1016/j.compedu.2021.104151]
-
*Alvarez, C., Zurita, G., Carvallo, A., Ramirez, P., Bravo, E., & Baloian, N. (2021). Automatic content analysis of student moral discourse in a collaborative learning activity. In D. Hernandez-Leo, R. Hishiyama, G. Zurita, B. Weyers, A. Nolte, & H. Ogata (Eds.), Collaboration Technologies and Social Computing, 27, 3-19. Springer.
[https://doi.org/10.1007/978-3-030-85071-5_1]
-
*Shahmoradi, S., Kothiyal, A., Bruno, B., & Dillenbourg, P. (2024). Evaluation of teachers’ orchestration tools usage in robotic classrooms. Education and Information Technologies, 29(3), 3219-3256.
[https://doi.org/10.1007/s10639-023-11909-z]
-
*Kasepalu, R., Chejara, P., Prieto, L. P., & Ley, T. (2023). Studying teacher withitness in the wild: Comparing a mirroring and an alerting & guiding dashboard for collaborative learning. International Journal of Computer-Supported Collaborative Learning, 18(4), 575-606.
[https://doi.org/10.1007/s11412-023-09414-z]
-
*Amarasinghe, I., Hernandez-Leo, D., Michos, K., & Vujovic, M. (2020). An actionable orchestration dashboard to enhance collaboration in the classroom. IEEE Transactions on Learning Technologies, 13(4), 662-675.
[https://doi.org/10.1109/TLT.2020.3028597]
-
*Tissenbaum, M., & Slotta, J. (2019). Supporting classroom orchestration with real-time feedback: A role for teacher dashboards and real-time agents. International Journal of Computer-Supported Collaborative Learning, 14, 325-351.
[https://doi.org/10.1007/s11412-019-09306-1]
-
*Amarasinghe, I., Hernandez-Leo, D., & Ulrich Hoppe, H. (2021). Deconstructing orchestration load: comparing teacher support through mirroring and guiding. International Journal of Computer-Supported Collaborative Learning, 16(3), 307-338.
[https://doi.org/10.1007/s11412-021-09351-9]
-
Prieto, L. P., Sharma, K., Kidzinski, Ł., & Dillenbourg, P. (2018). Orchestration load indicators and patterns: In-the-wild studies using mobile eye-tracking. IEEE Transactions on Learning Technologies, 11(2), 216-229.
[https://doi.org/10.1109/TLT.2017.2690687]
-
DiSalvo, B., Yip, J., Bonsignore, E., & Carl, D. (2017). Participatory design for learning. In B. DiSalvo, J. Yip, E. Bonsignore, & C. DiSalvo (Eds.), Participatory Design for Learning (1st ed., pp. 3–). Routledge.
[https://doi.org/10.4324/9781315630830]
- Gomez, K., Kyza, E. A., & Mancevice, N. (2018). Participatory design and the learning sciences. In F. Fischer, C. E. Hmelo-Silver, S. R. Goldman, & P. Reimann (Eds.), International Handbook of the Learning Sciences (1st ed., pp. 401–09). Routledge.
-
Verbert, K., Ochoa, X., De Croon, R., Dourado, R. A., & De Laet, T. (2020). Learning analytics dashboards: The past, the present and the future. Proceedings of the Tenth International Conference on Learning Analytics & Knowledge, 35-40.
[https://doi.org/10.1145/3375462.3375504]
- Lin, G. Y. (2004). Social Presence Questionnaire of Online Collaborative Learning: Development and Validity. Proceedings of Association for Educational Communications and Technology Annual Meeting, 588.
Appendix
부 록
문헌 선별 기준
분석 프레임워크
연구 맥락 및 수집 데이터 유형(N = 18)
맥락별 오케스트레이션 기능
분석 단위와 분석 수준에 따른 오케스트레이션 기능
지표, 시각화 유형, 분석 단위 간 관계
· 2019 한국외국어대학교 TESOL영어학전공(문학사)
· 2023 ~ 현재 이화여자대학교 교육공학과 석사과정
관심분야 : 컴퓨터기반협력학습, 학습경험설계(LXD), 학습분석학
edtech_light@ewha.ac.kr
· 2017 이화여자대학교 영어교육과(문학사)
· 2017 ~ 현재 경기도교육청 중등 영어교사
· 2024 이화여자대학교 교육공학과(석사)
관심분야 : 컴퓨터기반협력학습, 협력학습분석학, 인간-AI 협력
dahyelee@ewha.ac.kr
· 1997 이화여자대학교 교육공학과(문학사)
· 1999 이화여자대학교 교육공학과(석사)
· 2008 펜실베니아주립대 교육공학과(박사)
· 2012 ~ 현재 이화여자대학교 교육공학과 교수
관심분야 : 테크놀로지기반학습, 협력학습분석학, 학습경험설계(LXD)
klim@ewha.ac.kr