체계적 문헌 고찰을 통한 학습분석 시스템의 정의와 핵심 구성 요소 탐색

1. 서론

빅데이터 기술은 인간의 행동과 인간이 처한 환경으로부터 수집되는 대량의 데이터를 바탕으로 유용한 정보를 생성하여, 인간의 의사결정을 효과적이고 효율적으로 지원한다[1]. 이와 같은 빅데이터 기술의 발전은 교육 분야에도 큰 영향을 미쳤는데, 특히 교수학습 과정에서 발생하는 대규모 데이터를 수집하고 활용할 수 있게 되면서 등장한 것이 학습분석학이다. 학습분석학은 학습자와 교수학습 맥락에 대한 데이터를 측정, 수집, 분석 및 보고하는 일련의 과정을 통해, 교수학습 과정에 대한 이해를 바탕으로 교수학습 처방을 도출하는 데에 활용된다[2]. 이를 활용하면 학습 관리 시스템(learning management system, LMS) 등에 기록되는 학업 성취도와 같은 정적인 데이터뿐만 아니라, 학습자의 실시간 활동 및 반응과 같은 동적 데이터를 수집할 수 있어 교수학습의 과정을 다각도로 관찰할 수 있다. 최근에는 LMS와 대시보드 등이 통합된 교수학습 환경인 디지털 교수학습 시스템이 작동하기 위해, 학습분석을 이론적이고 기술적인 토대로써 활용하는 방안에 관한 관심이 높아지고 있다[3-5]. 이는 곧 교수학습을 지원하는 체계의 설계와 학습분석을 긴밀하게 연결하는 시스템적 접근의 필요성을 시사한다[6, 7].

그러나 디지털 교수학습 시스템의 핵심 엔진인 학습분석 시스템에 대해 여러 논의가 공존하고 있다. 이에 따라 실제 시스템 설계를 위해 필요한 기본적인 구조나 구성 요소에 대한 합의가 이루어지지 못하고 있다[8, 9]. 예컨대, 학습분석 시스템과 전체 디지털 교수학습 시스템과의 위계 설정 문제나, 학습자나 교수자와 같은 교수학습 주체에게 처방을 제공하기 위한 데이터의 수집 흐름과 분석 기법이 통합적으로 연구되지 않는 것이 이에 해당한다. 따라서, 기존 연구들에서 이러한 문제를 어떻게 다루고 있는지를 종합적으로 살펴 학습분석 시스템의 기본 구조를 도출할 필요가 있다. 이는 실질적으로 학습분석 시스템을 기반으로 디지털 교수학습 시스템을 설계하는 데에 필요한 기초적인 이론적·구조적 틀을 제시한다는 점에서 의의가 있을 것으로 전망된다.

이에 따라 본 연구에서 설정한 연구 문제는 다음과 같다.

연구 문제 1. 교수학습을 지원하는 학습분석 시스템의 정의와 특징은 무엇인가?

연구 문제 2. 교수학습을 지원하는 학습분석 시스템의 구조와 구성 요소는 어떠한가?

2. 이론적 배경

3. 연구 방법

본 연구의 목적은 학습분석 시스템의 개념과 구성 요소를 종합적으로 탐색하는 데에 있다. 이를 위해 본 연구에서는 크게 체계적 문헌 고찰(systematic literature review)과 전문가 타당화라는 두 단계의 절차를 거쳤다. 먼저, 체계적 문헌 고찰을 활용하여 연구 주제와 관련된 선행 문헌을 총체적으로 분석하였다[26]. 이를 토대로 디지털 교수학습 환경의 기반이 되는 학습분석 시스템이 갖추어야 하는 기본적인 시스템 요소에 대해 탐색하여 이를 구조화하였다. 궁극적으로는 이러한 시스템 구조를 기반으로 하여 디지털 교수학습 시스템이 교수학습 과정 전체를 효과적으로 촉진하는 방안에 대해 논의하고자 하였다. 그리고 이렇게 도출한 학습분석 시스템의 구조도에 대한 전문가 타당화 과정을 진행하여 연구 결과의 내적 타당성을 확보하고자 하였다[27].

3.1 체계적 문헌 고찰

문헌 검색 및 선별 과정을 체계적이고 정밀하게 진행하기 위해 다음과 같은 사항을 고려하였다. 첫째, 국내·외 논문들을 종합적으로 검토하기 위하여 'RISS(한국교육학술정보원)'와 'Web of Science'를 주요 데이터베이스로 선정하였다. 그중에서도 국내 학술 논문의 경우에는 KCI에 등재, 혹은 우수 등재된 학술지의 논문들만을 대상으로 하였고, 국외 학술 논문의 경우에는 영문으로 쓰였으며 동료 검증(peer-reviewed)을 거친 SSCI, SCIE, ESCI, Scopus 급의 학술지 논문만을 분석 대상으로 제한하였다. 둘째, 문헌 검색을 위해 검색어를 선정하는 과정은 선행연구에서 제시한 키워드를 참고하여 이루어졌으며, 주제와 관련성이 높은 문헌이 검색될 수 있도록 키워드 조합을 조정하는 과정을 반복하였다. 이러한 과정을 거쳐, 다음의 Table 1과 같은 최종 검색어 목록을 작성하였다. 국내 논문을 검색할 때는 국문 검색어를, 국외 논문을 검색할 때는 영문 검색어를 활용하였다.

Table 1.

Search terms

문헌을 효율적으로 검색하기 위해, 위 Table 1에 나타난 것처럼, 학습분석과 관련된 검색어를 A에, 시스템이나 프레임워크와 관련된 검색어를 B에 제시하여 'A AND B'의 형태를 띠는 검색어 쿼리(query)를 구성하였다. 특히, B 검색어를 구성할 때 학습분석 기반의 시스템을 설계하는 데에 있어서 활용되는 학습분석 프레임워크나, 데이터의 수집, 처리, 저장 및 분석이라는 일련의 과정을 담은 데이터 파이프라인[28] 설계와 관련된 연구가 존재할 수 있다는 점을 고려하였다. 이에 따라 B 검색어에 '시스템'이라는 단어 이외에도, '플랫폼', '아키텍처' 등의 검색어를 포함하였다. 이렇게 도출한 검색어를 바탕으로 2024년 2월에 문헌의 검색과 선별이 이루어졌으며, 이에 대한 전체적인 과정은 PRISMA 프레임워크[29]를 기반으로 진행되었다(Fig 1).

Figure 1.

PRISMA research protocol

먼저 1차 선별 단계에서는 검색된 문헌들이 실제로 연구주제와 관련된 것인지를 알아보기 위해서, '학습분석 시스템'이라는 핵심어가 직·간접적으로 제목이나 초록에 포함되었는지를 따져보았다. 이 과정에서 총 265건의 문헌이 2차 선별 대상으로 선정되었다. 이에 대해 전문을 검토하여 최종 분석 대상이 될 수 있을지에 대한 적격성을 평가하였다. 이때, 전문에 접근할 수 있고, 동료 검증이 이루어진(peer-reviewed) 학술 문헌인지, 그리고 국외 문헌의 경우에는 영어로 작성되었는지를 따져보았다. 무엇보다도, 본문에서 학습분석 시스템의 정의나 특성에 대해 언급이 되고 있는지, 학습분석을 기반으로 하는 디지털 교수학습 시스템의 소프트웨어 아키텍처가 제시되었는지, 그리고 학습분석 시스템을 구성하는 아키텍처 요소와 이를 구현하기 위한 데이터 흐름 및 메커니즘이 서술되었는지를 기준으로 문헌의 포함 여부를 결정하였다. 이때, Zotou et al. [25]이 제시한 학습분석 프레임워크의 하위 레이어 분류(ICT 레이어, 교수학습 레이어, 애널리틱스 레이어, 데이터 레이어)를 분석 틀로 삼아, 각 문헌에서 해당 레이어의 구성 요소가 어떻게 다루어졌는지를 함께 검토하였다. 최종 분석 대상을 결정하는 데에 사용한 포함 및 배제 기준은 다음의 Table 2와 같다.

Table 2.

Inclusion and exclusion criteria

이러한 과정을 통해 본 연구의 최종 분석 대상으로 총 70건의 문헌이 선정되었다. 70편의 문헌에서 제시되는 소프트웨어 하위 구성 요소들은 Zotou et al.[25]의 분류 체계를 참고하여 분류하되, 해당 체계에 포함되지 않는 구성 요소가 있는 경우에는 새로운 레이어를 생성하여 구조화하였다.

4. 연구 결과

4.1 학습분석 시스템의 정의 및 특징

다음의 Table 3은 수집된 문헌을 분석하여 도출한 학습분석 시스템의 정의 및 특징을 정리한 것이다.

Table 3.

Definitions and key characteristics of learning analytics systems

Table 3에 나타나 있듯이, 선행 문헌에서는 학습분석 시스템의 정의가 (1) 시스템의 범위, (2) 이를 작동시키는 제반 기술, 그리고 (3) 시스템의 목적이라는 세 가지 요소를 중심으로 서술되고 있었다. 첫째로, 여러 문헌에서 학습분석 시스템을 정의하는 데에 있어 시스템의 범위를 다양하게 설정하고 있었다. 대부분의 문헌에서는 학습분석 시스템(learning analytics system)이라는 용어를 직접적으로 사용하기보다[33-35], 학습분석 아키텍처(learning analytics architecture), 교육 빅데이터 아키텍처(educational big data architecture), 학습분석 프레임워크(learning analytics framework) 등의 표현을 더 많이 사용하고 있었다[36-39]. 이는 학습분석 시스템을 단일 시스템으로서 정의하기보다는 학습분석을 가능하게 하는 기술적 기반과 구조에 좀 더 주목하고 있음을 보여준다. 특히, 후자와 같은 표현을 사용하는 문헌들은 학습분석의 과정을 지원하는 하위 소프트웨어의 구조에 초점을 두는 경향이 있었다[40-42]. 모든 문헌에서 공통적으로 학습분석 시스템을 디지털 교수학습 시스템의 일부 기능이나 하위 시스템으로 간주하였으며, 교수학습 과정에서 생성된 데이터를 처리하는 분석 엔진의 소프트웨어 집합으로 설명하고 있었다[23, 43]. 즉, 학습분석 시스템은 특정한 하나의 분석 기법이나 기능 그 자체로 정의되기보다는, 교수학습 과정을 관찰하고 분석할 수 있게 하는 기술적인 인프라의 관점에서 논의되고 있었다.

둘째, 학습분석 시스템의 제반 기술 측면에서는 학습분석과 관련된 기능 및 애플리케이션[44, 45], 교육 데이터마이닝[38], 데이터 시각화[46-49], 그리고 이를 통합적으로 지원하는 AI[50, 51]나 머신러닝 및 딥러닝과 같은 빅데이터 핸들링 테크닉[52, 53]에 대한 강조가 이루어졌다. 이러한 기술들은 학습자와 시스템 사이의 실시간 상호작용으로부터 데이터를 수집하고 분석하는 데에 필요한 것이다[54, 55]. 또한, 이를 토대로 하는 추천 시스템, 적응형 시스템과 같은 액추에이터 시스템(actuator system)이 작동할 수 있는 기반이 언급되기도 하였다[56, 57]. 무엇보다도 이때 필요한 대용량 데이터를 다루기 위해서, 서로 다른 원천으로부터 수집되는 데이터를 통합적으로 관리할 수 있는 로컬 및 리모트 환경의 데이터베이스 상호작용을 관리하는 기술이 뒷받침되어야 한다는 점이 강조되었다[58].

이러한 정의들과 함께 나타난 학습분석 시스템의 주요 특징에는 세 가지가 있다(Table 3 참고). 첫째, 학습분석 시스템은 학습 과정에서 생산되는 빅데이터의 수집, 분석, 보고를 인간 대신에 수행할 수 있게 한다[62]. 이는 전통적인 수업 상황에서 소수의 교수자가 개별 학습자의 교수학습 과정을 일일이 관찰하는 것을 통해서만 가능했었던 개별화, 적응화 과정이 가능해짐을 의미한다. 교수학습 장면의 다양한 활동과 피드백을 실시간에 가깝게 추적하고 이를 기반으로 적절한 처방이 즉시 제공될 수 있다는 점에서, 학습분석 과정의 순환 주기가 짧아질 수 있게 한다[46, 63].

둘째, 학습분석 시스템은 다양한 유형의 데이터를 포괄하고 이를 분석하는 기법을 갖추어야 한다[35]. 이를 위해서는 교수학습 상황에서 어떤 데이터를 수집하고 분석할 것인지를 정의하는 학습분석 프레임워크가 필요하다. 이에 따라서 데이터 수집, 분석 및 처리의 방향성이 결정되기 때문이다[64]. 수집된 상호작용 데이터를 기반으로 학습자 모델과 학습 활동 지표를 생성하고, 교수학습 과정에 따라 이를 적응적으로 업데이트하여 대시보드 등에 시각화하는 일련의 과정을 이론적으로 뒷받침하는 것이 학습분석 프레임워크의 핵심 역할이다[48, 57]. 이를 기반으로 설계되는 학습분석 시스템은 전체 교수학습의 과정을 유기적으로 지원할 수 있다.

이때, 학습분석 시스템이 다양한 데이터를 수집하고 분석할 수 있어야 한다는 것은, 데이터가 발생하는 원천인 학습 애플리케이션이나 하위 시스템과 연동이 되어 있어야 함을 의미한다[40]. 다시 말해, 셋째 특징으로 학습분석 시스템은 무들(Moodle)과 같은 LMS, OER(open educational resource), 대시보드와 같이 전체 교수학습 시스템 생태계가 돌아가는 데에 활용되는 테크놀로지나 오픈 소스 툴과 연결되는 것을 통해[65-67] 다각도로 데이터의 수집이 이루어질 수 있어야 한다.

요컨대, 학습분석 시스템은 '디지털 교수학습 시스템의 하위 시스템으로서, 교수학습 과정에서 생성되는 데이터를 수집·저장·통합한 뒤, 이를 분석하여 시각화 및 보고하는 일련의 과정을 수행하는 기반 소프트웨어 아키텍처'라고 정의될 수 있다. 이때, 단순히 데이터를 분석하는 애널리틱스 측면만이 아니라, 분석 결과를 바탕으로 교수학습 주체에게 실행 가능한 처방을 제공한다는 점이 핵심적인 특징이다.

4.2 학습분석 시스템의 구조 및 구성 요소

이처럼 학습분석 시스템을 정의한 바에 따라서, 학습분석 시스템은 교수학습 과정에서 발생하는 대용량의 데이터를 수집, 저장, 처리 및 표현하는 하위 기능을 전부 포함해야 한다. 수집된 문헌들에서 나타난 빅데이터 아키텍처의 하위 레이어 분류 기준[25, 59, 68, 69]을 참고하여 최종 하위 레이어를 세 개로 구성할 수 있었다. 이는 각각 '데이터베이스 레이어(database layer)', '애널리틱스 레이어(analytics layer)', '인터페이스 레이어(interface layer)'이다. 최종 분석 대상 문헌을 세 개의 하위 레이어에 따라서 분류한 결과는 다음의 Table 4에 일부 제시하였다.

Table 4.

Classification of reviewed papers by system layers

4.2.1 학습분석 시스템의 구조

학습분석 시스템의 전체 시스템 구조는 다음의 Fig 2와 같이 요약할 수 있다. 구조 상단에는 교수학습 과정이 위치하며, 그 아래에는 학습분석 시스템의 인터페이스 레이어, 데이터베이스 레이어, 애널리틱스 레이어의 순으로 구성되어 연결되어 있다. 이 구조에서는 각 레이어 간의 상호 관계와 기능적인 역할을 고려하여, 건축 구조의 캡스톤(capstone), 키스톤(keystone), 코너스톤(cornerstone)의 관계를 고려하였다[72]. 아치 구조에서 안정성을 위해 코너스톤이 중심을 잡아준 후 그 위에 키스톤이 쌓여서 캡스톤이 구조 전체를 완성하듯이, 데이터베이스 레이어와 애널리틱스 레이어는 코너스톤과 키스톤의 역할을 하며, 교수학습 주체와 직접 맞닿는 인터페이스 레이어는 캡스톤에 해당한다. 이는 교수학습 과정이 효과적으로 이루어지기 위해 하위 시스템들이 견고하면서도 유기적으로 기반을 이루고 있어야 함을 표현한 것이다.

Figure 2.

Learning analytics system structure(Summary)

디지털 교수학습 시스템 내에서 교수학습이 진행됨에 따라 교수학습 주체가 교수자나 동료 학습자와 같은 다른 인간 에이전트(agent)나 생성형 AI와 같은 비인간 에이전트, 그리고 학습 콘텐츠와 상호작용하는 모습이 표현되어 있다. 이 과정에서 인터페이스 레이어에 의해 교수학습 주체는 시스템과 맞닿아서 상호작용할 수 있으며, 이 창구를 통해 데이터의 수집 및 제공 역시 이루어진다. 수집된 데이터는 이후 다양한 데이터 원천에 저장되는데, 이러한 원천으로부터 데이터를 수집, 저장 및 전처리하는 소프트웨어의 집합을 통칭하여 데이터베이스 레이어라고 한다. 애널리틱스 레이어는, 데이터베이스 레이어와 연결되어 전처리된 데이터를 분석의 목적에 맞게 분석하는 과정을 담당한다. 이러한 결과가 적절한 시각화 방법과 결합하여 다시금 인터페이스 레이어에 전달되어 교수학습 주체에게 제공되는 순환적인 과정을 표현하였다.

다음의 Fig 3은 각 하위 시스템 레이어의 상세 구성 요소와 함께 앞서 설명한 구조를 개괄적으로 나타낸다(부록의 [그림 1] 참고). 각 시스템 레이어의 상세도는 부록에 첨부하였다(부록의 [그림 2] ~ [그림 4] 참고).

Figure 3.

Learning analytics system structure(Detailed)

4.2.2 데이터베이스 레이어

데이터베이스 레이어는 교수학습 과정에서 수집되는 데이터가 모여 있는 데이터 원천에 대한 접근, 데이터의 수집 및 저장, 본격적인 분석 과정 직전에 필요한 전처리를 담당하는 소프트웨어 레이어로 정의하였다. 데이터베이스 레이어는 크게 교수학습 과정으로부터 수집된 데이터가 모이는 데이터 원천(상단)과 두 소프트웨어를 잇는 메시지 지향 미들웨어(message-oriented middleware)[43], 그리고 데이터 원천에 접근하여 수집된 데이터를 처리하는 데이터 수집 및 저장 소프트웨어 집합(하단)으로 이루어져 있다.

데이터 원천은 학습자 내부로부터 얻는 데이터의 집합, 교수학습 시스템 내부의 하위 시스템, 외부 시스템, 그리고 기타 원천으로 구분된다. 학습자 내부로부터 얻는 데이터 원천에는 학습자의 생리 심리 데이터와 같은 멀티모달 데이터에 대한 탐지 및 분류기가 존재한다[67, 73]. 다음으로, 교수학습 시스템 내부의 하위 시스템에는 LMS와 LCMS(learning contents management system, 학습 콘텐츠 관리 시스템) 등이 있고[36, 68, 74], 그 밖에 학습자의 다양한 특성 정보를 제공할 수 있는 외부 시스템으로는 SIS(student information system, 학습자 정보 시스템), SAS(student administrative system, 학사 행정 시스템), LIS(library information system), 소셜 미디어 등이 있다[65, 68, 74]. 웹 로그나 생성형 AI 사용 로그 등도 기타 데이터 원천으로 활용할 수 있으며, 이러한 데이터들은 클라우드나 로컬 서버에 구현될 수 있다[36, 46, 67]. 이렇게 수집된 데이터들은 고정된 값인 특성 데이터와 시스템 상호작용 데이터로 나뉘어 저장될 수 있다.

데이터의 수집 및 저장을 담당하는 소프트웨어에서는 먼저, 메시지 지향 미들웨어에 의해 수집된 데이터의 특성에 따라 적합한 저장 방식이 결정된다[45]. 표준 데이터인 xAPI(experience API) 형식의 데이터는 '주체-동사-대상' 구조로 기록되며[49, 55, 60], JSON 형식으로 LRS(learning record store)에 저장된다[69, 75]. LRS는 유연한 처리를 위해 일반적으로 NoSQL(Not only SQL) 기반으로 구성될 수 있다[54, 68]. 실시간 스트리밍 데이터나 대용량 배치 데이터의 경우, 하둡(Hadoop) 생태계를 중심으로 처리되는데[23, 73, 76], HDFS(Hadoop distributed file system)에 분산 저장되고, Apache Sqoop, Flume, Kafka 등을 통해 수집된다[41, 74, 77]. 이후 YARN, MapReduce, Hive, Pig 등을 활용해 전처리되어 데이터 마트(data mart)로 모이게 된다[41, 78]. 이 모든 과정은 ETL(Extract-Transform-Load, 추출-변환-적재)을 따르며[50] 이후 단계에서 분석될 준비를 마친다. 특히, K-anonymity와 같은 암호화 및 익명화 기법을 적용해 개인정보 보호가 이루어질 수 있다[79-81].

4.2.3 애널리틱스 레이어

애널리틱스 레이어는 데이터베이스에서 전처리된 데이터를 넘겨받아 분석 목적에 맞게 처리하는 소프트웨어 레이어를 의미한다. 애널리틱스 레이어 역시, 아파치 하둡과 스파크 환경을 기반으로 운영되며[77, 82], 분석 도구로는 Python, R, Mahout 등이 사용된다[41, 63]. 애널리틱스 레이어는 상단부의 분석 모듈과 하단부의 분석 엔진으로 구성된다[16].

먼저, 분석 모듈은 기술적, 예측적, 처방적 학습분석[10]이라는 주요 목적에 따라, 데이터 풀과 분석 도구 풀을 매칭한다[16]. 데이터 풀은 앞서 설명한 데이터베이스 레이어의 데이터 원천 구조와 같으며, 분석 도구 풀은 예측 및 분류 모델, 머신러닝 및 딥러닝 기법, 데이터마이닝, 모델링 및 최적화 기법으로 나누어 구성될 수 있다[66, 70, 81-84].

분석 엔진은 데이터베이스 레이어에서 전달받은 데이터를 기반으로 분석 모듈에서 정해진 분석 목적에 맞게 데이터베이스를 생성한다. 이후 전처리와 모형 적합 과정을 거쳐 분석 결과물을 생성한다[48]. 이때 생성되는 분석 결과물은 분석 모듈을 고려했을 때 클러스터링, 시각화 등의 기술적 분석 결과, 예측 및 분류의 결과, 콘텐츠 및 동료 학습자 경로 추천 결과, 학습자 및 과제 모델링 결과로 나뉠 수 있다. 각각의 결과들은 적절한 시각화 및 넛지 기법 풀이나 추천 콘텐츠 풀과 결합하여 인터페이스 레이어로 전송된다.

4.2.4 인터페이스 레이어

인터페이스 레이어는 교수자, 학습자, 교수설계자와 같은 교수학습 주체와 시스템 간의 직접적인 상호작용을 가능하게 하며, 교수학습 주체가 시스템으로부터 산출된 분석 결과에 자유롭게 접근할 수 있게 하는 소프트웨어 레이어이다. 이는 일차적인 기준으로 삼았던 Zotou et al. [25]의 프레임워크에는 포함되지 않았으나, 문헌 분석을 통해 'presentation layer'[42, 70], 'interface layer'[36, 85], 'dashboard' [8, 23, 47] 등과 같은 개념이 반복적으로 언급되며 교수학습 주체와 학습분석 시스템 간의 상호작용 창구의 필요성이 강조되어 인터페이스 레이어를 도출하였다.

교수학습 주체에 따라서 수집되는 데이터와 제공되는 정보가 달라지는데, 이 과정에서 인터페이스 레이어와 애널리틱스 레이어가 긴밀하게 연결되어야 한다[59]. 다시 말해, 교수학습 주체로부터 수집된 데이터의 사용 현황과 함께 애널리틱스 레이어를 통해 분석된 결과들을 열람할 수 있어야 한다는 것이다[35]. 이와 같은 정보들은 그래픽 사용자 인터페이스(graphic user interface, GUI)를 통해 다양한 방식으로 시각화되는데, 팝업 창 클릭과 같은 GUI 요소에 의해 교수학습 주체와 시스템의 상호작용이 매개된다는 점에서 중요하다[86].

5. 논의 및 결론

본 연구는 디지털 교수학습 시스템의 기술적 기반이 되는 학습분석 시스템의 정의와 특징, 구조를 도출하는 것을 목적으로 한다. 이를 위하여 체계적 문헌 고찰을 통해 국내·외 70편의 논문을 분석하여 학습분석 시스템에 관한 논의를 종합적으로 살펴본 후, 이를 토대로 학습분석 시스템을 이루는 기본 구조와 핵심 구성 요소를 규명하였다.

연구 결과를 요약하면 다음과 같다. 학습분석 시스템은 교수학습 과정에서 생성되는 데이터를 수집·저장·통합·분석하여 시각화 및 보고하는 일련의 과정을 수행하며, 분석 결과를 바탕으로 교수학습 주체에게 실행 가능한 처방을 제공하는 소프트웨어 아키텍처로 정의되었다. 단순히 데이터 분석을 하는 차원을 넘어서서, 교수학습의 개선을 위한 실천적 활용이 가능하도록 작동한다는 점이 핵심적인 특징으로 드러났다. 또한, 학습분석 시스템의 전체 구조는 데이터의 흐름과 상호작용 과정을 중심으로 인터페이스 레이어, 애널리틱스 레이어, 데이터베이스 레이어로 구성되었다. 학습분석 시스템의 구조를 체계화하는 것을 통해 교수학습 주체와 시스템 간의 유기적인 연결 및 교수학습 지원 방안을 설계할 수 있는 기반을 제시하였다. 본 연구는 기존 문헌에서 제시된 아키텍처 요소들을 단순히 정리하는 데 그치지 않고, 학습분석 시스템이 전체 교수학습 시스템 내에서 유기적이고 환류적으로 작동해야 한다는 필요조건을 반영해 구조화된 모델을 제시했다는 점에서 의의가 있다. 이를 통해 실제 시스템의 설계에 필요한 인사이트를 도출하고 더 나아가 디지털 교수학습 시스템에서 이와 같은 학습분석 시스템이 어떻게 적용될 수 있을지에 대한 가능성을 함께 살펴보았다.

이와 같은 연구의 의의에도 불구하고, 본 연구는 몇 가지 한계를 지닌다. 첫째, 본 연구에서 학습분석 시스템 구조를 도출하는 과정에서 '학습분석 아키텍처' 및 '학습분석 시스템'과 같은 검색어를 중심으로 문헌을 수집하였기 때문에, 대시보드에 초점을 맞춘 문헌은 일부 분석 대상에서 제외되었다. 그러나 최종 선정 문헌에서 대시보드나 인터페이스 레이어에 관한 내용이 공통으로 등장함에 따라서, 인터페이스 레이어를 학습분석 시스템의 하위 레이어로 포함하게 되었다. 이에 따라 인터페이스 레이어의 구성 요소를 더욱 포괄적으로 도출하기 위해서는 대시보드와 직접적으로 관련된 검색어를 활용해 유관 문헌을 중심으로 한 추가적인 분석이 필요하다. 특히, 교수학습 맥락에 따라서 인터페이스 레이어에 제시될 정보의 형태가 달라지지는 않을지 탐구하여야 하며, 교수학습 주체의 종합적인 성찰을 지원하는 메타적인 대시보드가 전체 디지털 교수학습 시스템에서 어떻게 활용될 수 있을지 등에 관한 후속 연구가 요구된다[87]. 둘째, 본 연구에서 도출한 학습분석 시스템의 구조 및 구성 요소는 수집된 문헌에 기반한 이론적 모델이다. 그러므로 실제 소프트웨어 개발 및 구현 과정에서는 기술적 호환성이나 효율성 등의 이유로 일부 구성 요소가 수정되거나 대체될 가능성이 있다. 이에 따라 본 연구에서 도출된 시스템 구조도에 관해서는 기술적인 측면에서의 추가적인 검토가 필요하며, 특히 교수학습 과정과 학습분석 시스템을 연계하여 설계하는 실천적인 맥락 속에서 해당 프레임워크를 검증하고 보완하는 연구가 이루어져야 한다. 이는 학습분석 시스템을 실제로 설계하고 적용하면서, 교수학습 주체의 활동으로부터 반복적으로 데이터를 수집·분석하는 과정을 통해 점진적으로 발전할 수 있다. 예컨대, 본 연구에서 제시한 데이터 흐름 이외에도 실제 설계·운영 과정에서는 예상하지 못했던 데이터가 필요해질 수 있다. 이러한 결과를 바탕으로, 설계 기반 연구(design-based research) 접근[88]을 활용하여 초기 시스템을 설계하고, 그 시스템이 작동하며 데이터를 축적하는 과정을 통해 연구 결과를 지속적으로 보완해 나가는 후속 연구가 가능할 것이다. 본 연구의 결과는 완성된 설계도라기보다, 하나의 시스템 사이클이 작동하는 데 필요한 최소한의 핵심 요소들을 담은 확장 가능한 초기 모델로 이해될 수 있으며, 실제 시스템의 설계와 실행 과정을 통해 함께 공진화할 수 있을 것으로 기대된다.

Acknowledgments

본 논문은 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2020S1A5C2A04092451.)

본 논문은 제1저자의 이화여자대학교 일반대학원 석사학위논문 일부를 발췌하여 요약, 정리한 것임.

References

• Lohr, S. (2012, February 11). The age of big data. The New York Times. https://www.nytimes.com/2012/02/12/sunday-review/big-datas-impact-in-the-world.html
• Long, P., & Siemens, G. (2011). Penetrating the Fog: Analytics in Learning and Education. Educause Review, 46(5), 31-40.
• Chatti, M. A., Muslim, A., & Schroeder, U. (2017). Toward an open learning analytics ecosystem. In B. K. Daniel (Ed.), Big data and learning analytics in higher education (pp. 195-219). Springer. [https://doi.org/10.1007/978-3-319-06520-5_12]
• Kim, E., & Choi, H. (2021). Needs analysis of instructors and learners to enhance educational effects of an e-Learning platform in higher education. The Journal of Korean Association of Computer Education, 24(3), 33-44. [https://doi.org/10.32431/kace.2021.24.3.004]
• Lim, C., Han, H., Jung, D., Ozturk, Y. E., & Hong, J. (2017). Exploring an e-learning platform prototype for supporting learning design. Journal of Educational Technology, 33(4), 799-837. [https://doi.org/10.17232/KSET.33.4.799]
• Blemenstein, M. (2020). Synergies of learning analytics and learning design: A systematic review of student outcomes. Journal of Learning Analytics, 7(3), 13-32. [https://doi.org/10.18608/jla.2020.73.3]
• Mun, S., & Jo, I. (2025). Evolving the 4C/ID model through learning analytics approaches: Teaching and learning system design framework for supporting learners’ complex problem-solving. Proceedings of the 15th International Learning Analytics and Knowledge Conference, Dublin, Ireland. (pp. 611-619). [https://doi.org/10.1145/3706468.3706549]
• Nguyen, A., Tuunanen, T., Sheridan, D., & Gardner, L. (2020). Design principles for learning analytics information systems in higher education. European Journal of Information Systems, 30(5), 541-568. [https://doi.org/10.1080/0960085X.2020.1816144]
• Tabaa, Y., & Medouri, A. (2013). LASyM: A learning analytics system for MOOCs. International Journal of Advanced Computer Science and Applications, 4(5), 113-119. [https://doi.org/10.14569/IJACSA.2013.040516]
• Jo, I. H. (2023). HRD and learning analytics. Pakyoung Story.
• Jo, I., & Kim, J. H. (2013). Investigation of statistically significant period for achievement prediction model in e-Learning. Journal of Educational Technolopy, 29(2), 285-306. [https://doi.org/10.17232/KSET.29.2.285]
• Elias, T. (2011). Learning analytics: The definitions, the processes, and the potential. The Landing – Athabasca University. https://landing.athabascau.ca/file/download/43713
• Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6), 683-695. [https://doi.org/10.1080/13562517.2013.827653]
• Ifenthaler, D., & Yau, J. Y. (2020). Utilising learning analytics to support study success in higher education: A systematic review. Educational Technology Research and Development, 68, 1961-1990. [https://doi.org/10.1007/s11423-020-09788-z]
• Li, T., Nath, D., Cheng, Y., Fan, Y., Li, X., Raković, M., Khosravi, H., Swiecki, Z., Tsai, Y.-S., & Gašević, D. (2025). Turning real-time analytics into adaptive scaffolds for self-regulated learning using generative artificial intelligence. Proceedings of the 15th International Learning Analytics and Knowledge Conference (LAK '25), Kyoto, Japan, 667–679. [https://doi.org/10.1145/3706468.3706559]
• Muslim, A., Chatti, M. A., & Schroeder, U. (2022). Supporting indicator personalization and platform extensibility in open learning analytics. Technology, Knowledge, and Learning, 27, 429-448. [https://doi.org/10.1007/s10758-021-09543-0]
• Jeong, G., Anna, S., Yeol, H., & Jo, I. (2022). Development and validation of the digital education ecosystem quality evaluation model and constructs. Journal of Educational Technology, 38(4), 1171-1222. [https://doi.org/10.17232/KSET.38.4.1171]
• Kim, G. E. (2024). A study on constructing a conceptual and procedural model for learning platform ecosystems: An activity theory approach [Unpublished master’s thesis]. Ewha Womans University.
• Park, Y., & Jo, I. (2014). Design and application of visual dashboard based on learning analytics. Journal of Educational Information and Media, 20(2), 191-216. [https://doi.org/10.15833/KAFEIAM.20.2.3]
• Verbert, K., Govaerts, S., Duval, E., Santos, J. L., Assche, F. V., Parra, G., & Klerkx, J. (2014). Learning dashboards: An overview and future research opportunities. Personal and Ubiquitous Computing, 18, 1499-1514. [https://doi.org/10.1007/s00779-013-0751-2]
• Shimada, A., Konomi, S., & Ogata, H. (2018). Real-time learning analytics system for improvement of on-site lectures. Interactive Technology and Smart Education, 15(4), 314-331. [https://doi.org/10.1108/ITSE-05-2018-0026]
• de Quincey, E., Briggs, C., Kyriacou, T., & Waller, R. (2019). Student centred design of a learning analytics system. Proceedings of 9th conference of Learning Analytics and Knowledge, Tempe AZ, USA, 353-362. [https://doi.org/10.1145/3303772.3303793]
• Yoon, S., Yang, S. H., & Park, H. (2021). LMS-based edutech teaching and learning paltform model design study. Journal of Digital Convergence, 19(10), 29-38. [https://doi.org/10.14400/JDC.2021.19.10.029]
• Matsebula, F., & Mnkandla, E. (2017). A big data architecture for learning analytics in higher education. Proceedings of the IEEE AFRICON, Cape town, South Africa, 951-956. [https://doi.org/10.1109/AFRCON.2017.8095610]
• Zotou, M., Tambouris, E., & Tarabanis, K. (2020). Data-driven problem based learning: Enhancing problem based learning with learning analytics. Educational Technology Research and Development, 68, 3393-3424. [https://doi.org/10.1007/s11423-020-09828-8]
• Kitchenham, B. (2004). Procedures for performing systematic reviews (Technical Report No. TR/SE-0401). Keele University.
• Richey, R. C., & Klein, J. D. (2007). Design and development research: Methods, strateg-ies, and issues. Routledge. [https://doi.org/10.4324/9780203826034]
• Tsoni, R., Kalles, D., & Verykios, V. S. (2022). A data pipeline approach for building learning analytics dashboards. Proceedings of the 12th Hellenic Conference on Artificial Intelligence, New York, USA, 33, 1-6. [https://doi.org/10.1145/3549737.3549774]
• Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hrobjartsson, A., Lalu, M. M., Li, T., Loderm, E. W., Mayo-Wilson, E., McDonald, S., & Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. Systemic Reviews, 10(89), 1-11. [https://doi.org/10.1186/s13643-021-01626-4]
• Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27(2), 94-104. [https://doi.org/10.1093/swr/27.2.94]
• Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382-385. [https://doi.org/10.1097/00006199-198611000-00017]
• Seong, T. (2014). Modern educational evaluation (4th ed.). Hakjisa.
• Cobos, R. (2023). Self-regulated learning and active feedback of MOOC learners supported by the intervention strategy of a learning analytics system. Electronics, 12(5), 3368. [https://doi.org/10.3390/electronics12153368]
• Corbu, E. C., & Edelhauser, E. (2021). Responsive dashboard as a component of learning analytics system for evaluation in emergency remote teaching situations. Sensors, 21, 7998. [https://doi.org/10.3390/s21237998]
• Divjak, B., Vondra, P., & Aničić,, K. P. (2022). Strategic development of a national pre-tertiary learning analytics system. Journal of Information and Organizational Sciences, 46(1), 173-195. [https://doi.org/10.31341/jios.46.1.10]
• Amo, D., Gómez, P., Hernández-Ibáñez, L., & Fonseca, D. (2021). Educational warehouse: Modular, private and secure cloudable architecture system for educational data storage, analysis, and access. Applied Science, 11(2), 806. [https://doi.org/10.3390/app11020806]
• Chung, S. (2022). Design of education support service architecture based on learning analysis to support student success. Journal fo Information Technology and Architecture, 19(1), 51-58. [https://doi.org/10.22865/jita.2022.19.1.51]
• Dodero, J. M., González-Conejero, E. J., Gutiérrez-Herrera, G., Peinado, S., Tocino, J. T., & Ruiz-Rube, I. (2017). Trade-off between interoperability and data collection performance when designing an architecture for learning analytics. Future Generation Computer Systems, 68, 31-37. [https://doi.org/10.1016/j.future.2016.06.040]
• Santos, J. L., Verbert, K., Klerkx, J., Charleer, S., & Duval, E. (2015). Tracking data in open learning environments. Journal of Universal Computer Science, 21(7), 976-996. [https://doi.org/10.3217/jucs-021-07-0976]
• Cambruzzi, W., Rigo, S. J., & Barbosa, J. L. V. (2015). Dropout prediction and reduction in distance education courses with the learning analytics multitrail approach. Journal of Universal Computer Science, 21(1), 23-47. [https://doi.org/10.3217/jucs-021-01-0023]
• Chen, W., Milosevic, Z., Rabhi, F. A., & Berry, A. (2023). Real-time analytics: Concepts, architectures, and ML/AI considerations. IEEE Access, 11, 71634-71657. [https://doi.org/10.1109/ACCESS.2023.3295694]
• Oliveira, E. A., & de Barba, P. (2021). Enabling adaptive, personalised and context-aware interaction in a smart learning environment: Piloting the iCollab system. Australasian Journal of Educational Technology, 37(2), 1-23. [https://doi.org/10.14742/ajet.6792]
• Ruipèrez-Valiente, J. A., Muñoz-Merino, P. J., Gascón-Pinedo, J. A., & Kloos, C. D. (2017). Scaling to massiveness with ANALYSE: A learning analytics tool for Open edX. IEEE Transactions on Human-Machine Systems, 47(6), 909-914. [https://doi.org/10.1109/THMS.2016.2630420]
• Saqr, M., & Alamro, A. (2019). The role of social network analysis as a learning analytics tool in online problem based learning. BMC Medical Education, 19, 1-11. [https://doi.org/10.1186/s12909-019-1599-6]
• tamachant, P., Anutariya, C., & Pongnumkul, S. (2023). i-Ntervene: Applying an evidence-based learning analytics intervention to support computer programming instruction. Smart Learning Environments, 10(37), 1-30. [https://doi.org/10.1186/s40561-023-00257-7]
• Cornide-Reyes, H., Riquelme, F., Monsalves, D., Noel, R., Cechinel, C., Villarroel, R., Ponce, F., & Munoz, R. (2020). A multimodal real-time feedback platform based on spoken interactions for remote active learning support. Sensors, 20, 6337. [https://doi.org/10.3390/s20216337]
• Halimi, K., & Seridi-Bouchelaghem, H. (2019). A Web3.0-based intelligent learning system supporting education in the 21st century. Journal of Universal Computer Science, 25(10), 1373-1393. [https://doi.org/10.3217/jucs-025-10-1373]
• Pérez-Berenguer, D., Kessler, M., & García-Molina, J. (2020). A customizable and incremental processing approach for learning analytics. IEEE Access, 8, 36350-36362. [https://doi.org/10.1109/ACCESS.2020.2975384]
• Tobarra, L., Utrilla, A., Robles-Gómez, A., Pastor-Vargas, R., & Hernández, R. (2021). A cloud game-based educative platform architecture: The CyberScratch Project. Applied Sciences, 11, 807. [https://doi.org/10.3390/app11020807]
• Baneres, D., Guerrero-Roldán, A. E., Rodríguez-González, M. E., & Karadeniz, A. (2021). A predictive analytics infrastructure to support a trustworthy early warning system. Applied Science, 11(13), 5781. [https://doi.org/10.3390/app11135781]
• Janati, S. E., Maach, A., & Ghanami, D. E. (2019). Learning analytics framework for adaptive e-learning system to monitor the learner’s activities. International Journal of Advanced Computer Science and Applications, 10(8), 275-284. [https://doi.org/10.14569/IJACSA.2019.0100835]
• Jones, K. M. L. (2019). Learning analytics and higher education: A proposed model for establishing informed consent mechanisms to promote student privacy and autonomy. International Journal of Educational Technology in Higher Education, 16(24), 1-22. [https://doi.org/10.1186/s41239-019-0155-0]
• Muljana, P. S., & Luo, T. (2021). Utilizing learning analytics in course design: Voices from instructional designers in higher education. Journal of Computing in Higher Education, 33, 206-234. [https://doi.org/10.1007/s12528-020-09262-y]
• Bodily, R., Ikahihifo, T. K., Mackley, B., & Graham, C. R. (2018). The design, development, and implementation of student-facing learning analytics dashboards. Journal of Computing in Higher Education, 30, 572-598. [https://doi.org/10.1007/s12528-018-9186-0]
• Pérez-Berenguer, D., & García-Molina, J. (2018). A standard-based architecture to support learning interoperability: A practical experience in gamification. Software-Practice & Experience, 48(6), 1238-1268. [https://doi.org/10.1002/spe.2572]
• Klašnja-Milićević, A., Ivanović, M., & Stantić, B. (2020). Designing personalized learning environments - The role of learning analytics. Vietnam Journal of Computer Science, 7(3), 231-250. [https://doi.org/10.1142/S219688882050013X]
• Ruipèrez-Valiente, J. A., Muñoz-Merino, P. J., Leony, D., & Kloos, C. D. (2015). ALAS-KA: A learning analytics extension for better understanding the learning process in the khan academy platform. Computers in Human Behavior, 47, 139-148. [https://doi.org/10.1016/j.chb.2014.07.002]
• Santamaría-Bonfil, G., Escobedo-Briones, G., Perez-Ramírez, M., & Arroyo-Figueroa, G. (2019). A learning ecosystem for Linemen training based on big data components and learning analytics. Journal of Universal Computer Science, 25(5), 541-568. [https://doi.org/10.3217/jucs-025-05-0541]
• Kustitskaya, T. A., Esin, R. V., Kytmanov, A. A., & Zykova, T. V. (2023). Designing an education database in a higher education institution for the data-driven management of the educational process. Education Sciences, 13, 947. [https://doi.org/10.3390/educsci13090947]
• Fernández-Morante, C., Cebreiro-López, B., Rodríguez-Malmierca, M., & Casal-Otero, L. (2022). Adaptive learning supported by learning analytics for student teachers’ personalized training during in-school practices. Sustainability, 14, 124. [https://doi.org/10.3390/su14010124]
• Kärner, T., Warwas, J., & Schumann, S. (2021). A learning analytics approach to address heterogeneity in the classroom: The teachers’ diagnostic support system. Technology, Knowledge and Learning, 26, 31-52. [https://doi.org/10.1007/s10758-020-09448-4]
• Hsiao, I., & Lin, Y. (2017). Enriching programming content semantics: An evaluation of visual analytics approach. Computers in Human Behavior, 72, 771-782. [https://doi.org/10.1016/j.chb.2016.10.012]
• Klašnja-Milićević, A., Ivanović, M., & Budimac, Z. (2017). Data science in education: Big data and learning analytics. Computer Applications in Engineering Education, 25(6), 1066-1078. [https://doi.org/10.1002/cae.21844]
• Lunsford, D. L. (2019). An output model for human resource development analytics. Performance Improvement Quarterly, 32(1), 13-35. [https://doi.org/10.1002/piq.21284]
• Kuromiya, H., Majumdar, R., & Ogata, H. (2020). Fostering evidence-based education with learning analytics: Capturing teaching-learning cases from log data. Educational Technology & Society, 23(4), 14-29. https://www.jstor.org/stable/26981741
• Moon, J., Do, J., Lee, D., & Choi, G. W. (2020). A conceptual framework for teaching computational thinking in personalized OERs. Smart Learning Environments, 7(6), 1-19. [https://doi.org/10.1186/s40561-019-0108-z]
• Naranjo, D. M., Prieto, J. R., Moltó, G., & Calatrava, A. (2019). A visual dashboard to track learning analytics for educational cloud computing. Sensors, 19, 2952. [https://doi.org/10.3390/s19132952]
• Ang, K. L., Ge, F. L., & Seng, K. P. (2020). Big educational data & analytics: Survey, architecture and challenges. IEEE Access, 8, 116392-116414. [https://doi.org/10.1109/ACCESS.2020.2994561]
• Ciordas-Hertel, G., Schneider, J., Ternier, S., & Drachsler, H. (2019). Adopting trust in learning analytics infrastructure: A structured literature review. Journal of Universal Computer Science, 25(13), 1668-1686. [https://doi.org/10.25656/01:23312]
• Alonso-Secades, V., López-Rivero, A., Martín-Merino-Acera, M., Ruiz-García, M., & Arranz-García, O. (2022). Designing an intelligent virtual educational system to improve the efficiency of primary education in developing countries. Electronics, 11, 1487. [https://doi.org/10.3390/electronics11091487]
• Mangaroska, K., Vesin, B., Kostakos, V., Brusilovsky, P., & Giannakos, M. N. (2021). Architecting analytics across multiple e-learning systems to enhance learning design. IEEE Transactions on Learning Technologies, 14(2), 173-188. [https://doi.org/10.1109/TLT.2021.3072159]
• Schroetter, S. A., & Wendler, M. C. (2007). Capstone experience: Analysis of an educational concept for nursing. Journal of Professional Nursing, 24(2), 71-79. [https://doi.org/10.1016/j.profnurs.2007.06.019]
• Mago, B., & Khan, N. (2021). A proposed framework for big data analytics in higher education. International Journal of Advanced Computer Science and Application, 12(7), 685-691. [https://doi.org/10.14569/IJACSA.2021.0120778]
• Redmond, W. D., & Macfadyen, L. P. (2020). A framework to leverage and mature learning ecosystems. International Journal of Emerging Technologies in Learning, 15(5), 75-98. [https://doi.org/10.3991/ijet.v15i05.11898]
• Vidal, J. C., Rabelo, T., Lama, M., & Amorim, R. (2018). Ontology-based approach for the validation and conformance testing of xAPI events. Knowledge-Based systems, 155, 22-34. [https://doi.org/10.1016/j.knosys.2018.04.035]
• Villegas-Ch., W., Roman-Cañizares, M., Sánchez-Viteri, S., García-Ortiz, J., & Gaibor-Naranjo, W. (2021). Analysis of the state of learning in university students with the use of a Hadoop framework. Future Internet, 13, 140. [https://doi.org/10.3390/fi13060140]
• Yi, A. C. Y., Ying, T. K., Yee, S. J., Chin, W. M., & Tin, T. T. (2022). InPath forum: A real-time learning analytics and performance ranking forum system. IEEE Access, 10, 128536-128542. [https://doi.org/10.1109/ACCESS.2022.3227430]
• Jeon, I., & Song, K. (2020). Development of software education support system using learning analysis technique. Journal of the Korean Association of Information Education, 24(2), 157-165. [https://doi.org/10.14352/jkaie.2020.24.2.157]
• Feldman-Maggor, Y., Barhoom, S., Blonder, R., & Tuvi-Arad, I. (2021). Behind the scenes of educational data mining. Education and Information Technologies, 26, 1455-1470. [https://doi.org/10.1007/s10639-020-10309-x]
• Hasan, R., Palaniappan, S., Mahmood, S., Abbas, A., & Sarker, K. U. (2021). Dataset of students’ performance using student information system, moodle, and the mobile application “eDify”. Data, 6, 110. [https://doi.org/10.3390/data6110110]
• Tran, H., & Hu, J. (2019). Privacy-preserving big data analytics - A comprehensive survey. Journal of Parallel and Distributed Computing, 134, 207-218. [https://doi.org/10.1016/j.jpdc.2019.08.007]
• Yu, C., Wu, J., Liu, M., & Liu, A. (2021). Adopting software product lines to implement an efficient learning analytics framework in MOOCs. Journal of Information Science and Engineering, 37, 139-155. [https://doi.org/10.6688/JISE.202101_37(1).0010]
• López-Pernas, S., & Saqr, M. (2021). Bringing synchrony and clarity to complex multi-channel data: A learning analytics study in programming education. IEEE Education Society Section, 9, 166531-166541. [https://doi.org/10.1109/ACCESS.2021.3134844]
• Lotfi, E. (2020). Towards a new platform based on learning outcomes analysis for mobile serious games. International Journal of Emerging Technologies in Learning, 15(2), 42-57. [https://doi.org/10.3991/ijet.v15i02.11637]
• Mejia, C., Florian, B., Vatrapu, R., Bull, S., Gomez, S., & Fabregat, R. (2017). A novel web-based approach for visualization and inspection of reading difficulties on university students. IEEE Transactions on Learning Technologies, 10(1), 53-67. [https://doi.org/10.1109/TLT.2016.2626292]
• Yang, Y., Majumdar, R., Li, H., Flanagan, B., & Ogata, H. (2022). Design of a learning dashboard to enhance reading outcomes and self-directed learning behaviors in out-of-class extensive reading. Interactive Learning Environments, 1-18. [https://doi.org/10.1080/10494820.2022.2101126]
• Mun, S., Kim, G., Cha, E., Shin, A., & Jo, I. (2023). A meta-analysis of effects of learning analytics dashboards on learners’ cognitive, affective, and metacognitive abilities. The Journal of Korean Association of Computer Education, 26(3), 67-82. [https://doi.org/10.32431/kace.2023.26.3.006]
• Hoadley, C., & Campos, F. C. (2022). Design-based research: What it is and why it matters to studying online learning. Educational Psychologist, 57(3), 207-220. [https://doi.org/10.1080/00461520.2022.2079128]