[ Article ]

The Journal of Korean Association of Computer Education - Vol. 27, No. 2, pp.13-23

ISSN: 1598-5016 (Print) 2733-9785 (Online)

Print publication date 31 Mar 2024

Received 26 Nov 2023 Revised 07 Jan 2024 Accepted 08 Jan 2024

DOI: https://doi.org/10.32431/kace.2024.27.2.002

메타버스 교육 환경의 학습자 학습 평가 모델 연구

이충섭^† ; 안성진^††

†정 회 원: 성균관대학교 대학원 교과교육학과 박사수료
††종신회원: 성균관대학교 사범대학 컴퓨터교육과 교수(교신저자)

A Study on the Learning Evaluation Model for Learners in the Metaverse Educational Environment

Chung Sup Lee^† ; Seongjin Ahn^††

초록

미래 교육의 메타버스는 대면 수업과 비대면 온라인 수업의 장점을 확장하고 단점을 보완할 수 있는 교육 환경으로 기대를 모으고 있다. 새로운 교육 환경인 메타버스에서 학습자의 학습활동 데이터를 기반으로 학습 결과를 보다 효과적이고 효율적으로 평가하기 위해 평가 모델 관련 선행 연구를 고찰하여 Kirkpatrick의 4단계, Stufflebeam의 CIPP, Thalheimer의 학습 전이 평가 모델(LTEM) 등 인적자원개발(HRD) 분야의 모델을 기반으로 메타버스 환경에서의 학습 평가 모델을 설계하였다. 이 연구는 델파이 조사를 통하여 메타버스 환경에서의 학습 평가 모델로 학습, 반응, 지식, 산출물, 과정 등 총 5개의 평가 유형과 21개의 평가 요인을 도출하였다. 이 연구의 학습 평가 모델은 메타버스 환경의 특징으로 인하여 선행 연구와 같이 단계(Level, Tier)나 순서(Step)로 연결되지 않고 각각 독립된 형태를 유지하면서 동시에 진행된다는 점에서 선행 연구와 차이가 있다. 이 연구 결과는 메타버스 환경의 교육 현장에서 활용할 수 있는 학습 평가 모델의 기반을 마련했다는데 의의가 있다.

Abstract

The metaverse of future education is expected to be an educational environment that can expand the advantages and complement the disadvantages of face-to-face and non-face-to-face online classes. In order to more effectively and efficiently evaluate learning outcomes based on the learner's learning activity data in the new educational environment, Metaverse, we reviewed prior research on evaluation models and designed a learning evaluation model for the metaverse environment based on models in the field of Human Resource Development(HRD) such as Kirkpatrick's 4 Levels, Stufflebeam's CIPP, and Thalheimer's Learning Transfer Evaluation Model(LTEM). This study derived a total of 5 evaluation types and 21 evaluation factors, including learning, reaction, knowledge, output, and process, as a learning evaluation model in a metaverse environment through a Delphi survey. The learning evaluation model of this study differs from previous studies in that, due to the characteristics of the metaverse environment, it is not connected by levels, tiers, or steps as in previous studies, but is conducted simultaneously while maintaining each independent form. The significance of this study is that it lays the foundation for a learning evaluation model that can be utilized in educational settings in a metaverse environment.

Keywords:

Metaverse, Educational environment, Learning evaluation model, Evaluation factor, Learning data

키워드:

메타버스, 교육 환경, 학습 평가 모델, 평가 요인, 학습 데이터

1. 서론

학습자 간 의사소통의 어려움과 상호작용 부족 등 비대면 온라인 교육의 개선점이 부각됨에 따라 미래 교육을 위한 대안으로 메타버스가 연구되고 있다[1].

메타버스 활용 수업에 대하여 교수자를 대상으로 진행한 설문조사에서 메타버스는 문제 해결, 토론 수업 등 학습자 중심 교육에 적절하다(25%)는 응답이 이론 수업(7.95%)보다 높게 나타났다. 이를 통하여 학습자는 메타버스 환경에서 자율적인 학습을 기대한다고 예측할 수 있다. 교육적 활용 부문에서 메타버스 교육은 가상 현실(Virtual Reality)과 증강 현실(Augmented Reality)의 학습 환경에서 보다 참여적이고 상호작용이 가능한 새로운 교육 환경으로 교육적 활용이 가능하고(74.1%), 학습활동의 보조도구(35.59%)로 가치를 인식했다는 연구 결과가 있다[2][3].

2022년 세계경제포럼(World Economic Forum)의 교육 4.0 촉진, 인간 중심의 회복을 위한 학습의 미래 투자에서 학습자 중심의 직관적인 학습이 가능하기 위해서는 추가 도구가 필요하다고 하였다. 학습을 보다 효율적으로 만드는 필수 요소는 교수자의 학습자 학습 상황에 대한 이해, 잘 설계된 교육 보조도구와 학습 상황이다. 향후 교육은 맞춤형 학습 모델이어야 하고 교수자는 학습자와 함께 공동 학습자가 되어 학습자의 성장과 발전을 위하여 다양한 서비스를 제공해야 한다[4].

미래 교육은 교육 콘텐츠의 혁신이 필요하고 교육 시스템은 급변하는 사회적 요구에 적응하기 위하여 교육 형식과 내용을 풍부하게 해야 한다[5]. 향후 메타버스로의 교육 환경 전환은 가상 교실에서의 3D 몰입형 학습과 인공지능(Artificial Intelligent) 기반 개인 맞춤형 학습이 가능하고 문화적 경계가 없어지며 인공지능과 로봇 공학의 발전을 지원하여 기술이전이 용이하게 될 것으로 예상된다[2].

미래 교육에서 메타버스는 학습 동기 부여와 자기효능감을 높이고, 학습자가 자기주도학습을 통하여 효과적이고 효율적인 학습이 가능하도록 지원하며, 상호작용을 기반으로 다양한 주체와 경험 교육이 가능하다[6]. 교육 환경이 3차원 가상 세계로 변경되면 학습의 질, 학습 환경, 학습자 측면에서 학습 동기에 영향을 끼쳐 능동적이고 창의적인 문제 해결 중심 학습에 도움이 될 것이다[7]. 가상 현실에서 몰입감 기반의 체험 학습, 상호작용 기반의 협업, 능동적이고 창의적인 학습이 가능하다는 것은 메타버스의 교육적 의의라고 할 수 있다[8].

메타버스는 학습자 중심의 교수학습 활동, 동료 학습자의 튜터링, 융합 교육과 비대면 온라인 수업에 활용할 수 있다. 미래의 메타버스는 참여적 안내와 통합적 학습을 가능하게 하고 삶에 새로운 가치를 제시하며 창작과 공유의 자유를 경험하게 할 것이다[9].

메타버스는 학습자가 가상 현실과 증강 현실 기술 등을 활용하여 학습에 몰입이 되어 주도적이고 능동적인 학습과 간접 체험 등을 가능하게 구현한다. 이러한 메타버스를 미래 교육에 활용하기 위해서는 메타버스 환경에서 활용이 가능한 교육 콘텐츠인 실감형 콘텐츠의 개발이 필요하다. 또한 생체 인식 센서 등 관련 기술을 활용하여 수집되는 학습자의 다양한 학습활동에 대한 데이터는 의미있고 포괄적인 학습 평가를 가능하게 하므로 이에 대한 연구가 필요하다[1][10-12].

정보통신기술과 생활 속에 접어든 인터넷 속도의 급속한 발전, 다양한 성능의 디바이스 보편화 등은 새로운 교육 환경을 조성하였다. 미래 교육에서 메타버스는 이러한 환경을 바탕으로 빅데이터, 인공지능 기술 등과 결합되어 더욱 체계적인 교육 시스템으로 진화할 것으로 예상된다. 교육 분야에 대면 수업 그리고 비대면 온라인 수업과 다른 메타버스 환경을 활용하기 위해서는 교육 환경의 변화에 따른 교수 설계, 학습 방법과 평가 방법 등에 대한 지속적인 연구로 미래 교육을 준비해야 한다.

이 연구에서는 학습자의 학습 데이터를 실시간으로 수집하여 분석 및 평가가 가능한 메타버스 환경의 고유한 특성을 고려하였다. 대면 수업, 비대면 온라인 수업의 평가 방법과 기업에서 교육과 훈련 중심으로 활용하고 있는 인적자원개발(Human Resource Development, HRD)의 학습 평가 모델 등의 선행 연구를 기반으로 탐구하여 메타버스 교육 환경의 학습자 학습 평가 모델과 평가 요인을 제안하고자 한다.

2. 연구 배경

2.1 학습 평가

교과 기반 평가 방식은 교과목에 대한 학습 목표, 전공역량, 학습 주체별 학습자의 성취도 등의 평가가 부재하고 학습 결과에 대한 피드백이 없이 단순 성적을 기반으로 학점을 부여한다[13].

학습 성과 및 교수학습 평가는 학습자가 학습활동을 수행하는 과정과 학습의 목표를 달성했는가에 대한 평가이다. 대학의 학습자에 대한 질적 평가는 학습 목표가 구체적이고 명료해야 하며 신뢰도와 타당도가 포함된 평가 도구와 공정성을 포함한 전문성이 있어야 한다[14].

학습 평가의 결과는 학습자의 학습활동 수행을 통한 교육의 목표 달성과 교수자의 교수 목표, 학습 지도의 방법에 대한 점검과 유효성 정보를 제공하므로 수업의 질 개선에 영향을 미친다. 교수학습 과정을 기반으로 수업의 질을 개선하기 위하여 교수학습 방법, 학습자의 학습활동 수행 내용, 그리고 이를 기반으로 한 학습 평가를 분석하고 이에 대한 개선 방안을 찾아야 한다. 평가 방법은 교수 전략, 교육 과정의 개정, 학습 프로그램의 개발과 매우 밀접한 관계가 있으므로 교육에서 평가는 매우 중요하다[15].

교수자가 학습자에 대한 학습활동 데이터를 정리하고 분석하여 문서화하고 이를 바탕으로 평가를 하는 것은 교수자의 업무 증가로 이어지므로 학습 평가 모델 기반의 시스템을 활용하여 데이터에 대한 자동화 처리와 지원이 필요하다[13].

2.2 메타버스 환경에서의 평가

메타버스 환경에서의 교육은 대면 수업, 비대면 온라인 수업과 달리 가상 세계에서 교육 목적에 최적화된 콘텐츠를 활용하여 학습과 훈련이 가능하고 학습 과정에서 이루어지는 모든 행동이 모니터링되어 데이터로 저장됨에 따라 학습 평가의 기본 자료로 활용할 수 있다.

교수학습 과정에서 교육적 지표로써 이루어지는 평가는 교육의 질 향상에 매우 중요하다. 교수자는 학습을 위한 평가의 목적, 방법과 결과에 대한 활용을 위하여 긍정적인 인식 강화가 필요하다[16]. 메타버스 교육 평가는 메타버스 환경에서 학습자의 교수에 대한 전체 히스토리가 블록체인 기술로 저장되고 학습자의 평가를 위한 데이터 추적이 가능하여 객관적이고 투명하며 개방적인 평가가 가능하다[17]. 또한 학습자의 로그 데이터를 기반으로 문제 해결이나 학습활동 수행 프로세스, 학습자의 역량이나 성과 등을 다양한 관점에서 관찰하여 정확한 평가가 가능하다[18]. 교수자는 학습자별 진단을 할 수 있어 학습자의 자기주도학습 능력을 분석하고 성취도를 파악하여 학습자별 교육 환경에 최적화된 학습 지도가 가능하다. 학습자의 학습활동을 교수자와 학습자 자신이 분석하고 진단하여 학업 수준을 확인하고 발전시킬 수 있다[8].

메타버스에서는 인공지능, 데이터베이스, 컴퓨팅 등 관련 기술이 학습자의 학습활동 데이터를 수집하고 보관한다. 학습활동 프로세스 중 분석 모듈을 통하여 수집된 데이터를 바탕으로 학습자별 학습 성취도와 성과 등을 분석하여 개인화 보고서를 제공함으로써 교수자는 신뢰 가능한 분석 자료를 기반으로 평가를 쉽게 할 수 있다. 그리고 학습자별 개인화 서비스를 제공하여 시스템 데이터를 바탕으로 형성 데이터 등이 포함된 체계적이고 편견이 없는 평가 방안을 제공한다[19].

가상 시뮬레이션 실험에서 학습자에 대한 모니터링을 통하여 학습자의 감정적 태도 평가가 가능하다. 학습 참여도 평가는 자체 보고, 인터뷰, 로그 파일 분석, 생리학적 센서 데이터 및 컴퓨터 비전 데이터 분석과 같은 온라인 학습 참여도 평가를 참고할 수 있다[20]. 메타버스는 얼굴 인식, 자동 음성 인식, 동작 인식 기술 등을 기반으로 학습자의 행동 분석과 평가가 가능하고 평가 프로세스 자동화와 데이터 시각화를 통하여 결과를 제공한다. 또한 인공지능을 기반으로 하는 평가를 활용하여 학습자의 학습활동, 교수자와의 상호작용, 감정 변화 등을 분석하고 학습자의 학습 데이터를 수집, 분석하여 피드백을 제공한다[21].

2.3 선행 연구의 평가 모델

HRD는 기관의 조직, 팀, 구성원 전체의 성장을 돕고 성과를 창출하기 위한 방법으로 프로그램을 활용하여 진단하는 과정에서 파악된 문제를 해결하고 프로그램을 개선하여 의사결정을 수립하는 활동이다. HRD 프로그램의 평가 모델은 접근 방법에 따라 목표 지향 모형과 과정 지향 모형 등으로 구분된다[22, 23]. 기업에서 교육과 훈련의 직무교육 중심 평가 모델인 Kirkpatrick의 4단계, Philips의 5단계 등 목표 지향 모형은 교육 프로그램의 정책과 결과를 강조하여 교육 프로그램에 대한 평가와 진단을 도모한다. 하지만 교육 프로그램의 개선을 위하여 정보를 활용하고 목표 설정을 구체적으로 하는 절차와 가이드라인을 제공하지 못하는 한계가 있어 프로그램 평가에 대한 목적 및 이해관계자의 요구와 무관한 피상적 결과를 제시한다. 모형이 단순하고 활용하기 쉽기때문에 다양한 기관에서 학습과 반응 단계로 제한하여 적용한다[22-25]. Stufflebeam의 CIPP, Bushnell의 IPO 모형 등 과정 지향 모형은 교육 프로그램의 개발과 진행에 대한 체계적인 가이드라인을 제공하여 평가 결과를 지속적이고 점진적으로 관리할 수 있지만 평가 관련 측정 도구 및 방법을 제공하지 못하고 있다[24, 25].

메타버스는 현실 세계와 가상 세계를 이동하며 수업이 가능하고, 가상 장비를 활용하여 실습, 가상 훈련 및 시뮬레이션 등 경험을 바탕으로 하는 수업이 가능하다. 이러한 메타버스 환경과 특성, 메타버스 관련 기술을 평가 측정 도구 및 방법으로 활용하고 적용할 수 있는 평가 모델을 연구하기 위하여 교육과 훈련 프로그램 중심의 평가 모델 관련 선행 연구를 탐색하였다. 선행 연구의 학습 평가 모델 및 해당 단계 또는 모형별 개념, 평가 대상, 평가 내용 및 평가 범위 등을 검토하여 공통점을 정리하고 분류하는 방식으로 분석하였다. 이러한 공통점을 기반으로 메타버스 환경의 특징과 관련 기술을 교육적 관점에서 재해석하여 평가 유형을 설계하고 이를 구체화하는 방법으로 평가 요인을 제시하였다. 이에 논리적 단계와 간단한 적용 방식 그리고 실용적이라는 평가를 받는 Kirkpatrick의 4단계, 대표적인 과정 평가 모형인 Stufflebeam의 CIPP 및 온라인 수업에도 적용이 가능하다고 평가받는 Thalheimer의 학습 전이 평가 모델(Learning Transfer Evaluation Model, LTEM) 등 HRD 분야의 평가 모델을 선별하였다.

Kirkpatrick의 4단계는 목표 지향 모형으로 반응(Reaction), 학습(Learning), 행동(Behavior), 결과(Results) 등 HRD 분야의 대표적인 평가 모델로 일반적으로 하위 1, 2단계 평가가 활용되고 있다[22]. Kirkpatrick의 4단계는 <Table 1>과 같다.

Table 1.

Kirkpatrick's 4 Levels

Stufflebeam의 CIPP는 과정 지향 모형으로 평가 대상의 개선을 위한 의사결정인 기획(Planning), 구조(Structure), 실행(Implementation), 재순환(Recycle) 등에 적합한 상황(Context), 투입(Input), 과정(Process), 산출(Product) 등 평가 형식을 고려한 모델로 초등학교 방과 후 프로그램, 자유 학기제, 교육 기관의 취업역량 강화 프로그램 등에 대한 체계적인 평가 수행이 가능하다[23]. Stufflebeam의 CIPP는 <Table 2>와 같다.

Table 2.

Stufflebeam's CIPP

Thalheimer의 LTEM은 기존 Kirkpatrick 4단계 모델을 세분화하고 확장하여 학습 계층인 참여(Attendance), 활동(Activity), 학습자 인식(Learner Perceptions), 지식(Knowledge), 의사결정 역량(Decision-Making Competence), 작업 역량(Task Competence)과 실무 계층인 전이(Transfer), 전이 효과(Effects of Transfer) 등 8단계(Tier)로 구성된 평가 모델이다. 직무 지원이나 성과 지원보다는 모바일 학습, 온라인 학습, 강의실 학습, 자율 학습, 현장 학습 등 모든 학습에 관련이 되도록 설계되었다[27]. Thalheimer의 LTEM에 대한 단계별 주요 내용은 <Table 3>과 같다.

Table 3.

Thalheimer's LTEM

선행 연구에 대한 분석 내용을 바탕으로 설계한 메타버스 교육 환경의 학습자 학습 평가 모델은 <Table 4>와 같다.

Table 4.

Learning Evaluation Model of Metaverse Educational Environment based on Previous Research

3. 메타버스 환경의 학습 평가 모델 제안

대면 수업과 비대면 온라인 수업의 평가 방법 그리고 선행 연구의 학습 평가 모델을 메타버스 환경과 교육적 관점에서 분석하고 재해석하여 메타버스 교육 환경의 학습자 학습 평가 모델을 <Table 5>와 같이 학습(Learning), 반응(Reaction), 지식(Knowledge), 산출물(Output), 과정(Process) 등 5개의 평가 유형과 21개의 평가 요인으로 설계하였다. 평가 모델은 지식 능력 평가와 정서적 평가로 구분되며 지식 능력 평가는 학습, 지식, 산출물, 과정 등 4개 평가 유형이고 정서적 평가는 반응의 1개 평가 유형이다. 학습자의 학습 평가 유형은 <Table 6>과 같이 평가 요인으로 세분화 하였다. 또한 평가 요인에 대한 설명은 <Table 7>과 같다.

Table 5.

Learning Evaluation Model in the Metaverse Educational Environment

Table 6.

Learning Evaluation Type and Factors in Metaverse Educational Environment

Table 7.

Description of Evaluation Factors for each Learning Evaluation Type in Metaverse

4. 연구 방법

델파이 조사는 총 8명의 전문가 패널을 대상으로 2023년 6월 19일부터 동년 7월 7일까지 이메일을 활용하여 개방형 질문지와 설문지를 배부 및 회수하는 방식으로 총 3회 진행하였다. 1차 델파이 조사에서 HRD 관련 선행 연구 모델에 대한 요약과 이를 바탕으로 평가 모델을 설계한 과정 및 근거 자료, 평가 모델의 평가 유형과 평가 요인에 대한 관련 선행 연구 요약과 설명을 정리하여 개방형 질문지로 배부하고 회수된 전문가 패널의 의견과 제안을 분석하여 이를 수렴한 후 구조화된 정리안으로 2차 델파이 설문을 진행하였다.

1차 델파이 조사에서 전문가 패널 중 이메일과 유선을 통하여 질의하거나 선행 연구의 관련 내용을 다르게 이해하여 확인을 요청한 6명의 전문가에게 이해를 돕기 위하여 구체적인 답변과 설명 자료를 송부하였다. 2차 델파이 조사에서는 1차의 설문 결과와 6명의 전문가 패널이 질의한 내용에 대한 답변 및 설명 자료를 함께 피드백하여 전문가 패널 간의 의견을 공유하게 하였고 이전 설문과 동일한 방법으로 진행하였다. 3차 델파이 조사는 설문조사 형식으로 리커트 5점 척도로 구성한 측정 도구를 사용하였고 3점 이하의 응답에 대해서는 구체적인 사유를 요청하였다.

이 연구를 위하여 전문가 패널은 현직 교수자를 중심으로 선정하였다. 전체 패널은 <Table 8>과 같이 박사 학위자 2명(25.0%), 석사 학위자 5명(62.5%), 학사 학위자 1명(12.5%)으로 구성되었으며 이해관계자를 포함한 8명(100%) 모두 교수 경력 보유자이고 이중 정보 교과 담당 전·현직 교사는 총 4명(50.0%)이다. 최근 일부 초·중고교에서 메타버스 환경을 활용한 수업이 진행됨을 고려하여 박사 1명을 포함한 경력 6 ~ 10년의 석사 이상 교수자 4명(50.0%)의 전문가 패널이 참여하였다.

Table 8.

Demographics Characteristics of Expert Panels

5. 연구 결과

전문가 패널 총 8명을 기준으로 0.75의 내용 타당도(Content Validity Ratio, CVR) 최솟값 비율을 적용하였다[28]. 메타버스 교육 환경의 학습자 학습 평가 모델과 평가 요인에 대한 델파이 설문 결과는 <Table 9>, <Table 10>과 같다.

Table 9.

Result for Learning Evaluation Model of the Delphi Survey

Table 10.

Result for Learning Evaluation factors of the Delphi Survey

메타버스 교육 환경의 학습자 학습 평가 모델과 평가 요인 모두 다음과 같이 전문가 패널의 합의가 이루어져 타당하다고 판단하고 설문조사를 종료하였다.

첫째, 메타버스 교육 환경의 학습자 학습 평가 모델은 평균 4.75 ~ 5.00, 표준편차 0.00 ~ 0.433, CVR 1.00, 긍정률 100%, 합의도 0.95 ~ 1.00, 수렴도 0.00 ~ 0.13, 안정도 0.00 ~ 0.09로 산출되었다.

둘째, 메타버스 교육 환경의 학습자 학습 평가 모델에 대한 평가 요인은 평균 4.63 ~ 5.00, 표준편차 0.00 ~ 0.484, CVR 1.00, 긍정률 100%, 합의도 0.80 ~ 1.00, 수렴도 0.00 ~ 0.50, 안정도 0.00 ~ 0.10으로 산출되었다.

이와 같이 메타버스 교육 환경의 학습자 학습 평가 모델은 학습, 반응, 지식, 산출물, 과정 등 총 5개의 유형으로 도출되었다. 평가 모델에 대한 유형별 평가 요인으로 학습 3개 요인, 반응 4개 요인, 지식 5개 요인, 산출물 2개 요인, 과정 7개 요인 등 총 21개의 평가 요인이 도출되었다.

평가 모델의 평가 유형 및 평가 요인 모두 CVR이 1.00로 집계되어 메타버스 교육 환경에서의 학습자 학습 모델 구성의 타당성이 입증되었다고 평가된다. 특히 평가 모델에 대한 평가 유형 학습, 산출물, 과정은 5.00의 높은 평균값과 표준편차 0.00으로 전문가 패널 전원 만장일치의 합의를 이루었다.

전문가 패널 인터뷰에서 일부 패널들의 문의가 있어 관련 설명과 선행 연구의 사례 등을 제시한 평가 유형 지식(Knowledge)과 평가 요인 학습활동 산출물에 대한 평가(Evaluation of learning activity outputs)은 평균 4.75 표준편차 0.433으로 산출되었고 평가 요인 운영자에게 제공되는 피드백(Feedback provided to operators)은 다른 평가 유형 또는 평가 요인 중 가장 낮은 평균값 4.66으로 산출되었다. 특히 운영자에게 제공되는 피드백(Feedback provided to operators)은 HRD에서 오프라인으로 실행하고 있는 과정이나 학습자와 무관하다는 전문가 패널의 의견이 있었다. 학습자의 학습활동 수행 중 확인된 사안으로 시스템 또는 교수자에게 관련 피드백이 전달되어 운영자에게 최종 피드백이 되는 과정의 연관성을 감안하여 평가 유형 과정에 포함하였다는 응답을 제시하였으나 이에 대한 델파이 설문조사에서 0.484의 가장 높은 표준편차가 산출되었다.

5. 결론

팬데믹을 경험하면서 전통적인 교육 환경과 시스템이 변경되었고 이를 보완할 수 있는 대안으로 메타버스 환경이 연구되고 있다. 새로운 환경에서의 교육은 시스템, 콘텐츠, 콘텐츠의 전달 방식, 평가 방법 등의 변화를 가져온다. 평가 방법은 교수 전략, 교육 과정의 개정 및 학습 콘텐츠 또는 프로그램의 개발과 연관이 있으므로 새로운 교육 환경인 메타버스에서 활용할 수 있는 학습자의 학습 평가 모델이 필요하다.

이 연구는 메타버스 환경에서 학습 프로그램별 평가의 목적, 대상, 방법 및 범위를 구체화하고 프로그램에 맞는 평가 방법을 기반으로 효과적이고 효율적으로 평가를 할 수 있는 모델을 제시하는 것을 목적으로 한다.

이 연구에서는 메타버스 환경에서 학습자 평가 모델로 학습, 반응, 지식, 산출물, 과정 등 총 5개 유형과 각 평가 유형에 대한 학습 상황, 평가의 주체, 평가 대상, 평가 방법, 평가 전달 방법 등을 구체화하여 총 21개의 평가 요인을 도출하였다. 이 연구의 학습 평가 모델은 메타버스의 환경, 특징 및 관련 기술 등을 활용한 학습 평가 도구 및 방법을 통하여 학습 성과 측정이 가능하다. 또한 교수자와 학습자에게 교수자의 평가, 학습자의 자가평가 및 진단평가, 학습자의 실시간 학습 데이터를 기반으로 시스템의 분석, 평가 및 이에 대한 피드백이 가능하다. 이에 이 연구 모델은 메타버스 교육 환경에서 학습자의 학습활동에 대하여 다양한 방식의 평가 방법으로 활용될 수 있을 것으로 사료된다.

선행 연구와 다른 점으로 첫째, 이 연구의 평가 모델은 독립적이다. 상호작용 기반의 메타버스 환경 특징으로 인하여 학습 평가 모델의 평가 유형은 선행 연구와 같이 단계(Level, Tier)나 순서(Step)로 연결되지 않고 각각 독립된 형태를 유지하면서 동시에 진행된다. 둘째, 교육 환경이다. 선행 연구는 대면 학습과 비대면 온라인 학습 환경인 반면 이 연구는 교육 환경을 메타버스 환경으로 한정하였다. 셋째, 이 연구는 미래 교육으로 기대를 모으는 메타버스 교육 환경의 학습자 학습 평가에 대한 기본 모델이다. 이 연구에서 탐구한 선행 연구는 조직 내 교육과 훈련의 직무교육 중심 기업 교육 평가 모델로[24] 교육 기관을 포함한 다양한 기관에서 기관의 목표 및 결과를 제외한 학습, 반응 등으로 평가 범위를 제한하여 활용되고 있다[23]. 마지막으로, 선행 연구는 대면 수업 또는 비대면 온라인 수업에서 활용이 가능하거나 응용하여 활용할 수 있도록 평가 모형별로 일반적인 내용 또는 설명으로 구성되어 있다. 연구자의 학습 평가 모델은 선행 연구의 평가 모델에 대한 분석을 통하여 분류한 공통점을 기반으로 메타버스 환경과 특징을 교육적 관점에서 재해석하여 평가 유형을 설계하였다. 또한 평가 대상과 메타버스 관련 기술을 활용한 평가 방법, 평가 내용 및 평가 범위 등을 구체화하기 위하여 평가 요인과 세부 설명을 제시하였다.

이 연구에서 델파이 조사를 통하여 도출된 메타버스 교육 환경의 학습자 학습 평가 모델에 대하여 현직 교수자를 대상으로 설문조사를 진행하여 평가 모델이 교육 현장에 적합한지에 대한 결과를 분석하는 후속 연구가 필요하다.

마지막으로 이 연구 모델이 학교 교육은 물론 메타버스 교육 환경을 활용하여 교육 과정을 체계화하고 전문인을 양성하는 교육 기관과 기업 등에서 활용할 수 있는 기반을 마련했다는 점에서 의의가 있다. 이 연구 결과가 메타버스 교육 환경에서 학습자 학습 평가 모델의 기초 연구 자료로 활용되기를 기대한다.

References

Cukurbasi Calisir, E., Sabuncu, F., & Altun, E. (2022). Reflections of Metaverse-Based Education on E-Learning. The Annual Meeting of the International EJERCongress, 103-115.
Han, S., & Noh, Y. (2021). Analyzing Higher Education Instructors’ perception on Metaverse-based Education. Journal of Digital Contents Society, 22(11), 1793-1806. [https://doi.org/10.9728/dcs.2021.22.11.1793]
Hussain, S. (2023). Metaverse for education – Virtual or real?. Frontier for Education, 1-4. [https://doi.org/10.3389/feduc.2023.1177429]
Tsai, Y. (2022). The Value Chain of Education Metaverse. Journal of Latex Class Files, 14(8), 1-8. [https://doi.org/10.48550/arXiv.2211.05833]
Zhong, J. (2022). Empowering Future Education: Learning in the Edu-Metaverse. 2022 International Symposium on Educational Technology(ISET), 292-295. [https://doi.org/10.1109/ISET55194.2022.00068]
Kim, S., & Moon, M. (2021). Metaverse and Future Education Learner Identity Research. Gyeonggi Institute of Education, Issue Paper, 2021-09.
Kaya, Z. (2023). Metaverse Çağında Öğretmenlik Mesleğinin Geleceğini Düşünmek. Journal of Social Sciences, 9, 295-21. [https://doi.org/10.56720/mevzu.1229096]
Lee, S. (2023). A study on the education case analysis of metaverse. The Journal of After-School Research, 10(1), 73-94.
Kim, C. (2022). A Study on the Implications of McLuhan’s Media Theory for Metaverse Education. The Korean Society for Holistic Convergence Education, 26(4), 117-141. [https://doi.org/10.35184/kshce.2022.26.4.117]
Nam, C., & Kim, J. (2022). Development and evaluaion of virtual world-based elementary education programs. Journal of The Korean Association of Information Education, 26(3), 219-227. [https://doi.org/10.14352/jkaie.2022.26.3.219]
Lee, K. (2022). A study on improving the future educational environment using AR/VR technology in the metaverse era. The Korea Contents Association, 2022(7), 245 - 246.
Bang, M. (2023). Development of Authoring Guidelines for Immersive Contents for Metaverse-Based Education. Journal of Digital Contents Society, 24(2), 257-266. [https://doi.org/10.9728/dcs.2023.24.2.257]
Chung, H., & Kim, J. (2022). Study on Course-Embedded Learning Achievement Evaluation and Adaptive Feedback. The Journal of the Convergence on Culture Technology (JCCT), 8(6), 553-560. [https://doi.org/10.17703/JCCT.2022.8.6.553]
Shim, K., & Kwak, D. (2022). A Study on Ways to Improve the Quality of Assessing Students’ Learning Outcomes of the Universities of the United Kingdom. The Journal of Educational Development, 42(2), 561-582. [https://doi.org/10.34245/jed.42.2.561]
Son, Y., Yoon, J., & Maeng, H. (2018). The Current Status of Evaluation Method Utilization According to Instructional Types and Instructors’ Perceptions about Purpose of the Learning Evaluation by University Major Field. Journal of Education & Culture, 24(3), 5-24. [https://doi.org/10.24159/joec.2018.24.3.5]
Lee, Y., Nam, Y., Huh, S., & Oh, Y. (2022). A Comparative Study on the Awareness of Class Evaluation by Professors and Students in Non-face-to-face Classes. Journal of Teaching & Learning Research, 15(1), 55-80. [https://doi.org/10.23122/kactl.2022.15.1.003]
Zhang, Y., Yang, S., Hu, X., & He, P. (2022). Metaverse Teaching Overview. 2022 12th International Conference on Information Technology in Medicine and Education(ITME), 104-109. [https://doi.org/10.1109/ITME56794.2022.00032]
Hwang, G., & Chien, S. (2022). Definition, roles, and potential research issues of the metaverse in education: An artificial intelligence perspective. In Computers and Education: Artificial Intelligence, 1-6. [https://doi.org/10.1016/j.caeai.2022.100082]
Zhang, X., Chen, Y., Hu, L., & Wang, Y. (2022), The metaverse in education: Definition, framework, features, potential applications, challenges, and future research topics. Frontiers in Psychology, 13, 1-18. [https://doi.org/10.3389/fpsyg.2022.1016300]
Zhang, G., & Wen, F. (2021). Learning Evaluation Design in Virtual Simulation Experiment. 2021 19th International Conference on Emerging eLearning Technologies and Applications(ICETA), 432-437. [https://doi.org/10.1109/ICETA54173.2021.9726644]
Shu, X., & Gu, X. (2023). An Empirical Study of A Smart Education Model Enabled by the Edu-Metaverse to Enhance Better Learning Outcomes for Students. Systems, 11(2), 1-20. [https://doi.org/10.3390/systems11020075]
Kim, Y. (2016). Analysis of the relationship between response evaluation, learning evaluation, and behavioral evaluation in corporate A training program. Master‘s Thesis. Korea University.
Bae, E., & Kim, D. (2014). A Case Study on Integrative Evaluation Model of Basic Training Program for Arts and Culture Instructors in Korea Arts and Culture Service. The Korean Journal of Human Resource Development, 16(4), 25-50. [https://doi.org/10.18211/kjhrdq.2014.16.4.002]
Min, K., Choe, D., & Moon, K. (2015). A Study on the Indicators for Evaluating Police Training and Learning. The Police Science Journal, 10(2), 7-33. [https://doi.org/10.16961/polips.2015.10.2.9]
Park, S., & Oh, S. (2021). A Study on the Human Resource Development (HRD) Strategy for Public Officials in the Post-COVID 19 Era: With a Focus on the Improvement Plan for the Ministry-driven Self-Assessment HRD System. The Korean Society for Public Personnel Administration, 20(1), 241-259.
Shin, Y., Kim, S., & Song, H. (2018). Development of Evaluation Indicators for Job Capability Strengthening Program for Vocational High School with application of CIPP Evaluation Model. The Journal of Vocational Education Research, 37(3), 1-23. [https://doi.org/10.37210/JVER.2018.37.3.1]
Thalheimer, W. (2018). The learning-transfer evaluation model: Sending messages to enable learning effectiveness. Received from https://WorkLearning.com/Catalog
Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio: Revisiting the Original Methods of Calculation. Measurement & Evaluation in Counseling & Development, 47(1), 79-86. [https://doi.org/10.1177/0748175613513808]

이 충 섭

1991년 인하대학교 수학과 (이학사)

1994년 미시간주립대학교 응용수학전공 (이학석사)

2021년 성균관대학교 컴퓨터교육전공 (박사수료))

관심분야: 메타버스, 공간 컴퓨팅, 온라인 수업, 컴퓨터교육, CMS

E-mail: soul4nei@skku.edu

안 성 진

1988년 성균관대학교 정보공학과 (학사)

1990년 성균관대학교 정보공학과 (석사)

1998년 성균관대학교 정보공학과 (박사)

1990년~1995년 KIST/SERI 연구원

1996년 정보통신기술사

1999년 3월~현재 성균관대학교 컴퓨터교육과 교수

관심분야: 네트워크, 정보보안, SW교육, 인공지능 윤리

E-mail: sjahn@skku.edu

Level	Content
Reaction	- Measurement and evaluation of learners' attitudes, feelings, and opinions regarding the content, environment, and processes of education.
Learning	- Examination of learners' level of learning. - Assessment of the extent to which learners have acquired the skills, knowledge, and attitudes aligned with the learning objectives and the degree of achievement of learning goals. - Assessment of the extent of changes in learners' acquired skills, knowledge, and attitudes. - Information can be collected from peer learners or others. - Pre-assessment before learning activities followed by post-assessment.
Behavior	- Application of acquired skills and knowledge in the actual workplace after returning to the field. - Information can be collected from peer learners or others. - Conducted after 6 months or 2-3 weeks after training.
Results	- The extent to which learners' job performance in the workplace contributes to their organization after learning activities.

Type	Content
Context	- Evaluation of the coherence and suitability between the environment and educational content.
Input	- Assessment of the achievement of learning objectives regarding the utilization of educational resources.
Process	- Identification of issues during the implementation and procedures, providing regular feedback to education personnel. - Measurement and judgment of the outputs in the educational process
Product	- Evaluation of the outputs in the educational process. - Integration of results from the entire process for interpreting the outcomes of the outputs.

Level	Content
Attendance	- Participation and completion status of learners in learning activities.
Activity	- Engagement and performance of learners in learning activities. - Measurement of learners' attention, interest, and engagement during the process of learning activities.
Learner Perceptions	- Assessment of learners' learning activities, understanding, satisfaction, practice, and reputation of learning content.
Knowledge	- Measurement of the extent of learners' knowledge during or immediately after learning activities.
Decision-Making Competence	- Utilization of real scenarios to assess learners' decision-making abilities. - Performance of decision-making immediately after learning activities or after a certain period.
Task Competence	- Execution of plans by learners and objective presentation or demonstration of results. - Learners' performance of practical work and decision-making during learning activities, immediately after, or after a certain period.
Transfer	- Ability of learners to apply the knowledge learned to real-life situations to improve future education and training. - Objective proof of learners successfully applying the knowledge learned to real-life situations.
Effects of Transfer	- The impact of learners' learning outcomes on themselves, their surroundings, organizations, local communities, society, and the environment. - Evaluation of learners' learning outcomes and their leadership by their surroundings.

Type	Previous Research
Learning	Learning	Kirkpatric's 4 Levels
Attendance	Thalheimer's LTEM
Learner Perception
Reaction	Reaction	Kirkpatric's 4 Levels
Context	Sufflebeam's CIPP
Attendance	Thalheimer's LTEM
Activity
Knowledge	Learning	Kirkpatric's 4 Levels
Learner Perception	Thalheimer's LTEM
Knowledge
Decision-Making Competence
Task Competence
Output	Product	Sufflebeam's CIPP
Decision-Making Competence	Thalheimer's LTEM
Task Competence
Process	Process	Sufflebeam's CIPP

Type	Explanation
Learning	Evaluation conducted by the system in real-time or post-class based on learners' learning activities in the virtual reality learning spaces, or analysis-based assessment by instructors.
Reaction	System measurement and evaluation of learners' learning attitudes and states based on real-time data stored through virtual devices during class in the virtual reality learning spaces, or analysis-based evaluation by instructors.
Knowledge	Evaluation based on tests for learning content acquired through learning activities.
Output	Evaluation of outputs and assignments produced or created during learning activities.
Process	Feedback provided in real-time or post-class based on the interaction in the educational environment, such as the metaverse, during the learning process.

Type	Factor
Learning	Real-time evaluation during learning activities
Evaluation immediately after learning activities
Instructor’s evaluation of learner's learning activities
Reaction	Assessment of suitability for educational environment
Assessment of suitability for educational programs
Evaluation of learning progress
Evaluation of interaction
Knowledge	Assessment of theory-centered learning
Proficiency assessment of practical-oriented learning
Reassessment conducted after evaluation
Quantitative evaluation of learning progress
Qualitative evaluation of learning progress
Output	Evaluation of learning activity outputs
Evaluation of assignment outputs
Process	Real-time feedback provided to learners
Real-time feedback provided to instructors
Feedback provided to learners immediately after learning activities
Feedback provided to instructors immediately after learning activities
Feedback from instructors provided to learners
Feedback from fellow learners provided to learners
Feedback provided to operators

Table 7.

Description of Evaluation Factors for each Learning Evaluation Type in Metaverse

Factor	Explanation
Learning
Real-time evaluation during learning activities	Real-time evaluation conducted through the system during learners' performance of learning activities, assessing proficiency, learning frequency, learning success, learning error details, and completion status.
Evaluation immediately after learning activities	Evaluation conducted based on real-time analysis of data stored during learners' learning activities immediately after the activities.
Instructor’s evaluation of learner's learning activities	Evaluation of learners' learning activities by instructors after learning activities or analysis-based assessment by instructors using learners' self-reports, peer reports, system evaluation reports, etc.
Reaction
Assessment of suitability for educational environment	Evaluation of learners' suitability for the virtual world educational environment implemented according to learning objectives after learning activities.
Assessment of suitability for educational programs	Evaluation of learners' suitability for the education program implemented according to learning objectives after learning activities.
Evaluation of learning progress	Evaluation of learners' attitudes, interests, degree of participation, positive states, interest, satisfaction, etc., regarding learning states based on data collected through the system during learning activities using virtual devices, such as virtual expressions, gestures, posture, eye movement, and more.
Evaluation of interaction	Evaluation of interactions and patterns between learners and instructors, peer learners, virtual NPC instructors, virtual NPC peers, and virtual NPC mentors.
Knowledge
Assessment of theory-centered learning	Test-based knowledge assessment of theory-centered learning content learned through learning activities.
Proficiency assessment of practical-oriented learning	Proficiency assessment based on test-based practical-centered learning content learned through learning activities.
Reassessment conducted after evaluation	Reassessment conducted after a certain period to confirm whether learners retain knowledge, understanding, and proficiency in learning content acquired through learning activities.
Quantitative evaluation of learning progress	Quantitative measurement or evaluation of test-based results for learning content acquired through learning activities.
Qualitative evaluation of learning progress	Qualitative measurement or evaluation of test-based results for learning content acquired through learning activities.
Output
Evaluation of learning activity outputs	Evaluation of all outputs generated or created by learners through individual or group learning activities.
Evaluation of assignment outputs	Evaluation of all outputs generated or created by learners through individual and group assignments.
Process
Real-time feedback provided to learners	Real-time feedback provided by the system to learners during their learning activities.
Real-time feedback provided to instructors	Real-time feedback provided by the system to instructors during learners' learning activities.
Feedback provided to learners immediately after learning activities	Feedback provided to learners based on system evaluation reports after learning activities.
Feedback provided to instructors immediately after learning activities	Feedback provided to instructors based on the system's analysis and evaluation content after learners' learning activities.
Feedback from instructors provided to learners	Feedback provided by instructors to learners based on the analysis results or evaluation reports of learning data.
Feedback from fellow learners provided to learners	Feedback provided by peer learners to learners after learning activities.
Feedback provided to operators	Feedback provided by instructors or system administrators to learners about issues such as bugs discovered in content during learning activities.

Type	Sub-type	Statistics
Type	Sub-type	Number	Percent
Academic Degree	Doctorate degree	2	25.00%
	Master's degree	5	62.50%
	Bachelor's degree	1	12.50%
Profession	Professor	1	12.50%
	Teacher	4	50.00%
	Instructor	1	12.50%
	Stakeholder	2	25.00%
Total Careers	15 ~ 20 years	4	50.00%
Total Careers	6 ~ 10 years	4	50.00%
Metaverse Experience	Experienced	7	87.50%
Metaverse Experience	Not Experienced	1	12.50%

Type	Previous Research
Type	Evaluation Type	Evaluation Model
Learning	Learning	Kirkpatric's 4 Levels
	Attendance	Thalheimer's LTEM
	Learner Perception	Thalheimer's LTEM
Reaction	Reaction	Kirkpatric's 4 Levels
	Context	Sufflebeam's CIPP
	Attendance	Thalheimer's LTEM
	Activity	Thalheimer's LTEM
Knowledge	Learning	Kirkpatric's 4 Levels
	Learner Perception	Thalheimer's LTEM
	Knowledge
	Decision-Making Competence
	Task Competence
Output	Product	Sufflebeam's CIPP
	Decision-Making Competence	Thalheimer's LTEM
	Task Competence	Thalheimer's LTEM
Process	Process	Sufflebeam's CIPP

Learning Evaluation Type	M	STD	CVR	Consensus	Convergence	Stability
Learning	5.00	0.000	1.00	1.00	0.00	0.00
Reaction	4.88	0.331	1.00	1.00	0.00	0.07
Knowledge	4.75	0.433	1.00	0.95	0.13	0.09
Output	5.00	0.000	1.00	1.00	0.00	0.00
Process	5.00	0.000	1.00	1.00	0.00	0.00

Learning Evaluation Factor	M	STD	CVR	Consensus	Convergence	Stability
Real-time evaluation during learning activities	5.00	0.000	1.00	1.00	0.00	0.00
Evaluation immediately after learning activities	5.00	0.000	1.00	1.00	0.00	0.00
Instructor’s evaluation of learner's learning activities	5.00	0.000	1.00	1.00	0.00	0.00
Assessment of suitability for educational environment	4.88	0.331	1.00	1.00	0.00	0.07
Assessment of suitability for educational programs	5.00	0.000	1.00	1.00	0.00	0.00
Evaluation of learning progress	4.88	0.331	1.00	1.00	0.00	0.07
Evaluation of interaction	4.88	0.331	1.00	1.00	0.00	0.07
Assessment of theory-centered learning	5.00	0.000	1.00	1.00	0.00	0.00
Proficiency assessment of practical-oriented learning	5.00	0.000	1.00	1.00	0.00	0.00
Reassessment conducted after evaluation	4.88	0.331	1.00	1.00	0.00	0.07
Quantitative evaluation of learning progress	5.00	0.000	1.00	1.00	0.00	0.00
Qualitative evaluation of learning progress	4.88	0.331	1.00	1.00	0.00	0.07
Evaluation of learning activity outputs	4.75	0.433	1.00	0.95	0.13	0.09
Evaluation of assignment outputs	4.88	0.331	1.00	1.00	0.00	0.07
Real-time feedback provided to learners	4.88	0.331	1.00	1.00	0.00	0.07
Real-time feedback provided to instructors	5.00	0.000	1.00	1.00	0.00	0.00
Feedback provided to learners immediately after learning activities	5.00	0.000	1.00	1.00	0.00	0.00
Feedback provided to instructors immediately after learning activities	5.00	0.000	1.00	1.00	0.00	0.00
Feedback from instructors provided to learners	5.00	0.000	1.00	1.00	0.00	0.00
Feedback from fellow learners provided to learners	4.88	0.331	1.00	1.00	0.00	0.07
Feedback provided to operators	4.63	0.484	1.00	0.80	0.50	0.10