대학생의 생성형 인공지능 활용 교육이 학업적 자기 효능감, 메타인지, 문제해결 능력에 미치는 영향

2.1 생성형 인공지능의 특성과 교육적 활용

생성형 인공지능은 기존 인공지능 도구들이 입력에 따른 한정된 출력을 제공하는 것과 달리, 고도화된 자연어 처리(Natural Language Processing) 과정을 통해 텍스트를 이해하고 생성하는 능력을 갖추고 있다. ChatGPT는 사전 학습(pre-trained)된 대규모 텍스트 자료를 기반으로 인간의 언어를 이해하고 해석하며, 적절한 의견이나 정보를 생성하는 특성을 지닌다. 또한, 이미지와 텍스트에 대한 다중양식(multimodal) 기술을 적용하여 다양한 입력에 대응할 수 있다[6].

ChatGPT의 목적은 주로 인간과 인공지능 시스템 간의 신속한 상호작용을 통해 과제 수행을 높이고, 의미 있는 의사소통을 지원하는 것이다. 예를 들어, 공학 분야에서는 프로그램 오류 수정, 교육에서는 질의응답 및 상호작용 촉진 도구로 활용될 수 있다[7][8]. 또한 프로그램 오류에 대한 버그(bug) 수정, 번역, 요약 등의 언어적 과제를 수행하는 데 유용하며, 학습자의 개별적인 튜터링 및 맞춤형 학습을 지원하는 데 도움을 줄 수 있다. 그러나 ChatGPT의 사용에는 몇 가지 제한점이 존재한다. 제한된 사전 학습 데이터와 정보 생성의 한계로 인해 부정확한 정보 제공, 표절 등의 윤리적 문제가 발생할 수 있으며, 잘못된 정보를 제공하는 환각 현상도 발생할 수 있다. 따라서, ChatGPT의 교육적 활용에 있어 교수자와 학습자의 올바른 태도와 전략 수립이 필요하다 [9].

2.2 학업적 자기 효능감과 구성요인

Bandura(1993)는 학업적 자기 효능감을 구체적인 상황에서 자신의 가치와 능력에 대한 확신인 자신감으로 설명하며, 이는 자신의 가치에 대한 판단인 자기존중감과는 구분된다. 또한 자기효능감은 도전적인 과제를 선호하는 성향인 과제난이도 선호(task difficulty preference)와 자기조절 효능감(self-regulatory efficacy)과 자신감(confidence)으로 구성된다고 하였다[10][11][12].

자기효능감에 영향을 주는 요소는 과거 경험, 모델링 관찰, 언어적 설득, 심리적 상태 등으로 구분된다. 과거의 성공 경험은 자기 효능감을 증가시키고, 본보기 관찰을 통해 필요한 기술의 실행 방법을 배울 수 있다. 언어적 설득은 도전적인 과제에 대한 격려로 자기 효능감을 증가시키며, 실패에 대한 불안과 같은 심리적 상태는 자기 효능감을 감소시킬 수 있다. 또한 학업적 자기 효능감이 학습과 문제 해결에 영향을 미치며, 높은 자기 효능감이 긍정적인 학습 결과를 초래함을 설명하였다[10][14][15].

본 연구에서는 Bandura(1986)가 제시한 자기 효능감의 구성 요소인 자신감, 자기조절 효능감, 과제난이도 선호를 학업적 자기 효능감의 하위 요인으로 구성하였으며 각각의 요인은 학습자가 자신의 학습 능력에 대해 보이는 확신, 자기관찰 및 자기판단, 도전적인 과제 선택 등의 과정을 포함하였다.

2.3 메타 인지와 구성 요인

Flavell(1979)과 Brown(1987)은 메타인지를 '인지에 대한 지식'과 '인지에 대한 조절'로 개념화하였으며, Schraw와 Dennison(1994)은 메타인지를 인지에 대한 지식영역과 인지 조절 영역으로 세부적으로 나누어 정의하였다. 인지에 대한 지식은 선언적 지식(declarative knowledge), 과정적 지식(procedural knowledge), 조건적 지식(conditional knowledge)으로 구분된다. 선언적 지식은 '무엇'에 해당하는 지식, 과정적 지식은 '어떻게'에 해당하는 지식, 조건적 지식은 '왜'와 '언제'에 해당하는 지식을 의미한다[16][17][18]. 인지에 대한 조절은 계획(planning), 점검(monitoring), 평가(evaluation)로 나뉜다. 계획은 학습 상황 이전에 목표를 설정하고 일의 효율적 배분을 의미하며, 점검은 현재 수행 중인 과제를 잘 진행하고 있는지 점검하는 과정, 평가는 학습 상황 이후 수행된 전략들의 효율성을 평가하는 것이다[19]. Zimmerman(2000)는 학업적 자기 효능감이 높은 학생들은 자신의 학습 과정에 대한 통제감을 느껴 메타인지 활동을 더 잘 수행할 수 있으며 상호간의 영향을 미친다고 하였다[20]. 또한 Flavell(1979)는 메타인지 능력이 뛰어난 학생들은 문제를 체계적으로 접근하고 해결책을 모색하는 데 유리하며, 문제 해결 과정에서 자신의 사고 과정을 모니터링하고 조정할 수 있기 때문에 보다 효과적인 해결책을 도출할 수 있다고 설명하였다[21].

2.4 문제해결 능력

이석재(2003)는 문제 해결자가 당면한 문제를 해결하기 위해 문제를 명료화하고 문제원인 분석을 통해 대안을 개발하고 이를 실행하기 위한 계획 및 그 수행결과에 대한 평가를 체계적으로 관리할 수 있는 능력으로 보았다. 문제 해결의 능력 요소로 문제 명료화, 원인 분석, 대안 개발, 계획 수립 및 실행, 수행평가로 정의하였다[22]. 문제 해결 능력은 학업적 자기 효능감, 메타인지과 서로 긴밀히 연결되어 있으며 이들 간의 상호 작용은 학습 성과를 높이는 데 중요한 역할을 한다. 메타인지는 자기 효능감을 강화하고, 이는 다시 문제 해결 능력을 촉진한다. 또한 문제 해결 과정에서의 성공 경험은 학업적 자기 효능감과 메타인지 능력을 더욱 향상시키는 긍정적 순환 효과를 가져온다고 하였다[22].

3.1 연구 설계

본 연구에서는 데이터분석 과목을 수강하는 컴퓨터공학 전공 대학생을 대상으로 생성형 인공지능을 활용한 실습이 학업적 자기 효능감, 메타인지, 문제해결 능력에 미치는 영향을 검증하고자 하였다. 이를 위해 수업은 다음과 같이 설계하였다.

교수자 수업 설계에서는 학업적 자기 효능감의 구성 요소인 과거의 경험, 모델링 관찰, 격려, 성공 기억과 측정 요소인 수준, 강도, 일반성을 고려하여 수업을 구성하였다. 데이터 분석 과목의 필수 학습 요소를 각 차시마다 반복적으로 제시하여 학생들이 경험을 쌓을 수 있도록 하였다. 또한, 문제 해결 과정을 발표하도록 하여 다른 학습자들이 모니터링하고 관찰할 수 있는 기회를 제공하였다. 상, 중, 하의 수준별 과제를 제시하여 학생들이 선택한 과제에서 성공 경험을 쌓을 수 있도록 하였으며, 문제 해결의 성공과 실패 시에는 칭찬과 격려하였다.

학습자 수업 설계에서는 제시된 수준별 과제 중 직접 과제를 선택하고, 메타인지 지식 인식, 즉 선언적 지식, 과정적 지식, 조건적 지식과 계획, 점검, 평가를 통해 자신의 인지 능력을 판단하고 기를 수 있도록 자기 성찰 보고서를 작성하게 하고 문제 해결 경험을 발표하여 공유하였다. 실험 전후의 설문조사, 학생들의 과제 수행 결과, 발표 및 자기 성찰보고서 및 인터뷰 내용을 통해 데이터를 수집하였다.

3.2 연구 대상

본 연구에서는 데이터분석 전공 교과를 수강하는 30명의 학생을 대상으로 6주간 진행하였다. 연구 대상은 컴퓨터 공학을 전공하는 대학교 4학년 학생으로 연구 참여자의 인구통계학적 특성은 [Table 1]과 같다.

Table 1.

Demographic characteristics of study subjects

3.3 연구 도구

본 연구는 생성형 인공지능 활용에 대한 학업적 자기 효능감, 메타인지, 문제해결 능력을 측정하기 위해 구조화된 설문지를 활용하였다. 학업적 자기 효능감 28문항 메타인지 52문항, 문제해결능력 45문항으로 구성되었다. 각 문항은 5점(매우 그렇다)에서 1점(전혀 그렇지 않다)의 Likert 5점 척도로 평정하도록 하였다.

3.3.1 학업적 자기효능감

본 연구에서는 대학생의 학업적 자기 효능감을 측정하기 위해 김아영과 박인영(2001)이 Bandura(1986)의 자기 효능감 이론에 입각하여 개발하고 타당화한 ‘학업적 자기 효능감 척도(Academic Self-Efficacy)’를 사용하였다. 이 척도는 학습자가 학습과제를 수행해 나가는 자신의 능력에 대한 판단을 측정하며, 과제난이도선호, 자기조절 효능감, 자신감의 세 가지 하위영역으로 구성되어 있다. 각 영역에 대한 문항 수는 과제난이도 선호 10문항, 자기조절 효능감 10문항, 자신감 8문항으로 총 28문항으로 구성되어 있으며,‘과제 난이도 선호’는 “나는 복잡하고 어려운 문제에 도전하는 것이 재미있다.” 등의 문항으로 구성되어 있다. 학업적 자기 효능감 측정도구의 문항 구성 및 신뢰도는 [Table 2]와 같다.

Table 2.

Academic self-efficacy Survey item composition and reliability

3.3.2 메타인지

본 연구에서는 대학생의 메타인지를 측정하기 위해 Schraw와 Dennison(1994)이 성인 학습자의 메타인지를 측정하기 위하여 개발하고 신예진(2011)이 번안한 ‘메타인지능력 검사지(Metacognitive Awareness Inventory: MAI)’를 사용하였다[17][24]. 인지에 대한 지식 17문항, 인지에 대한 조절 35문항으로 구성되어 있으며 선언적 지식은“나는 내 자신의 지적 능력의 장단점(강점과 약점)을 알고 있다.”등의 문항으로 구성되어 있다. 메타인지 측정 문항 구성 및 신뢰도는 [Table 3]과 같다.

Table 3.

Metacognition Survey item composition and reliability

3.3.3 문제해결능력

본 연구에서는 대학생의 문제해결 능력을 측정하기 위해 이석재(2003)가 개발한‘문제해결 능력 진단지’를 사용하였다[23]. 문제 명료화 5문항, 원인 분석, 대안 개발, 계획 수립 및 실행, 수행평가 각 10문항으로 구성되어 있으며, 문제 명료화는 “내가 원하는 상태와 현재 상태간의 차이가 무엇인지를 생각한다.”등의 문항으로 구성되어 있다. 메타인지 측정 문항 구성 및 신뢰도는 [Table 4]와 같다.

Table 4.

Problem solving ability Survey item composition and reliability

3.5 분석 방법

본 연구에서는 생성형 인공지능을 활용한 실습이 학업적 자기 효능감, 메타인지, 문제해결능력에 미치는 영향을 검증위해 IBM SPSS 29.0.2을 사용하였다. 이 연구에서 주요 변수인 학업적 자기 효능감, 메타인지, 문제해결 능력의 하위 요소 간 상관관계를 확인하기 위해 피어슨의 상관관계 분석을 실시하였으며 사전 및 사후 검사 결과를 비교하는 대응 표본 t-검정을 실시하는 정량적 분석을 진행하였다. 실험 기간 동안 작성한 자기 성찰 보고서에 학습 과정에서 직면한 문제와 생성형 인공지능을 활용한 해결 과정을 기술하고 이 과정에서 느낀 점 및 인지적 변화를 기록하도록 하였다. 제출된 보고서는 내러티브 분석(Narrative Analysis)를 통해 분석하여 학생들이 학습과정에서 경험한 구체적인 사례와 인지적 변화 등을 심층적으로 이해하고 분석하였다. 성적 분석의 타당성을 확보하기 위하여 참여자 검토를 진행하였으며 자기 성찰 보고서의 주요 분석 결과를 참여자들에게 확인하여 해석의 정확성을 검증하고자 하였다.

4.1 학업적 자기 효능감, 메타인지, 문제해결 능력에 대한 정량적 분석

생성형 인공지능을 활용한 데이터 분석 실습을 통하여 학습적 자기 효능감, 메타인지, 문제해결 능력의 하위 요소인 주요 변수 간의 상관관계를 분석한 결과는 연구 결과는 [Table 5]와 같다. 자기 조절 효능감과 과정적 지식(r=.655, p<.001), 문제 해결력의 계획과 수립(r=.637, p<.001)로 유의한 상관관계를 보였고, 메타인지의 과정적 지식은 문제해결력의 대안 개발(r=.574, p<.001) , 계획 수립 및 실행(r=.667, p<.001) , 수행평가(r=.595, p<.001)로 유의한 상관관계를 보였다. 메타인지의 조건적 지식은 인지 조절 영역인 디버깅(r=.737, p<.001)과 유의한 상관관계를 보였다. 반면 학업적 자기 효능감의 하위 요소인 자신감은 메타인지 및 문제해결력의 하위 요소와 유의한 상관관계를 나타내지 않았다.

Table 5.

Pearson's Correlation analysis results

생성형 인공지능을 활용한 데이터 분석 실습을 통하여 학습적 자기 효능감, 메타인지, 문제해결능력에 미치는 영향을 확인하기 위한 연구 결과는 [Table 6]과 같다.

Table 6.

Paired Sample t-Test Results

학업적 자기 효능감의 하위 요인인 자기조절 효능감이 0.05수준에서 유의미한 결과를 보였다. 자기 조절 효능감은 학습자가 자기관찰, 자기판단, 자기반응과 같은 자기 조절적 기대를 잘 수행할 수 있는지에 대한 효능 기대로 데이터 분석 실습 시 분석과정을 탐색하고 계획을 수정 및 조정할 줄 알며 데이터 분석 시 어려움이 발생하였을 때 이를 해결하기 위해 긍정적인 태도를 유지하며 지속적으로 학습하려는 능력에 영향을 미친 것으로 판단하였다.

메타인지는 인지에 대한 지식 영역에서 과정적 지식이 0.05수준에서 유의미한 결과를 보였다. 과정적 지식은 학습 전략 사용 방법에 대한 지식으로 학습자가 특정 과제를 수행하는데 필요한 전략이나 방법을 이해하고 사용하는 능력이 향상되었음을 의미한다. 분석 도구에 대한 사용법을 숙지하고 효과적으로 활용하는 능력이 향상되었으며 새로운 분석 방법을 학습할 때 효과적인 학습 전략을 선택하고 더 빠르게 학습 내용을 이해할 수 있는 능력 향상에 영향을 미쳤다고 판단하였다. 인지에 대한 조절 영역은 계획이 0.05수준에서 유의미한 결과를 나타냈으며 모니터링과 평가는 0.01수준에서 유의미한 결과를 나타났다. 모니터링은 자신의 학습과 학습전략 사용에 대한 평가 능력을 평가는 학습이 끝난 후 수행과 전략의 효율성에 대한 평가를 의미한다. 예상치 못한 오류가 발생하였을 때 이를 빠르게 인식하고 방법을 모색할 수 있으며 분석 과정에서 발견한 부족한 점을 반복 학습하고 이를 향상시킴으로 학습자의 효율성과 성과를 향상시키는데 영향을 미친 것으로 판단하였다.

문제해결능력은 대안 개발 영역에서 0.01수준에서 유의미한 결과를 나타냈다. 하위 영역인 확산적 사고가 0.01수준에서 유미한 결과를 나타냈다. 확산적 사고는 창의적이고 다양한 해결책을 모색할 수 있는 능력을 의미한다. 기존에 활용하지 않은 데이터 분석 기법 또는 도구를 활용하고 적용하여 다각도로 접근하고 사고할 수 있는 능력에 영향을 미쳤다고 판단하였다.

4.2 학업적 자기 효능감, 메타인지, 문제해결 능력에 대한 정성적 분석

본 연구는 문제 해결 난이도에 따른 상, 중, 하의 과제를 자율적으로 선택하도록 하고 문제 해결 시 코드작성, 디버깅, 코드 리뷰, 주석 및 문서화, 예시 문제 해결, 문제 해결 아이디어 제안 등의 용도로 생성형 인공지능을 적합하게 활용할 수 있도록 하였다. 정량적 분석에서 나타난 자기 조절 효능감, 메타인지의 과정적 지식, 문제 해결 능력의 대안 개발 영역의 향상은 정성적 분석에서도 학생들이 보고한 경험과 일치하였다. 정량적 분석에서 능력의 향상이 나타났다면, 정성적 분석은 학생들이 어떤 구체적인 전략을 사용했는지, 그리고 그 과정에서 어떤 어려움과 성취를 경험했는지를 심층적으로 이해할 수 있었다.

많은 학생들은 과제를 수행하는데 도구 활용 능력 및 효과적 학습 전략을 수립하는 능력인 자기 조절 효능감이 향상되었음을 확인할 수 있었다. 학습자들은 데이터 분석 과제를 수행하면서 어려움이 발생하였을 때 긍정적인 태도를 유지하며 지속적으로 학습하려는 태도를 보였다. “긴 시간 해당 문제에 머물러 있었지만 예시 코드를 바탕으로 문제 해결에 성공하였고 더 난이도 높은 문제도 해결할 수 있을 것 같다는 생각이 들었다. 생성형 인공지능을 잘 활용한다면 데이터를 다루는 능력이 비약적으로 향상될 것이라고 기대하게 되었다.”, “문제 해결 과정에서 예상치 못한 오류와 여러 번의 시도 끝에 해결할 수 있었다. 앞선 실습 경험을 통해 인내심과 끈기를 바탕으로 문제에 접근하려는 자세의 중요성을 느꼈다.”와 같이 자기 조절적 기대를 잘 수행할 수 있는지에 대한 기대를 살펴볼 수 있었다. 또한 하 수준의 난이도 과제를 선택하던 학생들이 좀 더 어려운 수준의 과제를 선택하고 해결하려는 모습을 확인할 수 있었다. 이는 6주간의 실습을 통해 문제 해결에 대한 자기 효능감 향상으로 난이도 높은 과제를 선택하고 과제를 수행하는 방법을 이해하고 사용하는 능력이 향상된 것으로 확인되었다.

“챗GPT을 활용하는 과정에서 기본 지식이 기반이 되어야 한다는 것을 느꼈다,”, “자신의 학습 상태를 인식하고 자신의 학습 상태를 반성적 사고로 평가하는 모습도 확인할 수 있었다.”, “강의 자료에 있는 방법과 다른 접근 방법을 알려줄 때 다양한 시각으로 접근할 수 있음을 알 수 있었다.”, “문제에 적합한 해결 방법을 적용해봐야겠다.”와 같이 수업 시 제한적인 교수 내용 외에 다양한 접근법을 스스로 탐색하고 접근하는 사고가 길러졌음을 알 수 있었다.

문제해결능력의 하위 요인인 디버깅 능력은 대응 표본 T-검정 결과 0.686의 유의 확률을 나타내어 유의한 차이를 보이지 않았다. 이에 대한 근거로는“문제 수행 시 오류가 발생하면 처음에는 생성형 인공지능을 활용하여 문제를 해결하였다. 이를 단순 반복하다보니 오류의 원인과 방안 모색에 대한 근본적인 문제점을 놓치게 되었다. 이를 생각하며 해결 가능한 오류는 스스로 찾아보는 활동으로 변경하였다.”, "코드 오류를 찾는 데 유용했지만, 그 오류의 근본 원인을 이해하고 수정하는 데는 한계가 있었다."와 같은 응답을 통해 오류 메시지의 해석에는 유용하지만 생성형 인공지능이 제공하는 즉각적인 해결책이 오히려 문제의 근본 원인 분석을 방해하고 있음을 알 수 있다. 이는 정량적 분석에서 조건적 지식에 유의한 영향이 나타나지 않았으며 조건적 지식과 디버깅간의 높은 상관관계를 나타나는 분석과 일치하였다.