AI 통합교육의 인공지능 윤리역량 평가도구 개발 방향 탐색

도덕적 발달 유형 평가는 콜버그의 도덕적 발달 단계를 적용한 AI 윤리역량 평가방법이다[11]. 중등학생에서 일반적으로 관찰되는 도적적 추론 단계에 맞춰 전인습적 수준의 2단계, 인습적 수준의 3-4단계, 후인습적 수준의 5단계와 연결된 행동대안을 개발하였다. 이 평가의 목적은 도덕적 발달 단계와 연계된 선택지를 제공함으로써 개별 학습자의 윤리적 추론 단계를 예측하는데 있다. 평가 결과를 바탕으로 학습자의 윤리적 판단능력과 성숙도에 대해 이해함과 동시에 이를 바탕으로 보다 고차원적인 윤리역량 함양을 지원할 수 있다.

역량 기반 평가는 지식(Knowledge), 기능(Skill), 태도(Attitude)의 척도를 적용한 AI 윤리역량 평가방법이다[12]. 지식은 시나리오에 내포되어 있는 인공지능 윤리원칙에 대한 학습자의 이해 여부를 확인하다. 태도는 딜레마적인 윤리적 상황에서 발현되는 개인의 가치관이나 신념, 판단에 대한 문항이다. 기능은 문제를 해결하기 위해 학습자가 선택할 행동에 관한 것이다. 이는 학생들이 인공지능을 둘러싼 주요 논쟁에 대해 이론적 지식뿐만 아니라 학습자의 비판적 사고 및 의사결정 능력, 실제 상황에서의 문제해결능력을 평가할 수 있다.

입서티브 유형 평가는 입서티브(ipsative) 응답 형식을 적용한 AI 윤리역량 평가방법이다[13]. 학습자가 해당 시나리오 상황에 처했을 때를 가정하고 자신이 가장 할 것 같은 행동과 가장 하지 않을 것 같은 행동 두 가지를 선택한다. 2개 이상의 문항집합을 주고 선호순위를 정하게 하거나 선호 또는 비선호 문항을 선택하게 하는 형식이다. 이러한 방식은 자기인식에 중점을 두고 자신과 부합하는 항목을 선택하게 되어 있어 응답 왜곡이 덜하다는 장점이 있다. 측정된 결과는 다른 사람과의 비교가 아닌 학생 개개인별로 다른 평가 항목과 비교하여 윤리적 역량이 높고 낮음을 파악하는데 유용하다.

1) 도덕적 발달 유형 평가

도덕적 발달 유형 평가는 콜버그의 도덕발달이론을 적용한 평가방법으로 Table 2와 같이 전문가 설문 결과 모든 항목에서 평균 4.29 이상의 높은 점수를 받았다.특히 ‘단계 설정의 적절성’ 항목은 평균 4.43으로 가장 높게 평가되었으며, 모든 전문가가 긍정적으로 응답하였다. 표준편차는 ‘도덕 발달 단계 적용 타당성’이 0.76으로 가장 높았으나, 전반적으로 전문가들의 의견이 일치하는 경향을 보였다.

Table 2.

Results of Moral Development Type Assessment

2) 역량기반 유형 평가

역량기반 유형 평가는 지식(Knowledge), 기능(Skill), 태도(Attitude)의 관점에서 AI 윤리역량을 평가하는 방법이다. Table 3과 같이 전문가 설문 결과 ‘영역 구성 타당성’이 평균 4.57로 가장 높은 점수를 받았으며, ‘문항 변별성’이 평균 4.00으로 상대적으로 낮게 평가되었다. 표준편차는 ‘영역 구성 타당성’과 ‘선택지 적절성’이 0.79로 다소 높게 나타났으나, 6명의 전문가가 해당 항목에 대해 긍정적으로 응답하였다.

Table 3.

Results of Competency-Based Assessment

3) 입서티브 유형 평가

입서티브 유형 평가는 윤리원칙의 포함여부와 선호도 측면에서 AI 윤리역량을 측정하는 평가방법이다. Table 4와 같이 입서티브 유형 평가에서는 ‘응답방식(윤리원칙의 포함여부)의 적절성’과 ‘응답방식(선호도) 적절성’이 모두 평균 4.43으로 높게 평가되었다.

Table 4.

Results of Ipsative Assessment

다른 평가방법들과 비교했을 때 입서티브 유형 평가는 상대적으로 표준편차가 높게 나타났으나, 대부분의 항목에서 긍정의 응답을 보였다.

경험학습 기반 평가는 AI 통합교육의 문제해결과정에서 실습을 통해 윤리 문제를 확인・검토하는 평가방법으로 가장 많은 평가항목을 포함하고 있다. Table 5와 같이 전문가 설문 결과 ‘방법의 적절성’이 평균 4.71로 전체 평가항목중 가장 높게 평가되었다. ‘구조의 적절성’, ‘난이도 적합성’, ‘평가의 타당성’도 평균 4.57로 높은 점수를 받았다.

Table 5.

Results of Experience-Learning-Based Assessment

포커스 그룹 인터뷰에 앞서 실시된 사전 평가 결과 본 연구에서 제안한 AI 윤리역량 평가도구는 전반적으로 전문가들의 높은 평가를 받은 것으로 나타났다. 평가 범주별로 살펴보면, 경험학습 기반 평가가 방법론적 측면에서 가장 높은 평가를 받았으며, ‘구조의 적절성’, ‘난이도 적합성’, ‘평가의 타당성’ 항목에서도 높은 점수를 받았다. 도덕적 발달 유형 평가는 모든 항목에서 일관되게 높은 점수를 받았으며, 역량기반 유형 평가는 ‘영역 구성 타당성’에서 특히 높은 평가를 받았다. 입서티브 유형 평가는 다른 평가 범주에 비해 상대적으로 표준편차가 높게 나타나 전문가들 간의 의견 차이가 있었으나, 전반적으로 긍정적인 평가를 받았다.

이러한 정량적 분석 결과는 포커스 그룹 인터뷰를 통한 정성적 분석을 위한 기초 자료로 활용되었으며, 이후 진행된 포커스 그룹 인터뷰에서는 평가도구의 개발 방향과 구체적인 개선점에 대한 심층적인 논의가 이루어졌다.

전문가들은 AI 윤리 역량을 종합적으로 평가하기 위해서는 AI 윤리에 대한 개념 및 하위 요소에 대한 구성이 보다 구체적으로 제시될 필요가 있음을 강조했다. 특히 현재학생들이 실제로 접하고 있는 생성형 AI와 같은 기술에대한 고려가 평가도구에 반영되어야 한다는 의견이 제시되었다. 따라서 AI 통합교육에서의 AI 윤리 역량을 AI 윤리원칙, 이슈에 대한 지식 측면, AI 윤리 이슈 분석 및 대응의 기능 측면, AI 윤리에 대한 가치관 및 책임감과 같은태도의 측면, 실제 AI사용 및 개발 시 발현되는 윤리적 행동측면 등 AI 윤리 역량을 학습자에 맞게 정의하고 체계화할 필요가 있다.

“AI 윤리 역량을 종합적으로 평가하기 위해서는 AI 윤리에 대한 개념 및 하위 요소에 대한 구성이 보다 구체적으로 제시될 필요가 있어 보입니다. 또한 생성형 AI와 같은 학생들이 직접 접할 수 있는 AI 기술에 대한 부분도 고려해야 할 것으로 보입니다.” (전문가 A)
“윤리역량을 평가할 때 평가 결과에 모든 사람이 동의할 수 있는 기준과 근거를 마련하는 것이 가장 중요할 것 같습니다.” (전문가 E)

전문가들은 학생들이 AI 윤리적 문제를 실제 상황에 어떻게 적용할지 이해할 수 있도록 다양하고 구체적인 실사례와 시나리오의 활용이 중요하다고 강조했다. 특히 인위적으로 오류를 만든 데이터보다 실제 문제점이 있는 데이터를 활용하여 학습하고, 이후 학생들이 실생활 데이터를 수집하여 응용할 수 있는 기회를 제공하는 것이 효과적이라고 제안하였다. 또한 경험학습 기반 평가가 가지는 교육적 가치는 인정하면서도, 현실적인 수업 여건 속에서 효과적으로 활용할 수 있는 방안이 마련되어야 한다는 의견이 제시되었다.

“학생들이 AI 윤리적 문제를 실제 상황에 어떻게 적용할지 이해할 수 있도록 돕기 위해, 다양하고 구체적인 실사례와 시나리오를 통해 평가할 필요가 있습니다.” (전문가 B)
“경험학습기반 평가의 각 단계마다 예측되는 상황에 대한 구체적인 예시와 사례가 제시되어야 합니다. 예를 들어, 제공된 데이터의 문제점 발견에서 학생들이 발견할 문제 상황의 예시 등이 포함되어야 합니다.이러한 구체적인 사례 없이는 교사들이 현장에서 효과적으로 적용하기 어렵습니다.” (전문가 F)
“경험학습기반 평가의 내용은 학생들에게 이상적인 AI 윤리 교육 방법이라고 생각합니다. 이 수업을 진행하기 위한 윤리적 문제점이 반영된 실습 데이터가 다양하게 실제 데이터로 제시되어야 합니다. 억지로 오류가 만들어져 있는 데이터보다, 실제 문제점이 있는 데이터로 학습하여 활동 이후 학생들이 실생활 데이터를 수집하여 응용할 수 있도록 제시되면 좋을 것 같습니다.” (전문가 E)

전문가들은 AI 윤리 역량 평가도구 개발에 있어 ‘실제성’ 을 핵심으로 하고 있다[20]. 이는 단순히 이론적 지식을 측정하는 것을 넘어 실제 AI 윤리 문제 상황에서의 판단과 행동 역량을 평가해야 한다는 방향성을 시사한다. 이를 위해서는 인위적으로 만들어진 가상 시나리오, 인위적 오류를 삽입한 데이터셋보다는 실제 AI 시스템에서 발생했거나 발생할 수 있는 윤리적 딜레마 상황을 활용이 필요하다.이러한 접근이 AI 윤리 문제의 복잡성을 경험하고 학생들의 문제해결능력과 윤리적 감수성을 향상시킬 수 있다.

특히 경험학습기반 평가는 안내된 교수(guided instruction)를 통한 진행이 요구된다[21]. 단순히 윤리적 문제를 찾아보라고 지시하는 것은 학생들이 방향을 잡지 못하거나 표면적인 문제만 발견할 수 있다. 교수자와 학생이 함께 평가단계에서 발견가능한 윤리적 이슈와 접근법에대해 알아본 후 학생 스스로 문제를 발견하고 해결책을 고민할 시간을 제공할 필요가 있다. 학생들은 기본적인 안내를 받으면서도 스스로 사고하고 발견하는 과정을 통해 컴퓨팅 사고력 및 AI 윤리역량을 함양할 수 있다.

1) 평가 문항의 명확성과 적합성

전문가들은 평가도구를 개발하는 데 있어 시나리오와 평가문항간의 일관성, 명확성, 적합성 확보가 중요하다고 강조했다. 시나리오에 명시되지 않은 가정을 기반으로 하는 선택지는 학생들의 문항 해석이 혼란을 초래할 수 있기 때문이다. 특히 태도를 평가하는 선택지는 지식 측정이 아닌 실제 감정, 가치관, 행동성향을 드러낼 수 있도록 구성할 필요가 있으며, 효과적인 평가를 위해서 명백히 틀린 선택지가 아닌 매력적인 오답 보기가 요구된다.

“도덕적 발달 유형평가에서 평가문항 하나로 도덕적 유형을 구분하기에는 무리가 있을 것 같아 다양한 문항을 구성할 필요성이 있습니다.” (전문가 B)
“역량기반 유형평가의 지식 문항에서 선택지 1번의 내용인 ‘...기록을 무기한으로 저장하는 것은...’은 시나리오에서 제시되지 않은 사항으로 학생들이 오해할 수 있습니다. 즉, 시나리오 상에 무기한 저장한다는 점이 없으므로 해당 선택지를 답이 아닌 것으로 판단할 수 있습니다. 따라서 ‘무기한으로 저장할 수 있으므로...’와 같이 수정하여 오해의 여지를 줄이는 것이 필요합니다. 또한 태도 문항에서 선택지의 내용이 위에서 정의한 태도 역량의 내용보다는 지식에 더 가깝게 보여집니다. 따라서 선택지에 느낌, 성향 등이 드러날 수 있도록 수정하는 것면 태도 역량을 보다 정확하게 평가할 수 있을 것입니다.” (전문가 A)
“역량기반 유형 평가에서 지식 부분은 오답들이 매력적으로 보이는데요. 기능과 태도는 조금 더 오답 매력도가 높은 보기를 한개 정도씩 추가하는 것도 필요해 보입니다.” (전문가 C)

2) 평가 문항 설계 시 고려사항

전문가들은 평가 문항 설계 시 다양한 평가 방식의 필요성을 강조했다. 특히 선택형 문항만으로는 윤리적 태도와 가치관을 평가하는 데 한계가 있다는 점을 지적하고, 서술형 문항이나 사고 과정을 묻는 문항이 필요함을 제안했다.

“현재 문항 구성은 명백한 정·오답 구분을 통해 파악하기에 편리하지만, 윤리적 태도나 가치관에 대한 평가는 단일 정답으로만 가늠하기 어려운 측면이 있습니다. 추가적으로 서술형 문항이나 사고 과정을 묻는 문항을 도입하면더 입체적인 평가가 가능할 것으로 보입니다.” (전문가 D)
“도덕적 발달 유형평가에서 콜버그 이론의 단계에 따라 2-5단계를 선정하고, 각 문항의 선택지가 이론에 맞게 판단 수준 차이가 명확하게 구분은 되나, 이는 AI 윤리적 사고 수준을 참고하는 데는 유용하지만, AI 윤리 평가의 독립적인 기준으로 삼기에는 어려움이 있다고 생각한다. AI 윤리에서는 학생(개발자의 역할)의 도덕적 발달 단계보다 비용적인 문제, 공정성, 개인정보, 편향 등의 구체적인 원칙 이해 여부 파악이 필요할 것으로 보입니다.” (전문가 E)
“AI 윤리에는 기술이 미치는 사회적 영향을 넘어서 경제적 측면도 고려하는 요소를 추가할 필요성이 있음. AI 기술의 발전은 단순히 윤리적 문제에 그치지 않고, 경제적 구조와 시장 환경에 광범위한 영향을 미치며 AI는 고용 시장, 생산성, 소득 불평등 등 경제적 변수에 직접적인 영향을 미칠 수 있기 때문에 함께 고려할 필요성이 있습니다” (전문가 B)

AI 통합교육에서의 궁극적 목표는 학생들이 실제 윤리적 문제 상황에서 적절한 행동을 취할 수 있도록 하는 것이다. 그러나 현재 학습자의 윤리적 행동에 영향을 미치는 요인 연구와 이를 평가할 도구가 부족한 실정이다[22]. 본 연구는 각 문제해결단계마다 적절한 평가도구를 매핑함으로써 다양한 평가방식 적용을 제안하고 있으나, 전문가들은 단일 형태의 응답방식을 넘어 선택형, 서술형, 순서 배열형, 프로젝트 기반 등 다양한 평가 방식을 통합적으로 활용할 필요성을 제기하였다. 특히 단일 정답이 있는 선택형 문항만으로는 학생들의 윤리적 태도와 가치관을 온전히 평가하기 어렵다는 한계가 있으며, 서술형 문항이나 사고 과정을 드러내는 문항을 통해 학생들의 윤리적 사고 및 의사결정 과정을 심층적으로 파악하는 것이 중요하다는 점이 강조되었다. 또한 AI 윤리 평가에 경제적 영향 관련 내용을 포함할 필요가 있다. 특히 AI 기술이 일자리 변화, 생산성, 디지털 격차 등에 미치는 영향에 대한 이해와 평가가 포함되어야 한다. 이는 학생들이 AI 기술의 사회경제적 영향을 종합적으로 이해하고, 책임 있는 AI 개발과 활용의 중요성을 인식하는 데 도움을 줄 수 있다.

1) 학교 현실을 고려한 유연한 평가체계

전문가들은 학교 현장의 다양한 여건을 고려한 평가도구 설계의 중요성을 강조했다. 특히 경험학습 기반 평가의경우 수업 시간과 과정이 충분히 보장되어야 하기 때문에이를 진행하기 어려운 학교 상황을 고려하여 최소한의 요소로 구성된 간소화된 평가도구가 필요하다는 의견을 제안하였다.

“AI 윤리 역량을 장기적으로 평가하기 위해서는 개별 학교의 상황에 따라 약식 버전 또는 전체 버전 등으로 구분하여 측정할 수 있는 방안도 고려해볼 필요가 있습니다. 특히 경험학습 기반 평가의 경우 수업 시간과 과정이 충분히 보장되어야 하기 때문에 이를 진행하기 어려울 수도 있어 보입니다.” (전문가 A)
“장기적인 프로젝트 수업이 이루어져야 할 것 같습니다. 수업 시수 등 현실적인 문제를 고려하였을 때 최소한의 요소들로 측정할 수 있도록 간소화하는 형태로 가야 현장 적용이 용이할 것 같습니다.” (전문가 F)

본 연구에서 제안된 AI 통합교육에서의 윤리역량 평가는 네가지의 평가 유형이 독립적으로 사용되는 것이 아니라 문제해결 각 단계마다 선별적으로 적용되는 통합적 체계이다. 이에 각 단계별 소요 시간, 필요 자원, 준비 사항등을 제시하고, 상황에 따라 일부 단계만 선택적으로 적용할 수 있는 유연한 옵션 제공이 필요하다. 또한 학교 현실을 고려한 유연한 평가체계를 위해 모듈식 또는 단계별 평가 체계 개발이 필요하다. 기본 평가에서는 시나리오 기반의 도덕적 발달 평가와 역량기반 평가를 조합하여 지식 및기본적인 판단 능력을 평가할 수 있다. 심화평가에서는 기본 평가에 개인의 선호와 가치과을 파악하는 입서티브 유형의 평가와 실제 AI 윤리 문제를 경험하고 해결해나가는경험학습 기반 평가를 추가하여 보다 종합적인 평가가 진행될 수 있다.

2) 학생 수준별 차별화된 평가도구

전문가들은 학생들의 발달 수준과 학교급에 따른 차별화된 평가도구의 필요성을 강조했다. 이러한 의견들은 학생들의 인지적, 발달적 특성을 고려한 맞춤형 평가 방식의 필요성을 시사한다. 따라서 중학생은 보다 기본적인 AI 윤리 개념과 원칙을 중심으로 평가하고, 고등학생에게는 복잡한 윤리적 딜레마와 가치 판단을 요구하는 평가가 필요하다. 예를 들어 중학생의 경우 “AI 추천 시스템이 특정 그룹에게 불리한 결과를 제공한다면, 이는 어떤 AI 윤리 원칙과 관련이 있는가?” 의 문항이 될 수 있다. 고등학생의 경우 “AI 추천 시스템이 사회적 약자에게 불리한 결과를 제공하지만, 전체적인 효율성은 높아지는 상황에서 우리는 어떤 가치를 우선시해야 하며, 그 이유는 무엇인가?” 로 서술식을 통해 학습자의 역랑을 수준을 판단할 수 있다.

“지식, 기능, 태도 영역 구성인 윤리 평가가 타당하다고 보며, 중학생 수준에는 적합하나, 고등학생 수준에서 쉬운 문항으로 보입니다. 복잡한 윤리적 상황을 제시하거나, 가치 판단이 필요한 질문을 제시할 필요가 있습니다.” (전문가 E)
“콜버그의 도덕발달이론에서는 후인습적 수준을 가장 높은 단계로 설정하고 있습니다. 이 평가도구는 학생들이 5단계 수준(사회 계약 지향)의 AI 윤리 역량을 함양하도록 설계된 것으로 보입니다. 평가 문항에서 4번 선지가 가장 옳은 선지로 상정되어 있는데, 이러한 도구를 통해 학생들의 발달 단계를 진단한 후에는 후속 교수학습 방안이 필요할 것입니다. 특히 서로 다른 AI 윤리 발달 단계에 있는 학생들이 함께 토론하도록 하여 블래트 효과를 도모하는 등의 교육적 개입이 효과적일 수 있습니다. 학생들의 도덕적 추론 능력을 한 단계 높은 수준으로 발전시키기 위한 구체적인 교수학습 방안이 평가도구와 함께 제시되면 더욱 의미 있는 평가가 될 것입니다.” (전문가 F)

전문가가 제시한 ‘블래트 효과’를 활용한 교육적 접근도 고려할 수 있다. Blatt와 Kohlberg(1974)의 연구에서는 서로 다른 도덕적 발달 단계에 있는 학생들 간의 토론이 도덕적 성장을 촉진함을 증명했다[23]. AI 통합교육 중간 단계에서의 평가 결과를 바탕으로 서로 다른 도덕적 발달 단계에 있는 학생들 간의 토론이나 협력 활동을 구성하여 학습자의 도덕적 발달을 촉진할 수 있다. 예를 들어, 4단계(사회 질서 지향)의 학생과 5단계(사회 계약 지향)의 학생을 함께 그룹으로 묶어 AI 윤리 문제에 대해 논의하게 함으로써 4단계에 해당하는 학생의 도덕적 발달을 촉진할 수 있다.

전문가들은 평가 결과의 효과적인 제공과 활용 방안이 중요하다고 지적했다. 구체적으로 학생들의 AI 윤리 역량의 성장과 발달을 지속적으로 모니터링하고 지원할 수 있는 평가 결과 제공 방식이 중요하다는 점이 강조되었다.

“평가 결과 해석에서 이전 평가 결과와의 비교 또는 집단 평균과 개인의 비교 등의 내용이 포함되면 좋겠습니다.” (전문가 A)
“평가 결과를 바탕으로 학습자에게 도덕적 추론 수준을 점수화하기보다는 구체적 피드백과 단계 상승을 위한 학습 전략을 제공해 주는 것이 더 의미 있을 것 같습니다. 또한 평가 결과를 해석하고 피드백을 제공할 때 각 점수대별 피드백, 보완활동 제안된 교사·평가자용 매뉴얼이 함께 제공되면 실효성이 더욱 높아질 것 같습니다. 윤리가 실천으로 이루어지게 하기 위해 행동과 생각의 괴리를 줄이기 위한 피드백 모델이 추가된다면 유의미한 결과가 될 것 같습니다.” (전문가 D)

본 연구에서 제안된 AI 통합교육에서의 윤리역량 평가는 문제해결과정의 각 단계에 적합한 평가도구들을 구조화하여 배치하고 단계별로 윤리역량을 측정하는 특징을 갖고 있다. 이러한 평가체계는 학습자의 발달을 순차적으로 파악할 수 있도록 설계되어 이전 평가 결과와의 비교를 통한 역량 향상을 추적할 수 있다는 장점이 있다. 구체적으로 AI 윤리 역량 요소별 변화를 그래프로 시각화하여 성장 궤적을 직관적으로 파악할 수 있도록 설계할 수 있다. 이를 통해 교수자는 학습자의 AI 윤리 역량 발달의 방향성과 속도를 인식할 수 있으며, 필요한 경우 적절한 교육적 적용 시점을 결정할 수 있다. 학습자는 이전에 비해 향상된 점, 향상된 이유 등의 자기 성찰 질문을 수행함으로써 학생 스스로 자신의 발달 과정을 인식하고 성장 목표를 설정하도록 지원할 수 있다. 또한 AI 윤리 역량 수준을 초급, 중급, 고급으로 설정하고 각 평가 영역별로 수준별 성취 기준을 기술한 루브릭 개발이 필요하다. 이러한 루브릭은 학년 또는 학교급별 기대하는 성취 수준을 제시하기 때문에 교사는 수업 목표와 내용을 설계하는데 활용할 수 있으며, 학생은 다음 단계 발달을 위한 명확한 학습 목표 설정이 가능하다.