교육분야의 디지털 전환: 인공지능 기반 교육용 문서 및 영상 내 폰트 저작권 검증을 위한 클라우드 시스템 개발
; 최진희††
; Jinhee Choi††
초록
코로나19 팬데믹으로 인한 온라인 비대면 교육콘텐츠 유통량의 확대로 교육용 콘텐츠 폰트 저작권 침해 사례가 증가하고 있다. 본고는 이러한 폰트 저작권 침해 문제 해결을 위한 클라우드 환경에서 시스템을 실증적으로 검증하고 인공지능 기반 폰트 저작권 점검시스템을 개발하였다. 총 5,518종의 한글 폰트를 대상으로 다양한 콘텐츠 포맷(문서, 이미지, 영상 등)에서 폰트 저작권을 점검하고, 시스템은 파일 입력, 폰트 인식, 폰트 점검, 점검 결과 도출의 단계로 조사하였다. 문서 내 폰트 인식에는 오픈소스 라이브러리를 활용하였고, 영상 내 폰트 인식 및 점검에는 ResNet-34 기반의 딥러닝 모델 등 인공지능 기술을 적용하였다. 특히, 영상 콘텐츠의 폰트 인식은 영상을 프레임 단위로 나누어 폰트 영역을 탐지하고, 폰트 이미지를 낱자화한 후 폰트를 분류하는 방식으로 구현하였다. 초/중등교육 과정의 현직 교사 176명을 대상으로 진행한 테스트에서 문서 내 폰트 점검 검출률 87.61%, 영상 내 폰트 검출률 97.02%를 달성하여 시스템의 높은 검출 정확도를 입증하였다. 본 연구는 클라우드 기반 환경에서 다양한 포맷의 교육콘텐츠에 대한 폰트 저작권 점검을 체계화하는 시스템을 제시함으로써, 교육 분야의 디지털 전환을 가속화와 저작권 보호 및 콘텐츠 이용 활성화에 기여할 것으로 기대된다.
Abstract
With the expansion of online non-face-to-face educational content distribution due to the COVID-19 pandemic, font copyright infringement cases for educational content are increasing. This paper empirically verified the system in a cloud environment and developed an AI-based font copyright check system to solve such font copyright infringement problems. In this study, a total of 5,518 Korean fonts were checked for font copyright in various content formats (documents, images, videos, etc.), and the system was investigated in the following steps: file input, font recognition, font check, and check result. Open source libraries were utilized for font recognition in documents, and artificial intelligence technologies such as ResNet-34-based deep learning models were applied for font recognition and checking in videos. In particular, font recognition in video content was implemented by dividing the video into frame-by-frame to detect the font area, convert the font image to text the font image, and classify the font. As a result, the system achieved a detection rate of 87.61% for font checks in documents and 97.02% for fonts in videos in a test conducted from October 21, 2022 to November 1, 2022 on 176 in-service teachers in elementary and secondary education courses, demonstrating the high detection accuracy of the system. By presenting a system that systematizes font copyright checks for educational contents in various formats in a cloud-based environment, this research is expected to accelerate the digital transformation of the education sector and contribute to copyright protection and activation of content use.
Keywords:
Computer Education, Copyright check, Hangul font, Text Detection, Font Classification키워드:
컴퓨터 교과교육, 저작권 점검, 한글 폰트, 글자 인식, 폰트 분류1. 서론
코로나19로 인해 비대면 교육이 급성장하면서 디지털 교육콘텐츠 유통 증가와 함께, 저작권 문제에 대한 우려도 커졌다[1]. 비대면 환경에서 콘텐츠 저작권 침해는 중대한 사회 문제로 그 해결을 위한 노력이 요구되며, 특히 폰트의 저작권을 둘러싼 논쟁과 소송이 심화되고 있다[2, 3]. 예를 들어, 2022년부터 지난 3년간 초·중·고교의 2.8%가 저작권 관련 분쟁을 겪었으며, 그중 86.3%가 폰트 파일과 관련된 분쟁이었다[4].
폰트의 저작권은 디자인(외형)이 아닌 디지털 폰트 파일이 컴퓨터 프로그램 저작물로서 저작권법에 따라 보호를 받으며[5], 폰트 파일 자체를 라이선스 없이 무단 사용하거나 무료 폰트로 오해하여 유료 폰트를 내려받거나, 폰트 파일을 다른 사람과 공유하거나 혹은 상업적 사용으로 허용된 라이선스 범위를 넘어서는 경우 분쟁이 발생한다[5, 6].
비대면 교육 환경에서 콘텐츠 저작권 보호는 시급한 과제로, 특히 폰트 저작권 침해의 빈번한 발생은 이를 해결하기 위한 기업, 단체, 그리고 학교의 접근방식에 변화를 요구한다. 예를 들어, 일부 폰트 회사들은 폰트 파일을 제공하지 않고 구독형 클라우드 서비스로 제공하여 폰트의 권한을 직접 관리하는 방식으로 소비자와의 저작권 분쟁을 완화하였다[5]. 한국저작권위원회와 한국 학술정보원은 교육용 콘텐츠 저작권 인식 개선을 위한 안내서와 교육 자료를 배포하고[6, 7], 학교 안심 폰트와 폰트 점검 프로그램을 제공하지만[8], 이는 다운로드와 인증이 필요한 설치형 소프트웨어로만 제공되며, 일부(한글 및 Microsoft Office) 문서에만 적용되는 한계가 있다.
기존 연구에서는 교육용 문서와 영상의 저작권 침해 관련 교육 현장에서의 저작권 가이드라인에 관한 연구[9], 교육목적 저작권법에 관한 연구[10, 11], 교육콘텐츠 저작권 침해 예방 목적의 기술에 관한 연구[12]와 폰트 프로그램의 저작권 보호 개선에 관한 연구[13]가 있다. 이러한 기존 연구들은 법적 분쟁과 해석, 그리고 기술적인 측면을 다루고 있다. 또한 제공되는 점검 프로그램도 설치형 소프트웨어로만 제공되어 코로나19이후 변화된 온라인 비대면 교육콘텐츠 제공 상황에 적합한 클라우드 기반 폰트 저작권 점검시스템에 관한 연구는 부족했다.
본 연구에서는 폰트 저작권 침해 문제를 해결하기 위한 클라우드 환경에서 시스템을 실증적으로 검증하고 인공지능 기반 폰트 저작권 점검시스템 개발을 제안하고자 한다. 이를 통해, 비대면, 디지털 시대에 온라인 교육콘텐츠 유통시 영상, PDF 등 다양한 콘텐츠에 대한 점검과 클라우드 기반 환경에서 접속 장치에 구애받지 않는 새로운 폰트 점검시스템을 통해 저작권 보호 및 이용 활성화 기술 개발의 기반을 마련하고자 한다. 이러한 노력은 저작권 보호와 교육콘텐츠 활용을 동시에 보장하는 해결책을 제시하고, 나아가 교육 분야의 디지털 전환 가속화에 기여할 것으로 기대된다.
2. 관련 연구
2.1 폰트 저작권 침해 점검 서비스 비교
교육 현장의 폰트 저작권 문제 해결을 위해 한국저작권보호원과 한국교육학술정보원은 2018년 공동으로 폰트 저작권 점검 프로그램을 개발하여 제공한다[14]. 이 프로그램은 PC에 설치하는 응용 소프트웨어로, 사용자 PC 내의 폰트 파일을 스캔하여 Window, Microsoft Office, 한글과 컴퓨터 프로그램의 기본 설치 폰트를 제외한 추가 설치된 폰트 파일을 삭제하여 저작권 침해를 방해한다.
폰트 저작권 문제 해결을 위한 노력은 다양한 형태와 방식으로 공공기관을 통해 계속되고 있다. 2021년 5월, 한국교육학술정보원은 에듀넷 누리집에 "글꼴 점검 프로그램"을 게시하여 교원 및 교사 인증을 받은 회원을 대상으로 글꼴 파일과 교육용 문서에 대한 저작권 점검 서비스를 제공하였다[15]. 이 프로그램은 그동안 사용자의 컴퓨터에 설치된 기본 글꼴(번들 폰트) 외에 사용자도 모르게 설치된 유/무료 글꼴을 구분해야 하는 문제 해결을 위해 약 1만여 건의 기본·무료·유료 글꼴 정보를 수집하여, 컴퓨터 내에 설치된 글꼴 파일과 문서 파일(.hwp, .pdf, .ppt)을 동시에 점검할 수 있도록 했다.
폰트 저작권 문제 해결을 위해 교육부 행정전자서명 인증(EPKI)을 통해 자동 업데이트와 배포 방식도 존재한다. 2023년 5월, 한국교육학술정보원은 교육 저작권 지원센터 누리집을 개통하여 예약 점검, 자동 업데이트, 화면 전면 개편 등으로 활용성을 높인 폰트 점검 프로그램 v.2.0을 배포했다[16]. 이 프로그램은 교육부 행정전자서명 인증을 통해 로그인 및 다운로드 가능하며, 사용자 PC에 설치하여 폰트 파일과 문서 파일을 점검하고 기록을 관리한다[17].
한편, 기술 개발 정도에 따라 일부 클라우드 서비스 기반의 폰트 매칭 방식도 개발되었다. 예를 들어, 산돌 메타랩은 2022년 5월 이미지 내 폰트 검색에 초점을 맞춘 "폰트폰트"를 출시했다[18]. 이 서비스는 클라우드 기반으로 별도의 설치 없이 이용 가능하며 산돌구름에 입점한 22,000여 종에 대한 폰트 매칭 결과를 제공한다. 그러나 해당 서비스는 이미지 내 폰트 찾기 용도로 폰트 저작권을 확인할 수는 있으나, 문서와 영상에 대한 폰트 점검은 하고 있지 않다.
본 연구는 이전 연구와 서비스에서 제안한 기존 프로그램들이 폰트 파일 자체를 삭제함으로써 저작권 분쟁 위험을 줄이는 장점이 있으나, 특정 유형의 문서 파일(.hwp, .pdf, .ppt)에 국한되거나 인증과 다운로드 및 설치와 같은 절차로 인한 사용자 편의성이 부족하다는 한계를 지적한다. 이러한 한계를 극복하고자, 다양한 유형의 교육용 콘텐츠를 포괄하며 클라우드 기반으로 접근성 높은 새로운 폰트 저작권 점검시스템의 필요성을 제시한다.
제안하는 교육용 콘텐츠의 폰트 저작권 점검 플랫폼은 설치형이 아닌 클라우드 기반 SaaS(Software as a Service) 형태로, 프로그램을 내려받아 공용PC 등에 설치가 어려웠던 기존의 문제점을 개선하고자 한다. 또한, 점검 대상 콘텐츠로 기존과 같은 PC 내 폰트 파일과 문서 파일에서의 점검만으로 저작권 의심 요소를 구분하거나, 클라우드 환경이어도 이미지 파일만 대상으로 폰트를 구분하는 방식에서 교육용 콘텐츠 중 문서와 영상에 대한 폰트를 대상으로 확대하여 폰트 저작권 점검을 제안한다. 폰트 점검 후 점검 결과와 함께 폰트 라이선스에 대한 정보를 제공하여 사용자에게 용도에 맞는 폰트를 사용했는지를 재차 안내하고, 향후 대체 가능한 유사 폰트를 추천하는 기능과 추천된 폰트로 문서 내 폰트를 대체하여 폰트 저작권 안심 문서로 다운로드할 수 있는 기능을 구축할 수 있는 기반을 마련하고자 한다. 이를 통해 교육 분야의 디지털 전환 가속화에 기여하고자 한다.
2.2 인공지능 기반 한글 폰트 점검 기술
인공지능 모델을 활용한 폰트 점검 기술은 크게 폰트 인식 기술과 폰트 분류 기술로 나눌 수 있다. 한글은 초성, 중성, 종성의 문자 구성으로 표현되는 문자 수가 총 11,720개이며, 한글 표현의 디지털 표준인 KS-1001은 2,350자의 문자를 포함하고 있어 영어권 폰트 인식에 비해 폰트 인식이 어렵다[19]. 그러나 최근 컴퓨터 비전 기술의 발전은 다양한 문자 인식 분야에 초기 연구에서는 SERI95a와 PE92 데이터베이스를 활용하여 CNN 기반의 인식기와 판별기를 결합한 하이브리드 학습 방식을 제안하였다[19]. 제안된 방식은 사전 정의된 클래스 없이 경쟁 관계에 있는 클래스들을 동적으로 선택하고 학습함으로써, 유사 클래스 간의 분류 성능을 향상시켰다.
또한, 3,300종의 한글 폰트를 대상으로 두 가지 CNN 모델을 비교하여 학습 시간을 줄이고 파라미터 수를 최소화하는 모델이 개발되었다[20]. 기존의 맥스풀링(Max-pooling) 계층이 지역적 세부 정보를 손실한다는 한계를 극복하기 위해 이를 동일한 크기의 컨볼루션 계층(Convolutional Layer)으로 대체하고, 잔차 연결과 전역 평균 풀링을 활용하여 저수준 특징 정보를 보존하면서 고수준 특징까지 전달되도록 설계하였다. 이를 통해 상위 1위 인식률 94.55%, 상위 5위 인식률 99.91%의 성능을 달성하였다.
한글의 명조체와 고딕체를 구분하는 특징을 발견하고 한글 서체 분류의 수치적 기준 개발을 위한 모델 연구에서는 문자의 전체 형태를 학습하는 방식에서 나아가, 획의 굵기 변화나 세리프(serif) 등 부분적인 특징에 주목할 수 있도록 문자 정보를 재구성하고, 완전연결층 이후에 컨볼루션 신경망(Convolutional Neural Network, CNN)을 추가한 모델 구조를 제안하였다[21]. 이 연구에 사용된 데이터는 한글에서 사용 빈도가 높은 문자 963자를 기반으로, 명조체와 고딕체 각각 3종의 서체를 선정한 후, 문자의 위치와 회전 각도를 다양하게 조정하여 총 121,338개의 학습 데이터를 생성하였다. 모델의 각 컨볼루션 층에서는 5×5 크기의 필터를 사용하였으며, 필터 수는 4개로 설정하였다. 학습 결과, 첫 번째 컨볼루션 층에서는 문자의 전체적인 형태를, 두 번째 층에서는 보다 세부적인 특징을 효과적으로 학습하는 것으로 확인되었다. 또한 샐리언시 맵(Saliency Map) 분석을 통해 서체 스타일 분류에 있어 중요한 시각적 단서가 주로 획의 굵기 변화나 세리프와 같은 돌기 부분에 집중되어 있음을 확인함으로써, 명조체와 고딕체의 기계적 구분 가능성을 실증적으로 제시하였다.
Faster R-CNN Inception v2 모델을 파인튜닝하여 한글의 구조적 특징인 '삐침', '꺾임', '돌출' 등 8가지 요소를 자동으로 검출하는 알고리즘이 개발되었다[22]. 이 알고리즘은 평균 43,109번의 학습을 통해 높은 정확도로 훈련된 글자의 특징을 추출하였으나, 훈련되지 않은 글자에서는 오차가 발생하였다. 또한, 한글 글자 간의 유사성을 판단하는 기준으로 한글 글꼴 획 요소의 구체적 속성인 두께, 각도, 곡률 등 7가지 특징을 도출한 연구에서는 속성값을 코사인 유사도를 활용한 결과와 사용자 평가 결과의 일치도를 분석하여 단일 속성으로는 유사성 판단에 유의미한 차이를 보이지 않지만 7개의 속성 조합으로는 유의미한 차이를 보여 Faster R-CNN 모델과 결합 시 폰트 유사성 분석 효율을 높일 것으로 전망하였다[23].
이와 같이 한글 폰트 인식 연구는 서체의 특징 연구와 병행되었으나, 대부분의 연구가 비교적 간단한 모델을 사용하거나 제한된 수의 폰트를 대상으로 진행됐다. 본 연구에서는 인공지능 기반 기술을 이용한 폰트 점검 기술은 입력된 파일에서 폰트의 위치를 인식하는 영역 탐지(Localization) 기술과 인식된 영역에서 폰트를 분류하는 분류(Classification) 기술로 나누어 진행했다. 영역 탐지 기술은 이미지 프로세싱 기술을 활용하고, 분류 기술은 위에서 언급된 간단한 CNN 모델과 비교하여 이미지 분류와 객체 탐지 등 다양한 컴퓨터 비전 작업에서 우수한 성능을 보이는 ResNet 모델을 사용하였다. ResNet의 핵심은 스킵 연결로, 입력을 몇 개의 레이어를 건너뛰어 다음 블록의 출력에 더하는 방식이다[24]. 이는 역전파 과정에서 그래디언트 소멸 문제를 줄이고 학습 안정성을 높이는 연구로 잔차 학습(Residual learning)을 통해 매우 깊은 네트워크에서도 학습이 가능하도록 구성된 모델로 알려졌다.
3. 연구 방법
본 연구의 목표는 교육용 문서 및 영상 파일에서 텍스트를 인식하고, 해당 텍스트에 사용된 폰트의 저작권 침해 여부를 점검하며 이를 클라우드 SaaS형태의 시스템으로 제안하는 것이다. 제안하는 시스템은 파일 입력, 폰트 인식, 폰트 분류, 점검 결과 도출의 단계로 구성된다.
영상 폰트 검출 모델은 영상 내 텍스트 위치를 탐지하고, 탐지된 텍스트를 낱자로 변환한 후 폰트 분류 모델을 통해 사용된 폰트를 검출했다. 검출된 폰트는 라이선스 데이터베이스와 비교하여 저작권 침해 여부를 검수했다. 영상 내 텍스트 인식 모델은 영상 파일을 프레임 단위로 나누고, RGB 변환 및 이진화 알고리즘을 사용하여 텍스트 영역을 추출했다. 폰트 분류 모델은 CNN, ResNet 모델을 비교하여 속도는 느렸으나 높은 정확도를 보인 ResNet 모델를 활용했다[25]. 이 모델에 가변 입력 이미지를 처리할 수 있도록 SPP-NET의 구조[26]를 적용하여 네트워크를 개선했다.
문서 폰트 검출 모델은 문서의 확장자를 판독한 후, 문서 타입에 따라 오피스 오픈 XML(Office 오피스 오픈 XML, OOXML)과 기존 바이너리 형식의 비XML 기반 문서 그리고 PDF로 나누고 그에 따라 각기 다른 프로세스와 오픈소스 기반 파싱(Parsing) 라이브러리를 활용해 문서 파일의 메타데이터를 읽고, 텍스트 폰트 정보를 추출했다.
구축된 점검 모델과 DB를 통합하여 클라우드 기반 점검 시스템을 설계했다. 사용자는 문서나 영상 파일을 업로드하면 폰트 분석과 저작권 정보를 제공받을 수 있다. 점검 결과는 폰트 명, 저작권자, 유/무료 여부, 라이선스 정보 등을 포함한다. 또한, 해당 시스템은 API 형태로 설계되어 클라우드 환경에서 다양한 플랫폼과 연동이 가능하도록 구현했다.
초중등 교육과정의 현직 교사들로 구성된 176명의 교사 검증단을 구성하여 2022년 10월 21일부터 2022년 11월 1일까지 폰트 저작권 점검 실증을 진행했다. 교사검증단은 실제 학교 수업 현장에서 사용 중인 문서(한글, Microsoft Office, PDF) 와 영상(mp4) 콘텐츠를 업로드 하였으며, 폰트 저작권 점검시스템을 활용해 폰트 저작권 침해 여부를 직접 점검했다. 각 검증 교사는 검증 결과에 대한 피드백을 서면으로 제출했다. 이에, 결과를 바탕으로 폰트 인식 정확도 향상, 사용자 인터페이스 개선, 점검 결과 보고서의 명확성 강화 등 시스템 개선 방향을 도출했다.
3.1 폰트 데이터셋 및 폰트 DB 정보 구축
한글 폰트는 유/무료에 따라 수집했다. 무료 폰트는 공공누리[27]과 눈누[28] 등에서, 유료 폰트는 산돌, Yoon, Rix 등 상용 업체로부터 라이선스를 확보하여 사용했다. 총 5,518종의 폰트에 대해 폰트명, 폰트 페밀리명, 유/무료 여부, 저작권자, 저작권 라이선스 등 다양한 정보를 폰트 정보 DB에 저장했다.
수집된 폰트를 활용하여 90x120 사이즈의 학습용 폰트 이미지 데이터 총 4,100만여 개를 생성했다. 디자인 폰트 및 이미지 폰트를 제하고 총 5,330종의 폰트에 대해 KS-1001 기반 한글 2,350자의 이미지를 생성하고, 학습 데이터의 다양성과 품질 향상을 위해 다양한 데이터 증강 기법을 적용했다. OpenCV의 cv2 라이브러리를 활용하여 필터 강도를 5로 설정하고 Salt and Pepper 노이즈를 전체 픽셀 중 10%에 추가하고 이미지의 경계를 value=0으로 설정하여 경계를 균일하게 보정했다. 이미지 회전은 -30도에서 +30도 사이의 랜덤 각도로 생성하고, 회전 과정에서 발생하는 여백은 흰색으로 채웠다. 마지막으로, 픽셀 경계를 탐지한 뒤 해당 경계 범위에 5%의 패딩을 추가하여 이미지를 잘라내 균일한 이미지를 만들어 이를 학습 데이터로 활용했다.
3.2 영상 내 폰트 점검 기술
영상 내 텍스트를 인식하고 해당 텍스트에 사용된 폰트의 저작권 침해 여부를 점검하기 위해, 입력된 비디오 영상 파일에서 프레임별로 이미지를 추출하고, 이미지 전처리를 통해 텍스트를 인식한다. 인식된 텍스트 이미지를 토큰화하여 낱자 이미지로 분류한 후, 폰트 분류 모델을 통해 폰트를 분류했다(Figure 1).
Process for checking fonts in video
교육용 영상 내 존재하는 자막은 정의된 영역, 색상, 크기가 없이 교육목적의 가독성을 우선시하여 제작되며, 자막은 시청자가 배경과 구분하기 위해 하나의 색상을 사용하거나 주변과 다른 형태 혹은 색상을 가지고 있다는 특징을 활용한다. 이를 통해 이미지 내 특정 텍스트가 있는 위치를 인식하고 해당 위치를 추출하는 모델로 동영상 내 일부 프레임의 자막 위치를 특정했다.
영상을 프레임 단위로 분할한 후 해당 프레임별로 이미지를 처리했다. 잘린 이미지는 RGB 변환을 통해 자막 탐지 효율을 극대화하고, 2차원 필터링 및 형태학적 연산을 활용하여 자막을 강조하며 노이즈로 인한 오탐지율을 감소시켰다. 이후 이진화 알고리즘을 사용하여 프레임 내 자막과 기타 영역을 분리하고, Otsu’s 알고리즘을 통해 최적의 임계값을 선정하여 텍스트와 비텍스트 영역을 구분했다. 폰트의 두께 및 형태 차이를 보정하기 위해 형태학적 연산과 닫힌 연산을 활용하여 프레임을 추가 처리했다. 특히, 자막이 가로로 배치된다는 가설을 기반으로 9x1 필터를 적용하여 프레임을 처리하고, 윤곽선 탐색을 통해 자막 영역의 좌표를 도출한 후 바운딩 박스(Bounding Box)를 적용했다. 바운딩 박스 내 포함된 노이즈와 작은 텍스트를 제거하기 위해 너비/높이 비율이 0.45 이하이거나 각 변이 8픽셀 이하인 대상을 소거했다. 또한, 경계에 위치한 텍스트의 박싱이 제대로 이루어지지 않는 문제를 개선하여 바운딩 박스의 정확도를 높였다.
폰트인식(Localization) 모델 결과를 통해 도출되는 이미지는 낱자가 아닌 텍스트 형식의 이미지이다. 분류 모델에 적용되기 위해서는 각 낱자에 대한 이미지가 필요하다. 이를 위해 텍스트 토크나이즈 단계를 추가하고, 프로젝션 모델을 활용해 글자 간 공간을 분석하여 개별 낱자로 분리했다. 자음과 모음이 분리되는 경우 이를 통합하는 로직을 도입해 정확성을 높였다.
디자인 폰트, 필기체, 또는 붙어 있는 텍스트와 같은 특수한 텍스트에서 토크나이즈의 어려움과 배경 노이즈로 인한 오차가 발견되었다. 이를 해결하기 위해 배경 패턴을 고려한 정규화 기법을 추가했다. 또한, 커넬 필터링(Kernel Filtering), 이미지 스무딩(Image Smoothing), 영역 비교 모듈을 활용해 자음과 모음을 구분하고 낱자 구성을 최적화했다. 텍스트가 밀집되어 있는 경우 Savitzky-Golay 필터를 활용해 분리했으며, 2-단계 폰트인식 모델과 광학문자인식(OCR) 모델을 활용해 음절 단위 구분이 가능하도록 고도화된 토크나이즈 모델을 설계했다. 이 과정에서 모든 텍스트를 자막으로 인식할 수 있도록 범위를 확장하고, 하이퍼 파라미터 조정을 통해 전반적인 프로세스 성능을 개선했다.
폰트 검출을 위한 딥러닝 모델 중 일반적인 CNN모델과 ResNet-50모델, ResNet-34모델을 비교한 결과 속도는 느리지만 정확도가 높은 ResNet모델 중과적합이 적은 ResNet-34모델을 활용했다[24].
영상에서 추출하는 낱자 이미지는 자막의 사이즈에 따라 각기 다른 크기를 가지게 되는데 이를 리사이징하여 활용할 경우 폰트의 특성 중 하나인 공간 분포와 학습 데이터에서 정의한 공간 특징과의 차이가 있을 수 있다. 개선을 위해 입력 이미지의 크기에 상관없이 고정된 길이의 표현을 생성할 수 있는 구조로 이미지 크기 조정시 발생하는 왜곡이나 정보 손실을 방지할 수 있도록 설계된 SPP-Net의 구조[25]를 적용했다.
처음 입력되는 이미지 크기의 제한을 해제하고 하단부의 완전연결층의 구성을 글로벌 평균 풀링(Global Average pooling)로 하여 이미지 크기에 따른 특징 분포가 같은 크기의 집합으로 도출될 수 있도록 네트워크와 하이퍼파라미터를 조정했다.
앞서 구현한 모델들을 패키지화 하고, 진행 사항 데이터를 수집하기 위해 각 패키지별 로그를 수집할 수 있도록 했으며, 이를 통합하여 전체 프로세스를 구성했다.
3.3 문서 내 폰트 점검 기술
문서 파일의 형태와 확장자에 따라 메타 데이터의 저장 및 열람방식이 다르기 때문에 문서의 확장자를 판독하여 각기 다른 프로세스로 진행했다. 문서 타입 (오피스 오픈 XML, 비XML, PDF)에 따라 메타 데이터를 읽어 본문, 테이블, 그림, 머리말, 꼬리말, 제목 등에서 사용된 폰트 정보를 추출했다. 폰트 정보와 라이선스 DB를 활용하여 추출된 폰트를 정의하고 저작권 침해 여부를 점검했다 (Figure 2).
Process for checking fonts in documents
문서 파일 내 폰트 탐지에는 오픈소스 기반 파싱(Parsing) 라이브러리를 사용했다. 한글 파일과 Microsoft Office는 비XML 파일과 오피스 오픈 XML 파일로 나눠서 각기 다른 방법으로 처리했다. Microsoft Office 파일 중 비XML 파일의 경우(.doc, .xls, .ppt) 파일 내 슬라이드 또는 시트, 페이지에서 텍스트 스타일 중 폰트 정보를 파싱했다. Microsoft Office 파일 중 오피스 오픈 XML 파일의 경우(.docx, .xlsx, .pptx)는 각 페이지, 슬라이드, sheet 별로 사용된 테마 및 스타일에 포함된 폰트 정보 파싱했다. 한글 파일 중 비XML 파일의 경우(.hwp) 파일의 헤더 정보를 분석하여 텍스트 스타일 내 폰트 정보를 파싱하고 오피스 오픈 XML 파일의 경우(.hwpx) XML의 정보 메타 데이터를 분석하여 텍스트별 스타일 확인 및 스타일별 폰트 정보를 파싱했다. PDF 파일의 경우 가장 많이 사용하는 Adobe PDF, Microsoft Office PDF, 한글 PDF에 대해, 페이지에서 글자별 텍스트의 폰트 정보들을 추출하고 유/무료 저작권이 있는 폰트 데이터베이스와 비교하여 정보를 추출했다.
비XML 파일 점검 모듈은 자바(java) 프로그램으로 개발했고, 오피스 오픈 XML 파일 점검 모듈은 파이선(python) 프로그램으로 개발했으며, 각각 별도의 API를 제공한다.
4. 연구 결과
현직 교사로 구성된 검증자문단을 통해 구현된 폰트 저작권 점검시스템의 실증을 진행하였다. 문서 파일의 폰트 검출률은 87.61%, 영상 파일의 폰트 검출률은 97.02%를 나타내어 높은 정확도를 보였다.
Synthesizing font copyright results
파일 수는 입력된 파일의 수를 의미하고, 점검 건수는 입력된 파일에서 추출한 폰트 저작권 점검 요소의 건수로 정의하였으며, 폰트 점검 결과 폰트 DB에 있는 폰트로 분류된 경우를 “검출”로 정의하였다.
문서 파일의 경우 텍스트형 문서인 워드는 99.67%, 한글 문서는 93.47%의 검출률을 보였고, 엑셀에서는 100%의 검출률을 보였다. 파워포인트와 PDF의 경우 검출률이 82.75%와 43.27%로 나타났는데 파워포인트 문서의 경우 텍스트뿐 아니라 이미지와 필요에 따라서는 멀티미디어 요소도 삽입할 수 있어, 시각적 전달력을 위주로한 문서이기 때문에 이미지의 배치와 도형요소를 인식하는데 텍스트 위주의 워드 문서에 비해 검출률이 낮았다고 판단된다. PDF의 경우 용도별, 표준별, 문서 편집 소프트웨어별, 다른 인코딩 방법으로 제작되며 그 과정에서 압축률에 따라 일부 정보가 손실되어 폰트 점검에도 영향을 받는 것으로 판단된다. 이를 개선하기 위한 방법으로 문서 내 속성정보를 이용하는 것이 아닌 이미지로 변환 후 폰트 추출하는 방식으로 고도화를 위한 추가 연구가 필요하다. 영상 내 프레임 단위의 이미지에서 폰트를 추출한 방식을 활용한다면 이미지 내 폰트, PDF의 이미지 변환 후 이미지 내 폰트를 추출하여 점검할 수 있을 것으로 보이며, 이를 위해 프로세스 등의 개선이 필요한 것으로 판단된다.
폰트 점검 결과, 시스템은 업로드 된 파일 목록과 점검 상태를 관리하고, 점검 완료 파일에 대한 리포트를 제공한다. 리포트에는 검출된 폰트명, 저작권자, 유/무료 여부, 라이선스 정보, 그리고 사용 가능 여부(안심 폰트/주의 폰트)를 포함한다. 안심폰트는 무료폰트 중 해당 폰트 저작권 라이선스 정책에 따라 문서 및 영상에 사용 가능한 폰트이며, 주의 폰트는 유료 폰트로 구매 등을 통해 라이선스를 확보한 폰트 혹은 무료폰트 라도 문서나 영상에 사용 시 저작권 정보를 표기해야 하는 등 라이선스 확인이 필요한 폰트이다. 영상 콘텐츠 점검 후 폰트 리포트에는 입력된 영상의 길이, 전체 프레임 수, 폰트 점검 프레임 수, 검출된 폰트 수 등 정보와 함께 각 프레임의 재생시간, 썸네일, 자막 폰트 위치 정보 등을 포함하여 제공한다. 또한, 시스템은 문서와 영상 콘텐츠에서 사용된 폰트의 유/무료 상태를 기반으로 통계를 생성하여 시각적으로 요약된 정보를 사용자에게 제공한다.
본 연구에서 제안하는 폰트 저작권 점검시스템은 사용자가 교육콘텐츠 제작 및 관리 전반에서 폰트 저작권을 체계적으로 점검하고, 저작권 침해를 예방하며, 폰트를 적법하게 사용하도록 신규 콘텐츠 제작 및 기존 콘텐츠 관리를 포괄하는 체계적인 저작권 점검을 지원한다. 신규 콘텐츠의 경우, 저작 도구에서 콘텐츠 제작 완료 시점에 저작권 점검을 수행하여 게시 여부를 결정하고, 기존 콘텐츠의 경우, 업로드된 문서 및 영상 파일에 대해 폰트 점검을 실행하고 사용자에게 결과를 안내하여 필요시 폰트 교체를 유도한다. 그 결과 교육콘텐츠의 안전한 유통을 보장할 것으로 기대한다.
5. 결론 및 시사점
코로나19 팬데믹으로 비대면 교육 시장이 급성장하면서 디지털 교육콘텐츠 유통 증가에 따른 저작권 침해 문제가 심화되었다. 특히 폰트 저작권 분쟁은 일부 완화되었으나, 콘텐츠 유통 과정에서의 저작권 침해는 여전히 미해결 상태이다. 본 연구는 이러한 문제를 해결하기 위해 인공지능 기반 기술을 활용하여 문서 및 영상 콘텐츠 내 폰트를 검출하고 저작권 정보를 점검하는 시스템을 개발하였다.
기존 연구는 PC 기반의 설치형 프로그램이나 특정 유형의 콘텐츠에 국한된 저작권 점검 방식에 머물렀으나, 본고는 클라우드 기반 SaaS 형태의 플랫폼을 제안하여 접근성과 편의성을 향상시키고, 교육용 문서와 영상 등 다양한 포맷의 콘텐츠에 대한 저작권 점검을 검토했다. 또한, 폰트 점검 결과와 함께 폰트 라이선스 정보 및 유사 폰트 추천 기능을 제공하여 사용자의 저작권 준수를 지원하고, 폰트 저작권 문제를 해결하기 위한 실질적인 해결책을 제시했다.
특히, 본 연구는 폰트 저작권 문제 해결을 위한 기술적 측면과 교육콘텐츠 이용 활성화를 위한 사용자 편의성 증진에도 주목하여 교육 분야의 디지털 전환의 가능성을 제시했다. 따라서 본고는 기존 연구들이 간과했던 다양한 포맷의 교육콘텐츠에 대한 폰트 저작권 점검 방법과 사용자 편의성을 동시에 고려한 클라우드 기반 점검시스템을 제시하여 기존 문헌의 공백을 메우고, 향후 교육 분야의 저작권 문제 해결 및 디지털 전환을 위한 중요한 기반을 마련했다는 점에서 학문적 및 실천적 함의를 갖는다.
문서 콘텐츠의 점검은 다양한 파일 형식(.hwp, .hwpx, .doc, .docx, .ppt, .pptx, .xls, .xlsx, .pdf)을 대상으로 진행되며, 문서의 폰트 정보를 추출하여 구축된 폰트 데이터베이스와 비교하는 방식으로 이루어진다. 영상 콘텐츠에서는 프레임 단위로 자막 영역을 탐지하고, 자막 텍스트를 폰트 이미지로 변환한 뒤 분류 모델을 활용하여 폰트를 검출한다. 이 과정에서 RGB 변환, 이진화 알고리즘, 형태학(Morphology) 연산, 윤곽선 탐색, 바운딩 박스 생성 등의 기술을 활용하여 자막과 배경을 효과적으로 분리하고, 낱자를 개별적으로 추출하기 위해 텍스트 토크나이즈 및 프로젝션 모델을 적용하였다. 폰트 분류 모델로 CNN과 ResNet-50 모델을 비교 분석하여 ResNet-50 모델을 선택하였으며, 과적합 문제를 완화하기 위해 최종 선택된 ResNet-34 모델을 개선하여 활용하였다.
개발된 시스템은 클라우드 기반 플랫폼으로 사용자가 파일을 업로드하면 자동으로 폰트를 분석하고 저작권 정보를 제공한다. 이를 통해 사용자는 저작권 침해 가능성을 사전에 방지하고, 위험 요소를 제거할 수 있다. 또한, 실증 테스트 결과 문서 콘텐츠의 폰트 검출률은 87.61%, 영상 콘텐츠의 검출률은 각각 97.02%로 높은 성능을 확인하였다.
이를 토대로 본고는 클라우드 기반 자동 분석 서비스라는 특성상 다음과 같은 법적 시사점을 제안한다. 유료 폰트 라이선스의 경우, 폰트 혹은 폰트 제작사마다 라이선스 정책이 다르고, 소프트웨어 번들로 제공되는 폰트의 경우 사용 범위가 어디까지인지 확인할 수 있도록 하는 시스템이 필요하다. 또한, 무료 폰트 중에서도 특정 매체에서만 활용이 가능하거나, 저작권자 표기 필수 등 여러 제약사항이 존재하는데 최신 정보 유지에 한계가 있어 정기적인 데이터베이스 업데이트와 변경이력 기록을 의무화하는 등의 법적 토대 마련이 필요하다.
향후 연구를 통해 PDF 파일의 특수성을 반영한 폰트 검출 방식의 개선, 이미지 내 폰트 점검 서비스, 폰트 유사도 기반의 대체 무료 폰트 추천, 문서 내 폰트 자동 변환 및 다운로드 기능 등 추가적인 기능개선의 가능성을 제시한다. 또한, YOLO 모델 등 발전된 컴퓨터 비전 객체 인식 모델을 기반으로 한 폰트 인식 모델을 사용한 추가 연구와 본 연구에서 사용된 이미지 프로세싱의 고도화 혹은 부분 적용을 통해 정확도를 높이는 방향으로 추가 연구가 진행될 수 있을 것이다. 또한 처리 속도와 관련한 고도화 작업도 함께 진행될 수 있을 것이다. 이를 통해 본 연구는 교육 및 창작 산업에서 폰트 저작권 준수를 촉진하기 위한 효율적인 솔루션을 제안하며, 교육 현장에서 디지털 콘텐츠의 저작권 침해를 예방하고, 올바른 저작권 이용 문화를 정착시키는 데 기여할 것으로 기대된다.
Acknowledgments
본 논문은 2021년 대한민국 문화체육관광부와 한국콘텐츠진흥원의 지원을 받아 수행된 연구임(RS-2021-KC000083)
References
-
Oh, J. (2023). COVID-19 and the digital transformation of educational methods. Journal of the Edutainment, 5(3), 35–47.
[https://doi.org/10.36237/koedus.5.3.35]
- Gye, B., Kim, H., Lee, Y., Son, J., Kim, S., & Baek, S. (2020). Report on the survey and analysis of remote education experiences and perceptions in the first semester of COVID-19 (GM 2020-11). Korea Education and Research Information Service. https://www.keris.or.kr/main/ad/pblcte/selectPblcteETCInfo.do?mi=1142&pblcteSeq=13356
- Korea Copyright Protection Agency. (2021). Top 10 copyright protection issues for 2021. https://www.kcopa.or.kr/lay1/bbs/S1T283C292/F/65/view.do?article_seq=3142&cpage=1&rows=10&condition=&keyword=
- Korea Education and Research Information Service, (KERIS). (2022). Proactively responding to copyright disputes! https://www.keris.or.kr/main/na/ntt/selectNttInfo.do?mi=1088&nttSn=38593
-
Kim, J., & Kim, I. (2021). A study on the improvement of copyright protection in computer programs: Focused on font programs. The Journal of Korean Institute of Communications and Information Sciences, 46(11), 2013–2022.
[https://doi.org/10.7840/kics.2021.46.11.2013]
- Korea Copyright Commission. (2019). Understanding font file copyright correctly. https://www.copyright.or.kr/information-materials/publication/research-report/view.do?brdctsno=43622
- Korea Education and Research Information Service. (2021). Guide to the use of copyrighted works for teaching purposes for teachers (TM 2021-2)https://www.keris.or.kr/main/ad/pblcte/selectPblcteETCInfo.do?mi=1142&pblcteSeq=13509
- Korea Education and Research Information Service. (2024, January). 'Safe School Fonts' available without copyright concerns. https://www.keris.or.kr/main/na/ntt/selectNttInfo.do?mi=1051&nttSn=40461
-
Kwak, H., & Oh, S. (2011). A study on the guideline of copyright in school. Journal of Law-Related Education, 6(1), 1–31.
[https://doi.org/10.29175/klrea.6.1.201106.1]
-
Kim, K. (2020). Revised Korea–Japan copyright acts on ‘limitations on copyright for educational purpose’: Comparative review of copyright law between Korea and Japan. Copyright Quarterly, 33(3), 75–110.
[https://doi.org/10.30582/kdps.2020.33.3.75]
-
Kim, B. (2024). Research on the use and protection of works for educational purposes in the era of non-face-to-face education. Journal of Industrial Property, 79, 273–314. https://www.earticle.net/Article/A460099
[https://doi.org/10.36669/ip.2024.79.6]
- Seo, Y., & Im, D. (2021, 11). A Study on the Copyright Infringement Prevention Technology of Educational Content. Proceedings of Symposium of the Korean Institute of communications and Information Sciences, Korea, 17. http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11022772
-
Kim, J., & Kim, I. (2021). A Study on the Improvement of Copyright Protection in Computer Programs: Focused on Font Program. The Journal of Korean Institute of Communications and Information Sciences, 46(11), 2013-2022.
[https://doi.org/10.7840/kics.2021.46.11.2013]
- Korea Copyright Protection Agency. (2018). Distribution of "Check My PC Fonts" [Press release]. https://www.kcopa.or.kr/lay1/bbs/S1T12C38/F/38/view.do?mode=view&article_seq=400&cpage=7&rows=10&condition=&keyword=
- Korea Education and Research Information Service. (2021, 5). Preventing copyright disputes in elementary and secondary schools with a font inspection program! https://www.keris.or.kr/main/na/ntt/selectNttInfo.do?bbsId=1090&mi=1088&nttSn=37575&utm_source=chatgpt.com
- Korea Education and Research Information Service. (2023, 3). Launch of the Educational Copyright Support Center website for school copyright assistance. https://keris.or.kr/main/na/ntt/selectNttInfo.do?mi=1051&nttSn=39596&bbsId=1088
- Korea Education and Research Information Service. Font Inspection Program Informationa and Download. https://copyright.keris.or.kr/wft/pgrmDwnld
- Bae, M. (2022, May 30). Sandoll launches 'FontFont,' a font image search service app. Newsis. https://www.newsis.com/view/?id=NISX20220530_0001890714&cID=13001&pID=13000
- Yang, J., Kwak, H, & Kim, I. (2017) Large-Scale Hangul Font Recognition Using Deep Learning. The Korean Language Information Science, pp. 8-12, 2017. https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=NPAP12638873
-
im, I., Choi, C., & Lee, S. (2016). Improving Discrimination Ability of Convolutional Neural Networks by Hybrid Learning. International Journal on Document Analysis and Recognition, 19(1), 1-9.
[https://doi.org/10.1007/s10032-015-0256-9]
-
Hwang, I., & Won, J. (2019). A study in Hangul font characteristics using convolutional neural networks. The Korean Journal of Applied Statistics, 32(4), 573–591.
[https://doi.org/10.5351/KJAS.2019.32.4.573]
-
Jeon, J., Park, D., Lim, S., Ji, Y., & Lim, S. (2020). Automatic extraction of Hangul stroke elements using Faster R-CNN for font similarity. Journal of the Korea Multimedia Society, 23(8), 953–964.
[https://doi.org/10.9717/kmms.2020.23.8.953]
-
Park, D., Jeon, J., Lim, S., & Lim, S. (2020). Analysis of Stroke Attribute Influence on Hangul Font Similarity. Journal of the Korea Multimedia Society, 23(12), 1553-1556.
[https://doi.org/10.9717/kmms.2020.23.12.1552]
-
He, K., Zhang, X., Ren, S., & Sun, J. Deep residual learning for image recognition, Proceedings of the IEEE conference on computer vision and pattern recognition, 2016.
[https://doi.org/10.48550/arXiv.1512.03385]
-
Jung, J., Ma, M., Lee, O., Kim, S., & Park, K. (2023). Deep learning-based model for text font detection and font detection in contents. Journal of Korea Multimedia Society, 26(12), 1498–1507.
[https://doi.org/10.9717/kmms.2023.26.12.1498]
-
He, K., Zhang, X., Ren, S., & Sun, J. (2015). Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(9), 1904-1916.
[https://doi.org/10.1109/TPAMI.2015.2389824]
- Korea Open Government License. font selection page. https://www.kogl.or.kr/recommend/recommendDivList.do?division=font&fontTypeCd=01,02,03,04
- Noonnu. Noonnu font selection page. https://noonnu.cc/font_page/pick
· 2000년 건국대학교 화학과(이학사)
· 2025년 aSSIST AI전략경영(공학석사)
· 2025년~현재 aSSIST AI융합공학(박사과정)
· 2020년~2025년 테크빌교육(주) 에듀테크연구소 수석
관심분야 : AI, 컴퓨터비전, UI/UX, 이러닝, 에듀테크
250.lee502@gmail.com
· 2006년 고려대학교 공업디자인학과(미학사)
· 2009년 KAIST 문화과학기술학(공학석사)
· 2020년 Pennsylvania State University 성인 및 평생교육(철학박사)
· 2021년~2022 서울대학교 교육학과 박사후 연구원
· 2022년~현재 서울과학종합대학원대학교 경영대학원 조교수
관심분야 : 평생 및 성인교육, 이러닝, UDL, 고등교육
jhchoi@assist.ac.kr