▣ 행사명: <<제5회, 2021 AIH 심포지엄>> ▣ 진행 방식: Zoom 비대면 화상회의 ▣ 참여 링크: https://cau.zoom.us/j/3949779272 ▣ 일시: 2021년 6월 25일(금) 14:00-17:00 ▣ 프로그램 ■ 조희련(인공지능인문학 HK+사업단, HK교수) - 주제: 딥러닝 기반 언어 모델을 이용한 유학생 한국어 쓰기 답안지 자동분류 연구
- 개요: 이 연구에서는 '한국어 딥러닝 모델'이 '한국어 학습자의 쓰기 자료에
대한 한국어 교사의 평가 점수'를 어느 정도 유사하게 예측할 수 있는
지 살펴보았다. 구체적으로 이 연구에서는 304편의 한국어 쓰기 자료
와 각각에 대한 평가 점수를 KoBERT와 KoGPT2로 학습시킨 후 그것
이 인간 채점자(한국어 교사)의 평가 점수를 어느 정도 유사하게 예측
하는지 실험하였다.
학습 데이터는 주제에 따라 '직업'과 '행복'으로 구분하였고, 점수에 따
라 4종 레이블을 부착하였다. 7겹 교차 검증을 통한 실험 결과,
KoBERT에서는 '직업' 데이터에서 48.8%, '행복' 데이터에서 65.2%의
분류 정확도를 나타냈다. KoGPT2에서는 같은 데이터에 대해 각각
50.6%와 58.9%의 분류 정확도를 나타냈다. 더불어, 모든 주제를 통합
한 데이터에서는 KoBERT와 KoGPT2에 대해 각각 54.5%와 46.5%의
분류 정확도를 확인할 수 있었다.
이 연구를 통해 한국어 쓰기 자료에 대한 자동 채점 시스템의 가능성
을 확인할 수 있었다. 향후 GPT-3의 한국어 모델이 개발되는 등의 기
술 발전이 이루어진다면, 이 연구에서 시도한 한국어 자동 채점 시스
템도 충분히 가능할 것으로 기대한다. |