딥러닝 기반 자연어 처리에서 도메인 지식의 역할

박진호

Abstract.

In Symbolic AI, the domain knowledge was considered indispensable. In rule-based NLP, likewise, the linguistic knowledge played an important role. As probabilistic NLP and machine learning techniques develop, the role of domain knowledge shrank. As deep learning appears, even the role of feature engineering and domain knowledge has become almost zero.

In order to prove the importance of domain knowledge even in this deep learning age, I built a parts-of-speech tagger of Korean. This task in Korean is challenging, due to morphophonological alternations, deletions and contractions. I reformulated this task of segmentation as that of classification. For this purpose, I examined a large corpus, and found empirically 200 types of mapping between an input syllable and an output string. Based on these categories, I built and trained an LSTM-based neural network. With this model of segmentation, the parts-of-speech tagging model is easily trained by the familiar sequence tagging algorithm. By combining these two models and a few dictionaries, I got 98.0% of the F1 score.

국문초록

Symbolic AI에서는 도메인 지식이 중요시되었다. 규칙 기반 자연어처리에서도 언어학적 지식이 중요한 역할을 담당했다. 확률 기반 자연어처리와 기계학습 기법이 발달하면서 도메인 지식의 역할은 축소되었다. 딥러닝이 대두하면서, 자질 공학과 도메인 지식의 역할은 훨씬 더 축소되었다. 딥러닝 시대에도 여전히 도메인 전문가(언어학자)의 역할이 중요함을 증명하기 위해 한국어 형태소분석기를 개발하였다. 한국어는 형태음소적 교체, 탈락, 축약이 활발하여 분절 과제가 쉽지 않지만, 분절 과제를 분류 문제로 재설정하면 기계학습으로 더 쉽게 해결할 수 있게 된다. 이를 위해서는 분절 이전의 입력의 각 음절과 분절된 출력의 대응하는 문자열 사이의 매핑 관계를 망라적으로 목록화하는 것이 관건이다. 1200만 어절 규모의 세종 형태의미 분석 말뭉치를 통해 이러한 매핑에 200개 유형이 있음을 확인하였다. 이 200개 범주를 바탕으로 LSTM 기반 신경망 모델을 만들어 훈련시켰다. 분절 문제가 해결되면, 분절된 각 토큰에 대한 레이블링은, 영어 등에 대한 선행 연구로 친숙한 연쇄 레이블링 알고리즘으로 쉽게 해결할 수 있다. 이 두 가지 모델과 사전을 결합하여, F1 스코어 98.0%의 성능을 얻을 수 있었다. 이 실험은 딥러닝 시대에도 도메인 지식이 여전히 중요함을 보여준다.

Contents.

1. 인공지능 특히 자연어처리에서 도메인 지식의 역할의 역사적 추이

2. 자연어처리의 각 단계

3. 분절 과제의 성격

4. 어디까지 분절할 것인가

5. 분절의 어려움

6. 딥러닝과 품사 태깅 또는 형태소분석

7. 기계학습으로 해결하고자 하는 문제의 유형

8. 주어진 과제를 어떤 문제로 설정할 것인가

9. 한국어 형태소 분절 과제를 분류 문제로 재설정

10. 훈련 자료 만들기

11. 말뭉치 전처리

12. 신경망 모델 구성과 훈련

13. 사전 탑재

14. 맺는 말

부록: 한국어 형태소 분절에서 입력 음절과 출력 문자열 사이의 mapping의 200개 유형