NLP/AI/Statistics

앞서 Bag-of-Words 에 대하여 설명하였는데, 이 때 빈도 기반의 bag-of-words에서 주의해야할 점이 있다. Bag-of-Words는 빈도 기반이기 때문에 문서 혹은 문장에서 자주 등장할 수 밖에 없는 관사, 조사, 지칭어 같은 불용어가 존재한다. 예를 들어, 영어에서는 the나 a, 한국어에서는 그, 이, 이다. 등이 불용어에 포함된다. 이 때 불용어를 처리하는 방법으로는 stop words를 정의하여 특정 단어를 제거한 상태에서 텍스트를 처리하거나 영어에서는 대문자를 소문자로 통일시켜 처리하는 방법이 있지만, 이처럼 특정 단어를 제거하거나 다른 단어로 대체하는 불용어는 텍스트의 의미를 갖지 않아 제거해도 문장의 의미를 흐트리지 않는 용어를 말한다. 하지만 자주 등장한다고 해서 무조건 무..