NLP/AI/Statistics

텍스트는 비구조화된 형식의 데이터이다. 비구조화된 형식의 텍스트 데이터를 처리하기 위한 연구가 진행되었으며, 앞서 설명했던 n-gram 도 텍스트를 처리하기 위한 방법으로 사용된다. 각각의 토큰 단위로 표현되는 텍스트를 수치화된 데이터로 변환하기 위한 방법(embedding)으로 Bag-of-Words를 소개하고자 한다. Bag-of-Words는 단어의 순서를 고려하지 않고 빈도수 기반으로 단어를 표현하는 frequency representation 방법이다. 즉, 특정 문서 내에 특정 단어가 몇번 등장했는가를 고려하여 수치로 표현한다. 예를 들어, 1) 나는 바나나를 좋아해 그리고 너는 바나나를 좋아해 2) 너는 포도를 좋아해 그리고 너는 딸기를 싫어해 두 문장의 vocabulary는 ['나는', '바..