NLP/AI/Statistics

문서 유사도란 문서 간에 얼마나 유사성을 갔는지에 대한 지표를 의미한다. 문서 유사도는 자연어처리에서 자주 사용되는 방법으로, 문서 간의 비교 뿐만 아니라 문서 내의 단어들 간의 비교에서도 문서 유사도 방법을 활용한다. 유사도 방법에는 크게 3가지가 있다. 1). 코사인 유사도 2). 자카드 유사도 3). 유클리드 유사도 1) 코사인 유사도 (Cosine Similarity) 코사인 유사도는 쉽게 말해 코사인 각도를 이용하여 벡터 간의 유사도를 추정하는 방법이다. 두 가지의 벡터가 서로 같은 방향일 경우 1, 90도의 각을 이룰 때 0, 180도의 각으로 완전히 반대의 방향을 나타낼 때 -1의 유사도 값을 갖게 된다. 즉, 코사인 유사도는 [-1, 1]의 범위의 값으로 나타날 수 있다. 이러한 코사인 유..