NLP/AI/Statistics

통계적 언어 모델 과 N-gram 언어모델 은 희소 문제가 발생하며, 이러한 문제를 해결하기 위한 generalization기법으로 smoothing 기법이 있다. Smoothing기법 중 대표적인 laplace smoothing과 back-off smoothing 기법에 대하여 소개하고자 한다. 우선, smoothing 이란 확률값이 0이 되지 않도록 하여 문장 생성 확률이 정의되지 않는 문제를 해결하기 위한 방법이다. 1) Laplace(add-one) smoothing Laplace smoothing 기법은 단어의 출현 빈도에 1을 더하여 빈도가 0이되는 경우가 없도록 한다. n-gram 언어 모델의 식에서 분모에 단어집합의 수를 더하고, 분자에 1을 더하여 표현하며, 각 n-gram에 따른 식은 ..