NLP/AI/Statistics

Language Model: 통계적 언어 모델에서 조건부 확률을 이용하여 문장 생성 확률을 나타내는 방법에 대하여 설명했다. 빈도 기반의 확률분포를 이용한 언어 모델은 특정한 연속된 단어열이 학습말뭉치에 존재하지 않아 확률이 정의되지 않는 문제가 발생한다. 또한, 빈도 기반의 확률을 나타내기 때문에 단어열의 길이가 길어질수록 해당 문장이 학습 말뭉치에 나타나지 않을 확률이 크다. 이러한 문제를 해결하기 위해 n-gram 언어 모델이라는 개념이 소개되었다. n-gram은 임의의 개수 n에 따라 연속된 단어들을 하나의 토큰으로 처리한다. 이 때 지정한 임의의 개수에 따라 아래와 같이 unigram, bigram, trigram, ..., n-gram 으로 표현된다. 예시) "이번 글에서는 언어 모델에 대하여..

언어 모델(language model)은 토큰들의 조합으로 가장 자연스러운 문장을 만들기 위해 연속된 각 토큰에 확률을 할당하는 것이다. 즉, 연속된 토큰들의 확률을 이용하여 특정 단어 이후에 나올 토큰을 예측함으로써 가장 자연스러운 문장이 생성되도록 한다. (이 때 토큰은 음절, 단어, 형태소 등등으로 활용이 가능하며, 기본적으로 '단어'를 사용하기 때문에 본 글에서는 '토큰' 대신 '단어'라는 용어를 사용하여 설명한다.) 언어 모델과 같이 연속된 단어에 확률을 할당하는 것은 자연어처리 task에서 중요한 역할을 한다. 이는 기계번역, 오타 교정, 음성 인식 등의 task에서 가장 유사하고, 가장 높은 확률의 텍스트를 생성하도록 한다. 기본적으로 언어 모델은 조건부 확률을 이용하여 문장생성확률을 구하는..