NLP/AI/Statistics

통계: 특정 집단에 대하여 조사나 실험을 통해 얻어진 수치 즉, 특정 집단을 구성하는 각각의 정보를 하나의 요약된 값으로 표현한 것. 기본적인 예시는 다음과 같다. 서울 시민들의 직업을 통계적 수치로 확인하기 위해 [특정 집단] - [자료수집] - [요약] 의 단계로 조사가 이루어진다. 서울 시민(특정 집단)으로부터 직업을 조사(자료 수집)하고 수집된 자료를 토대로 직업들의 분포를 퍼센트로 확인(요약)하여 정보를 확인할 수 있다. 통계학: 통계를 이용하여 불확실한 현상에 대하여 추정(estimatoin), 검정(testing), 예측(forecasting)하여 합리적인 결과 해석 및 의사결정을 할 수 있도록 돕는 학문 통계학은 불확실한 현상을 자료 수집, 모형 설정, 추론 과정을 통해 정보를 객관화하여 ..

학사 전공인 빅데이터경영통계에서 습득했던 지식이 점차 사라지는 것 같아, 통계적 지식을 다시 복습하고자 한다. 우선적으로 기본적인 개념부터 각 통계 분석 방법론들을 사용하는 방법, 혹은 사용하는 예시에 대하여 정리할 예정이다. 그리고 추후에 수학적 접근방식으로 통계에 대하여 공부할 예정이다. 학부 수업시간에 학습했던 자료들, 교재들을 참고자료로 활용할 것이다.

Git을 사용하는 과정에서 어려움을 겪었던 문제 중에 하나이다. 파일을 업로드하였고 commit message를 작성하는데 잘못 작성된 상태에서 push를 했다. 이를 그냥 둘 수도 있었지만, 정확한 commit message를 업로드하고 싶었기 때문에 이를 수정하려고 검색하였다. # commit message 바꾸는 방법 git commit --amend -m "new_commit_message" git push -f 위의 코드를 작성하면 되었지만, 항상 'git push'로만 작성하던 습관으로, 아래의 코드를 git push -f 가 아닌 git push로 계속 작성하였고 역시나 계속 잘못된 message는 바뀌지 않았다. 계속 안되는 것 같아 결국 지우고 다시 넣어버리자! 라는 마음으로 rm 하고 ..

Language Model: 통계적 언어 모델에서 조건부 확률을 이용하여 문장 생성 확률을 나타내는 방법에 대하여 설명했다. 빈도 기반의 확률분포를 이용한 언어 모델은 특정한 연속된 단어열이 학습말뭉치에 존재하지 않아 확률이 정의되지 않는 문제가 발생한다. 또한, 빈도 기반의 확률을 나타내기 때문에 단어열의 길이가 길어질수록 해당 문장이 학습 말뭉치에 나타나지 않을 확률이 크다. 이러한 문제를 해결하기 위해 n-gram 언어 모델이라는 개념이 소개되었다. n-gram은 임의의 개수 n에 따라 연속된 단어들을 하나의 토큰으로 처리한다. 이 때 지정한 임의의 개수에 따라 아래와 같이 unigram, bigram, trigram, ..., n-gram 으로 표현된다. 예시) "이번 글에서는 언어 모델에 대하여..

언어 모델(language model)은 토큰들의 조합으로 가장 자연스러운 문장을 만들기 위해 연속된 각 토큰에 확률을 할당하는 것이다. 즉, 연속된 토큰들의 확률을 이용하여 특정 단어 이후에 나올 토큰을 예측함으로써 가장 자연스러운 문장이 생성되도록 한다. (이 때 토큰은 음절, 단어, 형태소 등등으로 활용이 가능하며, 기본적으로 '단어'를 사용하기 때문에 본 글에서는 '토큰' 대신 '단어'라는 용어를 사용하여 설명한다.) 언어 모델과 같이 연속된 단어에 확률을 할당하는 것은 자연어처리 task에서 중요한 역할을 한다. 이는 기계번역, 오타 교정, 음성 인식 등의 task에서 가장 유사하고, 가장 높은 확률의 텍스트를 생성하도록 한다. 기본적으로 언어 모델은 조건부 확률을 이용하여 문장생성확률을 구하는..

[git 생성 및 가져오기] - git init: git 생성하기 - git clone git_path: 코드 가져오기 [공동 작업 시 브랜치 사용] - git checkout branch_name: 브랜치 선택하기 - git checkout -t remote_path/branch_name: 원격 브랜치 선택하기 - git branch branch_name: 브랜치 생성하기 - git branch -r: 원격 브랜치 목록보기 - git branch -a: 로컬 브랜치 목록보기 - git branch -m branch_name change_branch_name: 브랜치 이름 바꾸기 - git branch -d branch_name: 브랜치 삭제하기 - git push remote_name--delete b..

Git 이란? git은 source(코드, 데이터 등) 관리하기 이후나 분산 버전 관리 시스템이다. 기본적으로 리눅스 개발용으로 사용되지만 윈도우버전에서도 이용이 편리하게 변했다고 한다. 코드를 버전 관리하기 위해 사용되기 때문에 코드에 버그 발생 시, 수정이 필요한 코드만 확인하거나, 또는 이전에 수정했던 코드만 파악하여 코드 작업을 할 수 있도록 하는 이점이 있다. Github 주소 >> github.com/ git을 사용하기 위한 툴로는 SourceTree, GitKraKen, SmartGit 등이 있으며, GUI형식으로 작동되기 때문에 코드의 버전 관리를 눈으로 확인하기에 용이하다. 아직 git이 익숙하지 않기 때문에 항상 검색하고 여러번 시도해보면서 익히는 중이다. "git add > git c..

텍스트를 처리하기 이전에, 처리하고자 하는 토큰의 단위를 정의하는 것은 중요하다. 텍스트를 어떤 토큰의 단위로 분할하냐에 따라 단어 집합의 크기, 단어 집합이 표현하는 토큰의 형태가 다르게 나타나며 이는 모델의 성능을 좌지우지하기도 한다. 이처럼 텍스트를 토큰의 단위로 분할하는 작업을 토큰화(tokenization)라고 한다. > 어절(단어) 기본적으로 자연어처리에서는 어절(단어) 단위로 구분한다. 예를 들어, "나는 학교에 간다" 라는 문장을 어절 단위로 토큰화하면, [나는, 학교에, 간다]와 같이 띄어쓰기 기준으로 문장이 분할된다. 이를 어절 단위 토큰화라고 한다. > 형태소 (KoNLPy, KLT2000) (형태소: 의미가 있는 가장 작은 말의 단위) 한국어는 교착어의 특성으로, 하나의 단어가 여러..

자연어처리의 많은 task에서 활용되는 데이터, 혹은 대용량 말뭉치에 대하여 소개한다. 1) NSMC 2) Wikipedia 3) KorQuAD 4) AI-Hub 5) 세종 말뭉치 6) KCC 뉴스 데이터 7) 이외의 오픈 데이터셋 1) NSMC: 네이버 영화평 데이터 (긍정/부정) - 이진 분류 task github.com/e9t/nsmc e9t/nsmc Naver sentiment movie corpus. Contribute to e9t/nsmc development by creating an account on GitHub. github.com 2) Wikipedia: 한국어 위키백과의 문서 데이터 ko.wikipedia.org/wiki/%EC%9C%84%ED%82%A4%EB%B0%B1%EA%B3%..

자연어처리는 텍스트 데이터를 처리하는 연구이다. NLP 파트에서는 크게 아래와 같이 설명할 예정이다. 1) 텍스트를 처리하는 방법 2) 자연어처리에서 활용되는 인공지능 모델 3) 자연어처리에서 주된 Task 1)번의 텍스트를 처리하는 방법은 주로 임베딩(embedding)에 관한 설명일 것으로 예상되며, 임베딩을 위한 Bag of Words 부터, TF-IDF, Word2Vec 등에 대하여 설명한다. 2)번의 자연어처리에서 활용되는 인공지능 모델은 특히나 최근에 각광받고 있는 인공지능에서의 자연어처리에 대하여 설명할 예정이고, 인공지능에서의 주된 자연어처리 기술인 RNN, LSTM, BERT 등에 대하여 정리한다. 3)번의 자연어처리에서 주된 Task에 대한 설명은 아마 2번의 모델 설명과 함께 언급될 ..