NLP/AI/Statistics

이전에 설명한 상관분석은 두 변수 간 상호적인 상관성이 존재하는지에 대한 분석 방법이다. 반면, 하나의 변수가 또다른 하나의 변수에 영향을 미치는지에 대한 분석을 할 때 회귀분석을 이용하여 통계 분석을 진행한다. 예시1) 연구문제: 학생들의 생활만족도는 건강만족도에 영향을 미치는가. 귀무가설: 학생들의 생활만족도는 건강만족도에 영향을 미치지 않는다. 대립가설: 학생들의 생활만족도는 건강만족도에 영향을 미친다. 조사도구: 객관식 설문(생활만족도, 건강만족도 - 5점척도) 상관분석과 회귀분석은 전체적인 가설 설정과 연구문제가 유사하나, 상관분석은 두 변수의 상관성을, 회귀분석은 한 변수가 다른 변수에 미치는 영향력을 분석하고자 하기 때문에 분석하고자 하는 중점이 다르게 나타난다. 회귀 분석에서도 상관 분석과..

git을 사용하는 도중에 잘못된 파일을 add하거나 commit하는 경우가 발생할 수 있다. 이 때, git add와 git commit을 취소하는 방법에 대하여 설명하고자 한다. 1. git add 취소 # 전체 파일 add 취소 git reset # 특정 파일 add 취소 git reset HEAD 파일명 2. git commit 취소 # 가장 최근의 commit 1개 취소 git reset HEAD^ # 가장 최근의 commit 2개 취소 git reset HEAD^^ # ^의 갯수에 따라 최근의 commit 수를 나타냄 commit 취소 시 주의할 점은 A, B, C 순서대로 commit했다고 가정했을 때, git reseat HEAD^를 실행하여 C를 취소했다면, 그 다음은 또다시 git res..

데이터 분석에서 데이터가 표현하는 변수(특징) 간 상관성은 주된 분석 방법으로 활용된다. 데이터 내의 변수 간 상관성을 분석한다면, 양의 상관성을 보이는 변수들 간의 영향력과 음의 상관성을 보여주는 변수들 간의 영향력을 파악하기에 용이하다. 상관성을 분석하기 위한 통계 분석 방법을 상관분석이라고 하며, 대표적으로 피어슨 상관분석(pearson correlation)이 있다. 예시1) 연구문제: 학생들의 생활만족도와 건강만족도는 서로 상관이 있는가. 귀무가설: 학생들의 생활만족도와 건강만족도는 서로 상관이 없다. 대립가설: 학생들의 생활만족도와 건간만족도는 서로 상관이 있다. #. "상관이 있다"는 생활만족도와 건강만족도가 비례적, 혹은 반비례적 특성을 보인다는 것을 의미한다. 조사도구: 객관식 설문(생활..

텍스트는 비구조화된 형식의 데이터이다. 비구조화된 형식의 텍스트 데이터를 처리하기 위한 연구가 진행되었으며, 앞서 설명했던 n-gram 도 텍스트를 처리하기 위한 방법으로 사용된다. 각각의 토큰 단위로 표현되는 텍스트를 수치화된 데이터로 변환하기 위한 방법(embedding)으로 Bag-of-Words를 소개하고자 한다. Bag-of-Words는 단어의 순서를 고려하지 않고 빈도수 기반으로 단어를 표현하는 frequency representation 방법이다. 즉, 특정 문서 내에 특정 단어가 몇번 등장했는가를 고려하여 수치로 표현한다. 예를 들어, 1) 나는 바나나를 좋아해 그리고 너는 바나나를 좋아해 2) 너는 포도를 좋아해 그리고 너는 딸기를 싫어해 두 문장의 vocabulary는 ['나는', '바..

앞에서 집단이 1개인 경우와 2개인 경우 사용되는 통계 분석 방법론에 대하여 설명했다. 3개 이상의 집단을 조사할 때 집단 간 차이가 나는지 검정하기 위해 다음과 같은 분석 방법론을 사용한다. [일원배치 분산분석, 이원배치 분산분석, 반복측정 분산분석, 카이제곱 검정] 각각의 특성을 예시와 함께 비교해보고자 한다. 일원배치 분산분석(One-way ANOVA) 예시1) 연구문제: 서울, 대전, 울산 지역의 모의고사 점수의 차이가 있는가. 귀무가설: 세 지역의 모의고사 점수는 같다. 대립가설: 세 지역 중 적어도 하나 이상의 지역에서 모의고사 점수 차이가 있다. #. 3개 이상의 집단을 비교할 때 대립가설은 "적어도 하나 이상의 ~에서 차이가 있는가"를 검정하는 것이다. 조사도구: 객관식 설문(지역 선택) ..

집단이 1개인 경우: 단일 표본 T검정 을 사용하며, 이에 대한 예시는 지난 글에서 소개하였다. 집단이 2개인 경우: 독립 T검정, 대응 T검정, 카이제곱 검정, 공변량분석(ANCOVA) 집단이 2개인 경우는 1개인 경우보다 분석할 수 있는 통계 분석 방법론이 많이 존재한다. 독립 T검정, 대응 T검정, 카이제곱 검정, 공변량분석(ANCOVA) 방법론에 대하여 각각의 특징을 비교하고 각각 어떤 연구 문제에 대하여 주로 분석 방법론으로 사용되는지 예시를 통해 설명하고자 한다. 우선적으로, 위의 통계 분석 방법론들은 하나의 집단에 대하여 행위의 전, 후를 비교하는 것이 아닌 두 개의 집단으로 표본을 나누어 조사하고 두 개의 집단이 연구 문제에 대하여 차이가 있는지를 검정할 때 사용된다. 독립 T검정(Inde..

Dan-Bi Cho Dept. of Computer Science Kookmin University Seoul, Republic of Korea daanv319@kookmin.ac.kr Undergraduate major: Bigdata Analytics Business Statistics at Kookmin University. Master's major: Natural Language Processing lab of Computer Science at Kookmin University, advised by Prof. Seung-Shik Kang. LinkedIn address: www.linkedin.com/in/danbi-cho-265009195/ Introduce I'm interested in ..

연구문제와 데이터의 형태에 따라 적합한 통계 분석 기법을 사용하는 것은 중요하다. 예시를 통해 데이터의 유형에 따라 주로 사용되는 통계분석 기법을 설명하고자 한다. 집단이 1개인 경우: 단일 표본 T검정 데이터들의 요약값이 특정 수준보다 높은지 혹은 낮은지 검정해야하는 경우를 단일표본 검정이라고 하며 조사된 집단이 1개인 경우가 이에 속한다. 예시는 다음과 같다. 연구문제: 남학생들을 대상으로 다이어트 식품을 섭취하였을 때 다이어트 효과 여부 귀무가설: A 대학교 남학생들의 평균 몸무게(78kg)와 B 식품 섭취 후의 남학생들 몸무게는 차이가 없다. 대립가설: A 대학교 남학생들의 평균 몸무게(78kg)보다 B 식품 섭취 후의 남학생들 몸무게가 더 낮다. 조사도구: 주관형 설문조사 ("현재 몸무게는 몇 ..

통계적 언어 모델 과 N-gram 언어모델 은 희소 문제가 발생하며, 이러한 문제를 해결하기 위한 generalization기법으로 smoothing 기법이 있다. Smoothing기법 중 대표적인 laplace smoothing과 back-off smoothing 기법에 대하여 소개하고자 한다. 우선, smoothing 이란 확률값이 0이 되지 않도록 하여 문장 생성 확률이 정의되지 않는 문제를 해결하기 위한 방법이다. 1) Laplace(add-one) smoothing Laplace smoothing 기법은 단어의 출현 빈도에 1을 더하여 빈도가 0이되는 경우가 없도록 한다. n-gram 언어 모델의 식에서 분모에 단어집합의 수를 더하고, 분자에 1을 더하여 표현하며, 각 n-gram에 따른 식은 ..

하나의 예시를 들어 가설설정 및 가설검정 방법에 대하여 설명해보기로 한다. 연구문제: 서울 지역과 대전 지역의 고등학교 남학생들의 키 차이 분석 모집단: 서울 지역과 대전 지역의 모든 남자 고등학생 표본집단: 서울 지역과 대전 지역 각각의 일부 남자 고등학생 가설 검정을 위한 통계분석 데이터로는 표본집단의 데이터를 사용한다. (#. 모집단의 데이터를 구하기에 시간적, 경제적 문제가 있기 때문) 가설 설정 귀무 가설: 서울 지역과 대전 지역의 고등학교 남학생들의 키는 서로 차이가 없다. 대립 가설: 서울 지역과 대전 지역의 고등학교 남학생들의 키는 서로 차이가 있다. # 귀무 가설: 기존에 알고 있는 사실 혹은 증명되지 않았던 사실 # 대립 가설: 기존에 알고 있던 사실이 다르거나 혹은 새롭게 주장하고 싶..