NLP/AI/Statistics

x_train, x_test, y_train, y_test = train_test_split(x,y, test_size=0.2) [ML] model = DecisionTreeRegression() model.fit(x_train, y_train) pred = model.predict(x_test) score = model.score(x_test, y_test) [DL] import tensorflow as tf from tesnsorflow import keras from tensorflow.keras import layers from keras.callbacks import ModelCheckpoint, EarlyStopping def build_model(): model = keras.Sequenti..

vim에서 간혹 아래와 같은 에러가 발생한다. 이 TabError는 보통 tab과 공백을 혼동해서 사용했을 때 발생하는 에러이다. 하지만 분명 tab으로만 사용했는데도 이런 에러가 발생할 때가 있다. 이는 분명 tab을 사용했지만 알고보니 이 tab이 공백으로 처리되는 경우였다. tab을 사용한 후 화살표 조작 키보드를 사용하여 옆으로 움직여보면 8개의 공백처럼 처리되어 있었다. 이는 tab을 공백으로 처리하겠다는 명령어에 의해 작동된다. $ vim .vimrc 터미널에서 위와 같은 코드를 작업하면 vim 설정을 볼 수 있다. 기존의 vimrc는 아래와 같이 작성되어 있었다. 여기에서 문제는 바로 "set expandtab" 이 부분이 tab을 공백으로 처리하겠다는 명령이기 때문에 tab을 공백으로 처리..

만약 다른 경로에 있는 모듈을 import할 경우엔 기존에 동일한 위치에 있을 때와 다르게 불러와야한다. 만약 원하는 모듈 (module_name)이 동일한 경로에 있을 경우엔, 아래와 같이 .을 사용해서 import 할 수 있다. $ from . import module_name 현재 위치보다 하위 경로에 있을 경우엔, 아래와 같이 하위폴더명을 지정하여 import 할 수 있다. $ from sub_folder import module_name 즉, sub_folder 안에 있는 module_name으로부터 import할 경우 위와 같이 import 하면 된다. 그리고 현재 위치보다 상위 경로에 있을 경우엔, sys와 os를 사용해서 상위 폴더의 위치를 현재와 동일하게 만든다. $ import sys,..

gensim 패키지를 설치하는 방법에는 두 가지가 있다. $ pip install --upgrade gensim 또는, 파일을 다운받아 설치. $ python setup.py install 원래 맨 위의 pip 방법을 사용하려고 했는데, pip 에러가 떠서 이 문제는 해결했다. (참고: pip에러 해결) pip 문제를 해결했는데도, 이상하게 pip로 설치하는 방법 이후에 gensim이 작동되지 않아 아래의 방법으로 설치를 진행했다. https://pypi.org/project/gensim/#files gensim Python framework for fast Vector Space Modelling pypi.org gensim을 다운로드하는 url에서 파일을 다운로드 받아 압축을 풀었다. (참고: tar..

gensim 설치를 위해서는 아래의 코드를 실행시키면 된다. $ pip install --upgrade gensim 이렇게 gensim을 설치하려고 하는데 갑자기 pip 에러가 발생했다. 에러는 ModuleNotFoundError: No module named 'pip'. pip를 다시 설치하는 방식으로 문제를 해결했다. $ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py $ python get-pip.py 위의 코드를 실행시키면 pip가 정상 작동된다.

텍스트 파일이 여러개 나누어져 있을 때 이를 터미널에서 한번에 합칠 수 있다. 예를 들어, example1.txt example2.txt example3.txt가 있을 때, 위의 세개 파일을 total.txt로 합치기 위해서는 아래와 같이 cat을 실행하면 된다. $ cat example*.txt > total.txt 이 때 세개의 파일 이름이 맨 뒤 숫자 이외에 동일하여 example*.txt로 표기하였는데, 이름이 제각각일 경우엔 합치길 원하는 파일 명을 나열한 후 >(화살표) 로 하나의 텍스트 파일을 만들면 된다. 예를 들어, a.txt b.txt c.txt를 d.txt로 합칠 경우 아래와 같다. $ cat a.txt b.txt c.txt > d.txt

tar 파일이나 tar.gz 파일을 압축하고 해제하는 방법은 항상 헷갈렸던 것 같다. tar로 압축하기 $ tar-cvf file_name.tar folder_name 압축하고자 하는 폴더명 (folder_name)을 원하는 파일명 (file_name.tar)로 압축할 수 있다. tar 압축 풀기 $ tar-xvf file_name.tar file_name.tar이라는 파일의 압축을 해제할 수 있다. tar.gz로 압축하기 $ tar-zcvf file_name.tar.gz folder_name 압축하고자 하는 폴더명 (folder_name)을 원하는 파일명 (file_name.tar.gz)로 압축할 수 있다. tar.gz 압축 풀기 $ tar -zxvf file_name.tar.gz file_name.t..

python에서 float 값이 지수 값으로 표현되어 불편한 경우가 있다. 이를 없애기 위해 아래와 같이 지수 표현을 변경해줄 수 있다. 예를 들어, a = 2.123123e+03 일 때 $ import pandas as pd $ pd.options.display.float_format = '{:.5f}'.format 위와 같이 pandas 모듈을 사용하여 지수 표현을 바꿔주면 a = 2123.123으로 변경된다. 다시 원래 대로 돌아오길 원한다면 아래와 같이 수행하면 된다. $ pd.reset_option('display.float_format') 위의 코드를 실행하였는데도 원래대로 지수함수로 표기되지 않는 경우, 아래의 코드로 변환이 가능하다. $ pd.set_option('display.float_..

json 파일을 생성하고 불러오는 과정에서 한글이 ascii 유니코드로 저장되는 경우가 발생한다. (json 파일 저장하고 불러오는 방법은 이전 글에서 소개하였다.) 예를 들어, 위와 같이 한글로 작성되어야 하는 곳에 ascii 유니코드로 작성되어 읽혀진다. 이런 문제를 해결하기 위해 json 파일을 불러올 때 아래와 같이 작성하면 된다. $ with open('./file_name.json', 'r') as f: $json_data = json.load(f) $json_data = json.dumps(json_data, ensure_ascii = False) 여기서 포인트는 "ensure_ascii = False"이다. 이 옵션을 안쓰면 위와 같이 ascii 유니코드로 출력된다.

dictionary를 저장하기 위해 json 파일을 생성하였다. 우선, json 저장 방법은 다음과 같다. $ import json $ with open('./file_name.json', 'w') as f: $ json.dumps(dictionary, f) # or $ save_file = open('./file_name.json','w') $ json.dump(dictionary, save_file) $ save_file.close() dictionary를 'file_name'이라는 파일명으로 저장하려고 할 때 위의 코드와 두 가지 방법으로 저장할 수 있다. 저장한 json 파일을 불러오기 위한 코드는 다음과 같다. $ with open('./file_name.json', 'r') as f: $jso..