NLP/AI/Statistics

만약 다른 경로에 있는 모듈을 import할 경우엔 기존에 동일한 위치에 있을 때와 다르게 불러와야한다. 만약 원하는 모듈 (module_name)이 동일한 경로에 있을 경우엔, 아래와 같이 .을 사용해서 import 할 수 있다. $ from . import module_name 현재 위치보다 하위 경로에 있을 경우엔, 아래와 같이 하위폴더명을 지정하여 import 할 수 있다. $ from sub_folder import module_name 즉, sub_folder 안에 있는 module_name으로부터 import할 경우 위와 같이 import 하면 된다. 그리고 현재 위치보다 상위 경로에 있을 경우엔, sys와 os를 사용해서 상위 폴더의 위치를 현재와 동일하게 만든다. $ import sys,..

gensim 패키지를 설치하는 방법에는 두 가지가 있다. $ pip install --upgrade gensim 또는, 파일을 다운받아 설치. $ python setup.py install 원래 맨 위의 pip 방법을 사용하려고 했는데, pip 에러가 떠서 이 문제는 해결했다. (참고: pip에러 해결) pip 문제를 해결했는데도, 이상하게 pip로 설치하는 방법 이후에 gensim이 작동되지 않아 아래의 방법으로 설치를 진행했다. https://pypi.org/project/gensim/#files gensim Python framework for fast Vector Space Modelling pypi.org gensim을 다운로드하는 url에서 파일을 다운로드 받아 압축을 풀었다. (참고: tar..

python에서 float 값이 지수 값으로 표현되어 불편한 경우가 있다. 이를 없애기 위해 아래와 같이 지수 표현을 변경해줄 수 있다. 예를 들어, a = 2.123123e+03 일 때 $ import pandas as pd $ pd.options.display.float_format = '{:.5f}'.format 위와 같이 pandas 모듈을 사용하여 지수 표현을 바꿔주면 a = 2123.123으로 변경된다. 다시 원래 대로 돌아오길 원한다면 아래와 같이 수행하면 된다. $ pd.reset_option('display.float_format') 위의 코드를 실행하였는데도 원래대로 지수함수로 표기되지 않는 경우, 아래의 코드로 변환이 가능하다. $ pd.set_option('display.float_..

json 파일을 생성하고 불러오는 과정에서 한글이 ascii 유니코드로 저장되는 경우가 발생한다. (json 파일 저장하고 불러오는 방법은 이전 글에서 소개하였다.) 예를 들어, 위와 같이 한글로 작성되어야 하는 곳에 ascii 유니코드로 작성되어 읽혀진다. 이런 문제를 해결하기 위해 json 파일을 불러올 때 아래와 같이 작성하면 된다. $ with open('./file_name.json', 'r') as f: $json_data = json.load(f) $json_data = json.dumps(json_data, ensure_ascii = False) 여기서 포인트는 "ensure_ascii = False"이다. 이 옵션을 안쓰면 위와 같이 ascii 유니코드로 출력된다.

dictionary를 저장하기 위해 json 파일을 생성하였다. 우선, json 저장 방법은 다음과 같다. $ import json $ with open('./file_name.json', 'w') as f: $ json.dumps(dictionary, f) # or $ save_file = open('./file_name.json','w') $ json.dump(dictionary, save_file) $ save_file.close() dictionary를 'file_name'이라는 파일명으로 저장하려고 할 때 위의 코드와 두 가지 방법으로 저장할 수 있다. 저장한 json 파일을 불러오기 위한 코드는 다음과 같다. $ with open('./file_name.json', 'r') as f: $jso..

docker를 사용할 때 비밀번호를 변경하는 방법에 대하여 설명한다. 우선 docker가 열려있는 상태라면 이를 stop 해줘야한다. $ sudo docker ps -a 위의 코드를 작성하면, CONTAINER ID / IMAGE / COMMAND / CREATED / STATUS / PORTS / NAMES 가 출력된다. $ sudo docker stop NAMES 출력된 NAMES를 이용하여 docker를 stop해주고, # 이 때 NAMES는 항상 바뀐다. 해당 docker.sh 파일을 열어 비밀번호를 변경해주면 된다. $ ./docker.sh 비밀번호가 변경되었으면 이를 다시 열어 사용하면 된다. # 참고: docker의 터미널 비밀번호는 volta 혹은 jovyan 이다.

대부분 python 2.7 버전과 3.5버전이 함께 설치되어 사용하는 경우가 많다. 하지만 공개되는 대부분의 tool은 python3 버전에 호환되기 때문에 python3을 default로 변경하여 사용하는 것이 효율적이다. $ python --version Python 2.7 $ python3 --version Python 3.5 기본적인 세팅에서는 위와 같이 python의 default버전이 2.7, python3의 버전이 3.5로 되어 있다. 여기에서 python의 default버전을 3.5로 변경하기 위해서는 아래의 코드를 실행하면 된다. # original $ python --version Python 2.7 $ python3 --version Python 3.5 =================..

서버를 새롭게 세팅하는 과정에 대하여 정리하고자 한다. 우선적으로, 연구실 사람들이 함께 사용하는 서버에서는 개인의 가상 환경을 설정하여 모듈의 버전이 엉키지 않도록 해야한다. 이를 위한 virtualenv 에 대하여 설명한다. # virtualenv 설치 $ pip install virtualenv # virtualenv 생성 $ virtualenv ENVNAME # virtualenv 시작 $ source ENVNAME/bin/activate # virtualenv 종료 $ deactivate 가상환경을 만들고 접속 및 종료 시키는 코드는 위와 같이 실행된다. 자신이 생성한 ENVNAME 환경에 접속하여 자신이 원하는 버전을 설치하고, 실험을 진행할 때마다 해당 버전에 맞춰 사용하면 된다. 만약, 프..