NLP/AI/Statistics

python에서 작업하는 도중에 segmentation fault (core dumped) 문제가 발생했다. 이는 대부분 C에서 발생하는 문제라고 하는데, python에서도 종종 발생한다고 한다. segmentation fault는 스크립트에서 어디가 문제인지조차 알려주지 않기 때문에 debug를 통해 어디가 문제인지 확인하는 것이 중요하다. gdb라는 것을 사용하여 segmentation fault의 오류 발생 시점이 어디인지 알 수 있다. #. 실행시키고자 하는 python파일 이름을 text.py라고 가정한다. $ mkdir -p ~/.config/gdb $ cd ~/.config/gdb $ wget https://hg.python.org/cpython/rawfile/3.6/Tools/gdb/lib..

어떤 package를 설치하려고 하는데 pip3 에러가 뜨는 경우가 발생하여 이를 정리하고자 한다. 새로운 docker 환경에서 특정 url을 불러오는 newspaper package를 설치하는 과정에서 에러가 발생했고 이를 pip가 설치되어 있지 않?기 때문에 python버전에 맞는 pip를 다시 설치해줄 필요가 있다. $ sudo apt-get remove python3-pip $ sudo apt-get install python3-pip 우선, 기존에 설치되어 있던 것과 꼬일 수 있기 때문에 기존의 것을 삭제하고 아래의 코드와 같이 다시 재설치한다. 그러면 pip3를 사용하여 package 설치가 가능해진다.

간혹 기존에 작업하는 코드를 원격으로 수정하는 과정에서 Taberror가 발생하는 경우가 있다. (데스크탑에서의 Tab 크기와 원격에서의 Tab크기가 달라서 발생하는 것 같았다.) 그래서 이 글에서는 vim을 사용하는 과정에서 Tab 크기를 동일하게 처리하는 방법을 소개한다. 우선 .vimrc 파일을 연다. $ vim .vimrc 흔히 Tab을 space 4개로 처리하기 때문에 아래의 내용을 .vimrc에 작성한다. (만약 Tab을 space 8개로 처리하고 싶다면 4 대신 8로 작성하면 된다.) set smartindent set tabstop = 4 set expandtab set shiftwidth = 4 # 들여쓰기 작성 후 보통 바로 적용이 되지만 혹시라도 적용이 안되었다면 $ source .v..

Linux 환경에서 terminal을 사용하여 특정 폴더 혹은 위치에 남은 용량을 확인하는 방법에 대하여 설명한다. 전체 disk의 남은 용량을 확인하기 위해서는 아래와 같이 확인이 가능하다. 1. df: 남은 용량 확인 (기본) > df -k: KB 단위로 남은 용량 표기 > df -m: MB 단위로 남은 용량 표기 > df -h: 보기 좋게 남은 용량 표기 > df . : 현재 directory가 포함된 영역의 남은 용량 표기 2. du: 현재 directory의 사용량 확인 > du -a: 파일 단위로 사용량 표기 > du -s: 총 사용량 표기 > du -h: 보기 좋게 사용량 표기 > du -sh *: 한 step의 sub-directory 기준으로 사용량 표기 [참고] jangjy.tistor..

Linux 환경에서 터미널에 실행시키기 편한 텍스트 편집기인 vim을 설치하는 방법에 대하여 소개한다. 간단할 수 있지만, 간혹가다가 생각없이 'pip install vim', 혹은 'sudo apt-get install vim'의 명령어로 vim을 설치하려다가 실패하고 당황스러운 경우가 있어 이를 정리해본다. vim을 설치하기 이전에 우선 vim을 다운로드하기 위한 apt-get을 업데이트 해야한다. 프로그램을 설치하기 위한 과정이기 때문에 관리자 권한이 필요하므로 sudo를 이용하여 실행해야한다. $ sudo apt-get update apt-get을 업데이트한 이후, 아래의 코드를 이용하여 vim을 설치할 수 있다. $ sudo apt-get install vim 이대로 vim 설치가 완료된다. #..

sftp는 ssh 방식을 이용하여 안전하게 암호화된 구간에서 ftp 기능을 이용하는 접근방법이다. ftp와 ssh에 대한 개념은 https://nhj12311.tistory.com/76블로그에서 잘 설명되어 있기 때문에 참고하면 좋을 듯하다. sftp를 이용하여 서버에 접속하는 방법은 다음과 같다. $ sftp -P portnumber hostname@host_ip 위와 같이 접속하고자 하는 계정의 port 번호(portnumber)와 계정 이름(hostname), ip 주소(host_ip)를 이용하여 접근이 가능하며, 접속되면 sftp> 로 시작되어 접속이 가능해진다. sftp를 이용하여 파일을 다운로드하고 업로드하는 방법을 알아보았다. 1) 파일 다운로드 $ sftp> get file_name sft..

파일을 실행시키거나 수정하기 위해 파일을 열 때, 갑자기 아래와 같은 에러가 뜰 때가 있다. PermissionError: [Errno 13] Permission denied: (file name) 이런 문제를 해결하기 위해 chmod를 이용하여 권한을 변경할 수 있다. chmod --help는 다음과 같다. 기본 실행 방법은 권한 설정 옵션과 권한을 변경하고자 하는 파일로 작성된다. $ chmod 777 example.txt 이 때, 777이 무슨 의미인지 권한을 어떻게 변경하는지 정리하고자 한다. 우선, 파일의 권한은 terminal에서 파일 리스트를 출력해보면 확인할 수 있다. $ls -l 위의 명령어를 입력하면 사진과 같이 각 파일에 따라 권한이 표기되어 있다. 첫 번째로, 맨 앞의 'd' 와 '..

docker를 사용할 때 비밀번호를 변경하는 방법에 대하여 설명한다. 우선 docker가 열려있는 상태라면 이를 stop 해줘야한다. $ sudo docker ps -a 위의 코드를 작성하면, CONTAINER ID / IMAGE / COMMAND / CREATED / STATUS / PORTS / NAMES 가 출력된다. $ sudo docker stop NAMES 출력된 NAMES를 이용하여 docker를 stop해주고, # 이 때 NAMES는 항상 바뀐다. 해당 docker.sh 파일을 열어 비밀번호를 변경해주면 된다. $ ./docker.sh 비밀번호가 변경되었으면 이를 다시 열어 사용하면 된다. # 참고: docker의 터미널 비밀번호는 volta 혹은 jovyan 이다.

gpu 세팅을 위한 cuda와 cudnn 설치 방법에 대하여 설명하고자 한다. cuda 사이트에서 적합한 파일을 선택하여 설치하면 된다. Linux > x86_64 > Ubuntu > 16.04 > deb(local)을 설치했으며, 선택 후 나타나는 코드를 실행하면 기본적으로 cuda는 잘 설치되었다고 볼 수 있다. https://developer.nvidia.com/cuda-downloads CUDA Toolkit 11.1 Downloads Please Note: Due to an incompatibility issue, we advise users to defer updating to Linux Kernel 5.9+ until mid-November when an NVIDIA Linux GPU dri..

pip를 이용하여 virtualenv를 설치하려고 하는 과정에서, 갑자기 아래와 같은 에러가 발생하는 경우가 있다. Traceback(most recent call last): File "/usr/bin/pip3", line 11, in sys.exit(main()) File "/usr/lib/python3.5/locale.py", line 594, in setlocale return_setlocale(category.locale) locale.Error:unsupported locale setting 위의 에러 코드를 보면, locale setting의 문제라고 하며 이를 해결하기 위해 아래와 같이 실행하면 해결된다. 우선, locale을 확인해본다. $ locale locale: Cannot set ..