NLP/AI/Statistics

AI model test case

Danbi Cho — Sat, 29 Jul 2023 12:56:21 +0900

x_train, x_test, y_train, y_test = train_test_split(x,y, test_size=0.2)

[ML]

model = DecisionTreeRegression()

model.fit(x_train, y_train)

pred = model.predict(x_test)

score = model.score(x_test, y_test)

[DL]

import tensorflow as tf

from tesnsorflow import keras

from tensorflow.keras import layers

from keras.callbacks import ModelCheckpoint, EarlyStopping

def build_model():

model = keras.Sequential([

layers.Dense(64, activatoin = 'relu', input_shape=[len(x_train.keys())]),

layers.Dense(64, activation = 'relu'),

layers.Dense(1)

])

model.compile(loss='mse', optimizer = 'adam', metrics=['mae','mse'])

return model

model = build_model()

model.summary()

history = model.fit(x_train, y_train, epochs=30,

validation_data = (x_test, y_test),

callbacks = [cb_checkpoint, early_stopping])

result = model.evaluate(x_test, y_test)

print(result)

plt.style.use("ggplot")
plt.figure()
plt.plot(np.arange(0, 30), history.history["loss"], label="train_loss")
plt.plot(np.arange(0, 30), history.history["val_loss"], label="val_loss")
plt.title("Training Loss")
plt.xlabel("Epoch #")
plt.ylabel("Loss")
plt.legend()
plt.show()

# 최적 모델 불러오기 및 저장
model.load_weights(checkpoint_path)
model.save("DeeplearningModel.h5")

vim에서 tab이 공백으로 처리되는 경우

Danbi Cho — Tue, 19 Oct 2021 17:11:10 +0900

vim에서 간혹 아래와 같은 에러가 발생한다.

이 TabError는 보통 tab과 공백을 혼동해서 사용했을 때 발생하는 에러이다.

하지만 분명 tab으로만 사용했는데도 이런 에러가 발생할 때가 있다.

이는 분명 tab을 사용했지만 알고보니 이 tab이 공백으로 처리되는 경우였다.

tab을 사용한 후 화살표 조작 키보드를 사용하여 옆으로 움직여보면 8개의 공백처럼 처리되어 있었다.

이는 tab을 공백으로 처리하겠다는 명령어에 의해 작동된다.

$ vim .vimrc

터미널에서 위와 같은 코드를 작업하면 vim 설정을 볼 수 있다.

기존의 vimrc는 아래와 같이 작성되어 있었다.

여기에서 문제는 바로 "set expandtab"

이 부분이 tab을 공백으로 처리하겠다는 명령이기 때문에 tab을 공백으로 처리했던 것이다.

해당 부분을 삭제하고 아래와 같이 해당 파일을 실행시키면 된다.

$ source .vimrc

tab을 공백으로 처리하지 않도록 설정하여 문제를 해결하였다.

이외에도 다음과 같은 설정 방법들이 있다.

> retab

: 현재 있는 tab들을 공백으로 전환 (사실 위의 문제를 이 코드로 해결할 수도 있다.)

> set shiftwidth = 8

: >와 < 방향키로 tab 전환을 변경 (전환 기준을 공백 8개로 취급한다.)

> set tabstop = 8

: 공백 8개를 한 번의 들여쓰기로 취급 (즉, 공백 8개가 tab 한번과 동일한 역할을 한다.)

> set expandtab

: tab을 공백으로 처리

(위의 문제에서는 tab을 공백으로 처리하지 않기 위해 이 부분을 삭제하였다.)

python에서 다른 위치의 파일 import하는 방법

Danbi Cho — Tue, 10 Aug 2021 15:42:27 +0900

만약 다른 경로에 있는 모듈을 import할 경우엔 기존에 동일한 위치에 있을 때와 다르게 불러와야한다.

만약 원하는 모듈 (module_name)이 동일한 경로에 있을 경우엔, 아래와 같이 .을 사용해서 import 할 수 있다.

$ from . import module_name

현재 위치보다 하위 경로에 있을 경우엔, 아래와 같이 하위폴더명을 지정하여 import 할 수 있다.

$ from sub_folder import module_name

즉, sub_folder 안에 있는 module_name으로부터 import할 경우 위와 같이 import 하면 된다.

그리고 현재 위치보다 상위 경로에 있을 경우엔, sys와 os를 사용해서 상위 폴더의 위치를 현재와 동일하게 만든다.

$ import sys, os
sys.path.append(os.path.dirname(os.path.abspath(os.path.dirname(__file__))))
from parent_folder import module_name

상위 폴더 parent folder에 있는 module_name을 import할 수 있다.

가장 간단한 방법으로는 절대경로를 지정해주는 것이다.

$ import sys
sys.path.append(file_path)
from . import module_name

원하는 모듈 (module_name)이 위치한 경로 (file_path)를 지정하여 현재와 동일하게 만들어 import 할 수 있다.

gensim 설치 에러

Danbi Cho — Mon, 9 Aug 2021 13:33:58 +0900

gensim 패키지를 설치하는 방법에는 두 가지가 있다.

$ pip install --upgrade gensim

또는, 파일을 다운받아 설치.

$ python setup.py install

원래 맨 위의 pip 방법을 사용하려고 했는데, pip 에러가 떠서 이 문제는 해결했다. (참고: pip에러 해결)

pip 문제를 해결했는데도, 이상하게 pip로 설치하는 방법 이후에 gensim이 작동되지 않아 아래의 방법으로 설치를 진행했다.

https://pypi.org/project/gensim/#files

gensim

Python framework for fast Vector Space Modelling

pypi.org

gensim을 다운로드하는 url에서 파일을 다운로드 받아 압축을 풀었다.

(참고: tar.gz 압축하기 및 압축해제)

gensim-4.0.1.tar.gz를 다운로드하여 압축을 푼 이후, 두 번째 설치 방법의 코드를 실행하였다.

$ python setup.py install

이렇게 해서 설치를 완료하였다.

ModuleNotFoundError: No module named 'pip'

Danbi Cho — Mon, 9 Aug 2021 13:29:37 +0900

gensim 설치를 위해서는 아래의 코드를 실행시키면 된다.

$ pip install --upgrade gensim

이렇게 gensim을 설치하려고 하는데 갑자기 pip 에러가 발생했다.

에러는 ModuleNotFoundError: No module named 'pip'.

pip를 다시 설치하는 방식으로 문제를 해결했다.

$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
$ python get-pip.py

위의 코드를 실행시키면 pip가 정상 작동된다.

terminal에서 여러 텍스트 파일 합치기

Danbi Cho — Tue, 13 Jul 2021 12:19:19 +0900

텍스트 파일이 여러개 나누어져 있을 때 이를 터미널에서 한번에 합칠 수 있다.

예를 들어, example1.txt example2.txt example3.txt가 있을 때,

위의 세개 파일을 total.txt로 합치기 위해서는 아래와 같이 cat을 실행하면 된다.

$ cat example*.txt > total.txt

이 때 세개의 파일 이름이 맨 뒤 숫자 이외에 동일하여 example*.txt로 표기하였는데,

이름이 제각각일 경우엔 합치길 원하는 파일 명을 나열한 후 >(화살표) 로 하나의 텍스트 파일을 만들면 된다.

예를 들어, a.txt b.txt c.txt를 d.txt로 합칠 경우 아래와 같다.

$ cat a.txt b.txt c.txt > d.txt

tar.gz 압축하기 및 압축해제

Danbi Cho — Tue, 15 Jun 2021 19:46:35 +0900

tar 파일이나 tar.gz 파일을 압축하고 해제하는 방법은 항상 헷갈렸던 것 같다.

tar로 압축하기

$ tar-cvf file_name.tar folder_name

압축하고자 하는 폴더명 (folder_name)을 원하는 파일명 (file_name.tar)로 압축할 수 있다.

tar 압축 풀기

$ tar-xvf file_name.tar

file_name.tar이라는 파일의 압축을 해제할 수 있다.

tar.gz로 압축하기

$ tar-zcvf file_name.tar.gz folder_name

압축하고자 하는 폴더명 (folder_name)을 원하는 파일명 (file_name.tar.gz)로 압축할 수 있다.

tar.gz 압축 풀기

$ tar -zxvf file_name.tar.gz

file_name.tar.gz이라는 파일의 압축을 해제할 수 있다.

python 지수 표현 변경

Danbi Cho — Fri, 11 Jun 2021 12:33:08 +0900

python에서 float 값이 지수 값으로 표현되어 불편한 경우가 있다.

이를 없애기 위해 아래와 같이 지수 표현을 변경해줄 수 있다.

예를 들어,

a = 2.123123e+03 일 때

$ import pandas as pd
$ pd.options.display.float_format = '{:.5f}'.format

위와 같이 pandas 모듈을 사용하여 지수 표현을 바꿔주면

a = 2123.123으로 변경된다.

다시 원래 대로 돌아오길 원한다면 아래와 같이 수행하면 된다.

$ pd.reset_option('display.float_format')

위의 코드를 실행하였는데도 원래대로 지수함수로 표기되지 않는 경우,

아래의 코드로 변환이 가능하다.

$ pd.set_option('display.float_format', '{:.2e}'.format)

참고) https://financedata.github.io/posts/pandas-display-format.html

pandas 출력 포맷팅

설명

financedata.github.io

python json 파일 한글 깨짐 현상

Danbi Cho — Wed, 9 Jun 2021 15:10:22 +0900

json 파일을 생성하고 불러오는 과정에서 한글이 ascii 유니코드로 저장되는 경우가 발생한다.

(json 파일 저장하고 불러오는 방법은 이전 글에서 소개하였다.)

예를 들어, 위와 같이 한글로 작성되어야 하는 곳에 ascii 유니코드로 작성되어 읽혀진다.

이런 문제를 해결하기 위해 json 파일을 불러올 때 아래와 같이 작성하면 된다.

$ with open('./file_name.json', 'r') as f:
$	json_data = json.load(f)
$	json_data = json.dumps(json_data, ensure_ascii = False)

여기서 포인트는 "ensure_ascii = False"이다.

이 옵션을 안쓰면 위와 같이 ascii 유니코드로 출력된다.

python json 파일 저장 및 불러오기

Danbi Cho — Wed, 9 Jun 2021 15:01:17 +0900

dictionary를 저장하기 위해 json 파일을 생성하였다.

우선, json 저장 방법은 다음과 같다.

$ import json

$ with open('./file_name.json', 'w') as f:
$ 	json.dumps(dictionary, f)


# or 

$ save_file = open('./file_name.json','w')
$ json.dump(dictionary, save_file)
$ save_file.close()

dictionary를 'file_name'이라는 파일명으로 저장하려고 할 때 위의 코드와 두 가지 방법으로 저장할 수 있다.

저장한 json 파일을 불러오기 위한 코드는 다음과 같다.

$ with open('./file_name.json', 'r') as f:
$	json_data = json.load(f)
$	json_data = json.dumps(json_data)

위와 같이 불러오면 json_data라는 변수명으로 dictionary가 불러와진다.