Na의 공부 블로그

이 포스트는 '파이썬과 케라스로 배우는 강화학습'이라는 책을 바탕으로 스스로 공부한 내용을 정리한 포스트입니다. 강화학습이란 무엇인지, 어떤 종류가 있고, 강화학습이 적용된 예시를 살펴본다. 행동심리학과 머신러닝을 기반으로 하는 강화학습에 대해 공부하려면 강화학습이 해결하고자 하는 문제에 대해 정의를 먼저 해야 한다. 강화학습은 순차적으로 행동을 결정해야 하는 문제를 다룬다. 이러한 문제를 컴퓨터가 풀기 위해서는 수학적으로 정확히 정의해야 한다. Why?) 왜 수학적 엄밀함이 요구되는가? 문제를 컴퓨터에게 정확하게 명령을 내리기 위해서이다. 여기에서는 강화학습의 개념과 강화학습 문제의 정의를 살펴본다. 강화학습의 개념 강화(reinforcement)란 동물이 시행착오를 통해 학습하는 방법 중 하나이다. ..

인공지능/강화학습 2023. 9. 20. 12:19

9월 19일 순차 데이터와 순환 신경망의 개념에 대해 배운다. 순차 데이터 순차 데이터(sequential data)는 텍스트나 음성같이 순서에 의미를 가지는 데이터를 말한다. 즉 순서가 다르면 의미가 다른 데이터를 순차 데이터 라고 한다. -> 따라서 순차 데이터를 다룰 때는 이전에 입력한 데이터를 기억하는 기능이 있어야 한다. 기존의 완전 연결 신경망이나 합성곱 신경망은 데이터 흐름이 무조건 앞으로만 간다. 하지만 순차 데이터는 이전 데이터를 기억하고 활용해야 하기 때문에 데이터 흐름을 뒤로 보내는 장치를 추가한다. 이 신경망을 순환 신경망(recurrent neural network, RNN) 이라고 한다. 순환 신경망은 기존의 완전 연결 신경망과 거의 똑같지만, 뉴런 층에 뉴런의 출력을 다시 입력..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 19. 09:40

9월 18일 합성곱 신경망의 개념과 구현에 대해 배운다. 합성곱 신경망은 이미지데이터에 적합한 인공지능 모델이다. 왜 그런지 알아보자 합성곱 신경망(CNN) 합성곱은 fully connected 신경망과는 계산이 조금 다르다. 하나의 뉴런에 대하여 입력데이터 전체에 가중치를 곱하는게 아니라 '일부만' 가중치를 곱한다. 예를들어 입력 데이터가 100개라면, 1~n번째 까지의 선형회귀 방정식을 만들어 출력을 하고, 그 다음에는 2~(n+1)번째 까지의 선형회귀 방정식을 만들어 출력을 한다. 여기서 각 횟수마다 사용되는 가중치와 절편값은 모두 동일하다! -> 물론 여기서 언급한 n도 하이퍼파라미터다. (용어) 합성곱 신경망에서는 뉴런이라는 용어 대신 필터나 커널이라는 단어를 쓴다. keras API에서는 뉴런..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 18. 10:34

9월 16일 인공신경망 모델 개발에 도움을 주는 기능들을 알아본다. history객체 keras패키지의 model.fit함수를 사용하면 fit함수는 인공신경망 객체인 model을 학습시키고 마지막에 history객체를 반환한다. history객체에는 각 epoch마다 loss와 accuracy를 담고 있으며, matplotlib패키지를 통해 시각화가 가능하다. history = model.fit(...) import matplotlib.pyplot as plt plt.plot(history.history["loss"]) plt.xlabel("epoch") plt.ylabel("loss") plt.show() Tip) history객체에 검증데이터의 loss와 accuracy까지 포함하고 싶다면? fit함..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 16. 21:49

9월 15일 딥러닝, 인공신경망,심층신경망에 대해 배운다 딥러닝이란? 딥러닝은 머신러닝의 하위 분류로, 머신러닝 중에서 특히 인공신경망 이라는 기술을 이용한 머신러닝 방법이다. 다층 구조의 은닉층(중간층)으로 네트워크를 연결한 모습을 띄고 있다. MNIST 딥러닝에서 가장 대표적인 데이터셋은 MNIST(Modified National Institute of Standards and Technology database)으로, 많은 숫자 손글씨들로 이루어진 데이터셋이다. -> 숫자 대신 의상으로 이루어져 있는 패션MNIST도 있다. 텐서플로우와 케라스 텐서플로우는 구글에서 공개한 머신러닝 라이브러리이다. 케라스는 거의 모든 종류의 딥러닝 모델을 간편하게 만들고 훈련시킬 수 있는 패키지이다. 텐서플로우에는 h..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 15. 06:03

9월 14일 주성분 분석과 차원축소에 대해 배운다 Why?) 차원축소를 하는 이유? 가장 큰 이유는 용량 때문이다. 그래서 차원을 하나 줄이면서도 각각의 데이터들을 잘 표현할 수 있도록 하는 과정을 하게되고 이것을 차원축소라고 한다. 차원과 차원 축소 머신러닝에서 차원이란, 행렬의 경우 행 또는 열의 갯수를 말하며, 벡터의 경우에는 벡터의 element의 갯수를 말한다. 즉 같은 단어라도 대상이 행렬이냐 벡터이냐에 따라 가리키는게 다르니 주의! 차원 축소는 최대한 원래 차원에서의 데이터 특성을 잘 반영하는 방향으로 차원을 하나 줄이는 방법이다. 대표적인 차원축소 알고리즘에는 주성분 분석이 있다. 주성분 분석(PCA) n차원(feature의 갯수)으로 이루어진 데이터 공간에서 m개의 좌표벡터를 가진 m차원..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 14. 08:59

9월 13일 비지도학습에 대해 다룬다. 비지도 학습이란? 비지도 학습(Unsupervised Learning)은 타깃이 없을 때 사용하는 머신러닝 알고리즘이다. 이미지 인식 1. 먼저 이미지 파일들을 numpy 패키지로 다루기 위해 데이터셋에 필요한 이미지 파일들을 하나의 npy 확장자로 변환해야 한다. 2. 이미지를 보여줄 matplotlib패키지를 로드한다. import numpy as np import matplotlib.pyplot as plt 3. npy파일을 Python의 변수로 전달하는 방법은 np.load()함수를 사용하면 된다. = np.load() 4. 3번의 변수는 3차원 행렬인데, 첫 차원은 이미지 갯수, 두번째 차원은 이미지 height, 세번째 차원은 이미지 width이다. ->..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 13. 11:34

9월 11일 결정트리와 교차검증, 그리드 서치, 그리고 앙상블에 대해 배운다 결정 트리 결정트리는 분류 문제를 해결하는 알고리즘 중 하나이다. 로지스틱 회귀가 잘 안될 때 결정트리로 로지스틱 회귀의 목적(어떤 데이터가 무엇에 해당하는지 아닌지)을 더 정확하게 달성하는 경우가 있다. 왜 그럴까? 결정 트리의 구현 from sklearn.tree import DecisionTreeClassifier = DecisionTreeClassifier([random_state = ]) dt.fit(, ) (주의!) target은 스케일러가 적용되지 않는 이유는, 회귀의 종속변수가 아니라 클래스(카테고리)를 나타내기 때문이다! (정보) 결정트리는 스케일러를 사용하는 전처리 과정이 필요없다. 결정 트리 보기 import..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 11. 12:17