Na의 공부 블로그

[PLAYDATA] 데이터 엔지니어링 9월 2주차 9/8

9월 8일 ㅁㅁ 규제와 라쏘, 릿지회귀 규제 규제(Regularization)란 모델의 과적합을 피하기 위해 가중치에 제한을 거는 방법이다. -> 과적합된 모델은 가중치 값이 크게 나오는 편이다. 규제는 원래의 Cost Function에 Norm이라는 항을 더하여 그것을 Cost Function으로써 사용한다. 라쏘회귀 라쏘(Lasso)회귀는 L1-Norm 항이 원래의 cost function에 더해진 cost function으로 회귀연산을 하는 회귀를 말한다. 여기서 α는 하이퍼 파라미터로, α가 커질수록 underfitting에 가까워지고, α가 작아질수록 overfitting에 가까워진다. L1-norm 항에 의해 cost function을 미분하면, 기울기가 음수일 때 wi의 변화량이 +α만큼 더..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 8. 16:35

[PLAYDATA] 데이터 엔지니어링 9월 2주차 9/7

9월 7일 KNN알고리즘과 결정계수, 선형회귀 등에 대해 다룬다 Tip) 지도학습은 분류와 회귀로 나뉜다. KNN은 분류에 해당한다. KNN 알고리즘 KNN 알고리즘이란 타겟 데이터를 근처 데이터들을 바탕으로 타겟 데이터의 label를 예측하는 알고리즘이다. -> 여기서 근처라는 것의 기준은, 그래프상 유클리드 거리, 또는 맨하튼 거리가 가장 가까운 것을 뜻한다. K의 의미 여기서 K의 의미는 근처 데이터를 몇 개까지 수집할 지를 결정하는 값이다. K개의 이웃 데이터를 수집한 뒤, 가장 많은 라벨을 타겟의 라벨로 예측하게 된다. 특정 두 라벨의 데이터 갯수가 동일해지는 문제를 방지하기 위해, K는 홀수로 정한다. -> 따라서 K값을 몇으로 하냐에 따라 예측 정확도가 달라진다. KNN 알고리즘의 구현 (주..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 7. 10:52

[Python] Numpy 패키지

작성일 9월 14일 Numpy란 수학 및 과학 연산에 특화된 선형대수 패키지이다. Numpy란? Numpy란 수학 및 과학 연산에 특화된 파이썬 패키지로, 벡터, 행렬 등 수치 연산을 수행하는 선형대수(Linear Algebra) 패키지이다. 내부적으로는 C언어로 구현되어 있어 파이썬 치고는 연산속도가 빠른 편이다. Numpy 설치 import numpy as np를 실행해 보고, Numpy패키지가 없다고 뜬다면 먼저 설치를 해 주어야 한다. 설치는 다음 명령어를 실행하면 된다. pip install numpy 그 후 임포트는 import numpy as np로 하면 된다. 관습적으로 np로 사용한다. Numpy 자료형 Numpy의 핵심 자료형은 벡터(배열)나 행렬을 표현하는 numpy.ndarray이다..

Python라이브러리 2023. 9. 6. 16:32

Matplotlib 패키지

Python라이브러리 2023. 9. 6. 16:30

Scikit-learn패키지

Python라이브러리 2023. 9. 6. 16:26

[PLAYDATA] 데이터 엔지니어링 9월 2주차 9/6

9월 6일 이제부터 머신러닝 수업을 들어가기 시작했다. 오늘은 처음이니 머신러닝의 기본 개념 위주로 배운다. 머신러닝의 분류 지도학습: target값(y)-선형회귀/로지스틱회귀/결정나무/KNN, Kmeans, ... 반지도학습(강화학습): 보상 비지도학습: target값 존재하지않음 Tip) Feature Matrix: 입력역할(x1, x2, ...) Target Vector: 출력역할 (y) np.random.rand(m,n): 0부터1사이의 값을 랜덤으로 반환(mxn행렬로) (주의!) 머신러닝을 이용할 때 데이터 형태는 DataFrame형태가 아니라 np.ndarray형태여야 한다! = [].to_numpy() 선형회귀 from sklearn.linear_model import LinearRegres..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 6. 15:09

[PLAYDATA] 데이터 엔지니어링 9월 2주차 9/5

9월 5일 데이터 내려받고 전처리 하는 방법에 대해서 배운다. import glob 파일들의 리스트를 뽑을 때 사용한다. glob()은 pathname패턴을 만족하는 모든 파일들의 이름을 list 형태로 반환한다. 예시) glob.glob("C:/Users/asdf/test/*.txt") 이는 C:/Users/asdf/test 경로에 있는 모든 txt파일을 출력한다. 파일 내려받는 기본 매커니즘 다운로드 할 파일들이 디렉터리 형태로 되어 있다면 다음과 같이 한다. 1. 다운로드 할 파일들이 위치한 디렉터리들의 name패턴을 파악 2. 최상위 디렉터리를 가리키는 string변수 생성(path_url이라고 하자) 3. 컴퓨터에 저장할 위치를 가리키는 string변수 생성(path_dir라고 하자) 4. 컴퓨..

PLAYDATA/PLAYDATA데일리노트 2023. 9. 5. 22:02