Na의 공부 블로그

이 포스트는 '공학인증을 위한 확률과 통계 제 4판'을 참고하여 작성되었습니다. 5.1 균등분포 이산균등분포와 비슷하게 확률밀도함수가 일정하게 나타나는 연속확률분포를 균등분포(uniform distribution)라 한다. 5.2 지수분포와 감마분포 임의의 양수 lambda에 대하여 다음과 같은 확률밀도함수 f(x)를 갖는 확률분포를 모수 lambda인 지수분포(exponential distribution)라 한다. 여기서 x는 0부터 x까지 관찰했을 때 사건이 '최초로' 발생할 확률을 의미한다. 지수분포는 다음과 같이 표기한다. 지수분포의 기댓값과 분산은 다음과 같다. 지수분포는 기하분포와 마찬가지로 비기억성 성질을 갖는다. 즉 t = a 까지 사건이 관찰되지 않았다면, 시점 a를 다시 t = 0이라고..

Computer Science/확률과 통계 2023. 10. 20. 07:44

이 포스트는 '공학인증을 위한 확률과 통계 제 4판'을 참고하여 작성되었습니다. 4.1 이산균등분포 확률변수가 가지는 모든 값에 대하여 대응되는 확률이 전부 같을 때 이 분포를 이상균등분포(discrete uniform distribution)라고 한다. 참고로 확률변수에 대한 확률분포를 결정짓는 상수를 확률분포의 모수(parameter)라고 한다. 4.2 초기하분포 초기하분포를 설명하기 위해 다음의 예시를 들어본다. 주머니 속에 M개의 흰색 공이 있고 N-M개의 검은색 공이 있다고 하자. 이 때 n개의 공을 꺼낸다고 했을 때, 이 때 꺼낸 공 중에서 흰색공의 갯수를 확률변수 X라고 하자. 그러면 확률변수 X는 모수 N, M, n인 초기하분포(hypergeometric distribution)를 이룬다고..

Computer Science/확률과 통계 2023. 10. 17. 22:19

이 포스트는 '공학인증을 위한 확률과 통계 제 4판'을 참고하여 작성되었습니다. 3.1 결합확률분포 확률변수를 동시에 두 개 이상 고려하는 확률을 결합확률 이라고 하며, 결합확률질량함수(joint prrobability mass function; j.p.m.f.)는 다음과 같다. 결합확률질량함수에서 특정 확률변수를 고정시키고 생각할 수 있는데, 그것을 주변확률질량함수(marginal probability mass function; m.p.m.f.)라고 한다. 결합확률밀도함수(joint probability density function: j.p.d.f.)는 다음과 같다. 이때는 x가 a와 b 사이이면서 y가 c와 d 사이일 확률을 의미한다. 주변확률밀도함수(marginal probability densi..

Computer Science/확률과 통계 2023. 10. 13. 16:47

이 포스트는 '공학인증을 위한 확률과 통계 제 4판'을 참고하여 작성되었습니다. 2.1 이산확률변수 표본공간을 이루는 개개의 관찰값(사건)을 실수로 대응시키는 함수 X를 생각할 수 있다. 이때 이 함수 X를 확률변수(random variable)이라 한다. 확률변수 X가 취하는 모든 실수들의 집합을 상태공간(state space)이라 한다. 상태공간이 이산적일 때 확률변수 X를 이산확률변수(discrete random variable)라 한다. 확률변수 X가 취하는 각 경우에 대한 확률을 표 또는 함수식을 이용해 나타낸 것을 확률분포(probability distribution)라 한다. 이산확률변수 X의 상태공간 안에 있는 개개의 값 x에 확률함수 p(x)를 대응시키고 나머지는 전부 0을 취한 함수를 ..

Computer Science/확률과 통계 2023. 10. 13. 14:52

이 포스트는 '공학인증을 위한 확률과 통계 제 4판'을 참고하여 작성되었습니다. 1.1 사건 어떤 통계적 목적 아래 관찰이나 측정을 얻어내는 일련의 과정을 통계적 실험 이라고 한다. 이때 관찰된 값을 관찰값(observation)이라고 한다. 측정 가능한 모든 결과들의 집합을 표본공간(sample space)이라고 한다. 표본공간을 이루는 개개의 관찰값을 원소(element) 또는 표본점(sample point)이라고 한다. 관찰할 때 마다 원소를 없애는 추출을 비복원추출(without replacement)이라고 하며, 원소를 없애지 않고 보존하는 추출을 복원추출(replacement)이라고 한다. 단 하나의 원소로 구성된 사건을 단순사건(simple event) 또는 근원사건(elementary ev..

Computer Science/확률과 통계 2023. 10. 13. 14:37

이 포스트는 '파이썬과 케라스로 배우는 강화학습'이라는 책을 바탕으로 스스로 공부한 내용을 정리한 포스트입니다. 근사함수와 인공신경망 개념에 대해서 다룬다. ※ 몬테카를로, 살사, 큐러닝 개념은 사정상 생략함 근사함수 몬테카를로, 살사, 큐러닝의 한계 이 3가지 개념을 배울 땐, 상태 공간의 크기가 작고 환경이 불변한다는 가정을 가진 간단한 문제들이었다. 그러나 현실의 문제는 이렇게 단순하지 않다. 그래서 요즘 강화학습은 인공신경망을 사용하려는 추세이다. 앞서 다이나믹 프로그래밍의 한계는 다음 3가지였다. 1. 계산 복잡도가 매우 커짐 2. 차원의 저주 3. 환경에 대한 완벽한 정보가 필수 몬테카를로, 살사, 큐러닝 방식은 3번을 해결했지만(model-free), 1번과 2번 문제는 여전히 해결을 못 했..

인공지능/강화학습 2023. 9. 23. 14:37

이 포스트는 '파이썬과 케라스로 배우는 강화학습'이라는 책을 바탕으로 스스로 공부한 내용을 정리한 포스트입니다. 다이나믹 프로그래밍, 정책 이터레이션과 가치 이터레이션에 관하여 공부한다. 다이나믹 프로그래밍 다이나믹 프로그래밍이란 큰 문제 안에 동일한 작은 문제가 여러개 있을 때, 하나의 문제를 풀고 나머지 동일한 문제는 정답만 이용하는 프로그래밍을 말한다. 다이나믹 프로그래밍으로 벨만 기대 방정식을 푸는 것이 정책 이터레이션, 벨만 최적 방정식을 푸는 것이 가치 이터레이션이다. 순차적 결정 문제 해결 과정 1. MDP로 엄밀하게 정의 2. 벨만 기대 방정식과 벨만 최적 방정식을 계산 3. 2번을 통해 최적 가치함수와 최적 정책을 찾기. 벨만 방정식을 푼다는 것 벨만 방정식을 푼다는 것은 식을 만족하는 ..

인공지능/강화학습 2023. 9. 22. 16:15

이 포스트는 '파이썬과 케라스로 배우는 강화학습'이라는 책을 바탕으로 스스로 공부한 내용을 정리한 포스트입니다. MDP와 벨만 방정식에 대해 공부한다. 여기를 제대로 이해해야 다음 내용들을 쉽게 이해할 수 있다. 이 부분은 특히 충분한 시간을 가지고 공부하자. MDP MDP는 강화학습을 위한 문제(Problem)를 표현하기 위한 구성요소이다. -> 순차적 행동 결정 문제를 수학적으로 엄밀하게 정의한 것이다. MDP는 다음과 같은 요소로 이루어져 있다. 1. 상태 2. 행동 3. 보상 함수 4. 상태 변환 확률 5. 할인율 (중요!) MDP를 정해주고 설계하는 존재는 사람이다. 사람과는 달리 에이전트는 스스로 문제를 정의할 수 없기 때문이다. 즉 하이퍼파라미터인 셈이다. 상태 S는 특정 요소에 대하여 가질..

인공지능/강화학습 2023. 9. 20. 18:54