[기계학습] 기계학습과 수학

기계학습과 수학

전 포스팅에서 말했듯이, 기계학습이 푸는 문제는 매우 복잡하여 단순한 수학 공식으로 표현이 불가능하다.

[기계학습] '기계학습(Machine Learning)' 이란?

그렇기에, 기계학습에서 수학은 목적함수를 정의하고, 목적함수가 최저가 되는 점을 찾아주는 '최적화 이론'을 제공하는 역할을 한다. (최적화 이론에 규제, 모멘텀, 학습률, 멈춤조건과 같은 제어를 추가하여 알고리즘을 구축한다)

기계학습에서 사람은 알고리즘을 설계하고 데이터를 수집하는 역할을 한다.

 

*최적화: 목적함수를 최소화하는 최적점을 찾는 데 활용. (주로 미분을 활용한 방법 사용)

*최적화이론: 1. 매개변수공간 탐색 / 2. 미분에 의한 최적화 / 3. 경사하강 알고리즘

1. 매개변수 공간 탐색

최적화 탐색 알고리즘 (낱낱탐색 알고리즘 / 무작위탐색 알고리즘 / 기계학습이 사용하는 전형적인 탐색 알고리즘)

2. 미분에 의한 최적화 (최저점 구하기)

편미분 사용 (기계학습의 매개변수에는 많은 변수가 있으므로, 변수가 여러개인 함수일때 사용하는 '편미분'을 자주 사용한다)

3. 경사하강 알고리즘 (경사가 낮은 곳을 찾아가는 원리)

배치 경사하강 알고리즘: 샘플의 그래디언트(경사=기울기)를 평균한 후, 한꺼번에 갱신하는 방법
*배치: 한꺼번에 처리를 다 하는것
스토캐스틱 경사하강 알고리즘: 한 샘플의 그래디언트를 계산한 후, 즉시 갱신하는 방법 (실시간으로 하기에, 평균으로 나눌 필요가 없다)

 

 선형대수

선형대수는 데이터를 분석하여 유용한 정보를 알아내거나, 특징공간을 변환하는 등의 과업을 수행하는 데 핵심 역할을 하는 개념이다.

기계학습에서 자주 사용되는 개념이기에, 선형대수의 벡터, 행렬, 텐서 등의 내용을 숙지해놓는 것이 좋다.

 

*벡터: 크기와 방향이 있음 ('스칼라'와 반대되는 개념)

*행렬: 여러개의 벡터를 담은 것 (행렬을 사용하면 수식을 간결하게 표현할 수 있다)

*설계 행렬: 훈련집합을 담은 행렬

*전치 행렬: 행과 열을 바꾼 것

*행렬 연산(곱셈, 덧셈, 등)과 특수한 행렬(정사각행렬, 대각행렬, 단위행렬, 대칭행렬)들에 대해서도 숙지해놓는 것이 좋다
*텐서: 행렬의 모음. 3차원 이상의 구조를 가진 숫자 배열 (ex: 3차원 구조의 RGB 컬러영상)

 

 확률과 통계

기계학습에서 확률과 통계는 데이터에 포함된 불확실성을 표현하고 처리하는 데 활용된다.
('베이즈이론' 과 '최대우도기법' 을 사용하여 확률추론을 수행함)