입력 데이터와 정답 레이블을 이용해 새로운 입력에 대한 올바른 예측을 할 수 있도록 만드는 학습 방식이다.
지도 학습에 필요한 요소들은 다음과 같다:
각 원소가 $(x, y)$ 순서쌍인 어떤 데이터 집합을 가정해보자.
다음을 만족하는 함수를 정답 함수 $f^*$ 라 하자.
$$ f^*(x^{(i)})=y^{(i)} $$
우리의 목적은 정답 함수와 아주 유사하게 동작하는 함수 $g$ 를 찾는 것이다. 정답 함수 자체를 찾는 것이 최상의 결과일 것이나, task 가 복잡해질수록 이는 불가능에 가까울 것이다.
이미 주어진 데이터 셋의 대응관계를 학습해 새로운 데이터에 대한 정답을 도출하는 함수 $g$ 를 찾는 것이 지도학습의 목표라고 할 수 있다.
이때 이 세상에 존재하는 모든 함수를 일일히 실험해보는 것은 비효율적이다. 그래서 우선 Function Class 라는 것을 정의하게 된다. Function Class 내에서 우선 후보군을 추리고, 후보군 내에서 정답 함수와 가장 근접한 것을 찾는 것으로 문제의 범위를 좁히는 것이다.
$$ g_\theta(x)\approx f^*(x)\\ g_\theta\in G $$
정답 함수와 모델 함수 간의 유사한 정도는 손실 함수로 정의할 수 있다. 손실 함수는 모델의 예측값과 실제 값 사이의 차이를 나타낸다. 이 차이를 나타내는 형식은 다양하다. (MSE, cross-entropy 등)
데이터 포인트 하나에 대한 손실을 Pointwise Loss 라고 하고, 다음과 같이 표현된다
$$ l(g_\theta(x^{(i)}, y^{(i)}) $$