INTRODUCTION TO AI & ITS APPLICATIONS

흩어진 개념을 연결하는
AI 중간고사 통합 정리

기본 개념부터 신경망의 학습까지. 분류 체계를 먼저 세우고, 수식과 계산을 연결하며 Lecture 1–11을 한 흐름으로 복습합니다.

11 Lectures59 Concept Cards오프라인 사용 가능STUDY EDITION · 2026.10

START HERE

전체 범위를 한눈에

개념의 위치를 먼저 잡고, 각 Lecture에서 세부 내용을 채워보세요.

전체 학습 지도

핵심

01 · AI의 기본L1–3

모델 · AI/ML/DL · 학습 방식 · 문제 종류

02 · 숫자를 예측L4–6

Hypothesis · Cost · Gradient Descent · 다항회귀 · 과적합

03 · 범주를 분류L7–8

확률 · Generative/Discriminative · k-NN · SVM

04 · 신경망을 학습L9–11

Perceptron · MLP · Activation · Backpropagation · 학습 설정

학습 완료

서로 다른 분류 축을 구분하세요

핵심

분류 기준	묻는 질문	개념
포함 관계	어떤 기술 범주인가요?	AI ⊃ ML ⊃ DL
학습 방식	어떻게 배우나요?	Supervised / Unsupervised / Reinforcement / Self-supervised
문제 종류	무엇을 예측·찾나요?	Classification / Regression / Density estimation / Dimension reduction / Clustering / Model selection
모델·알고리즘	어떤 방법으로 푸나요?	Linear regression / k-NN / SVM / Neural network

예: ML에 속하는 SVM으로, Supervised learning을 통해 Classification 문제를 풉니다. 네 표현은 서로 경쟁하는 선택지가 아닙니다.

학습 완료

이 정리본을 사용하는 방법

세부·보충

전체 보기로 강의 흐름을 읽고, 복습할 때 핵심만 보기를 켜보세요. 검색은 용어·수식 설명·본문 전체를 대상으로 합니다. 각 개념의 ‘학습 완료’를 체크하면 이 브라우저에 진도가 저장됩니다.

영어는 시험에서 접할 표현을 우선 사용하고, 어려운 용어에는 한글 뜻과 약어의 원문을 함께 적었습니다. 계산 예시는 이해를 위해 새로 만든 예시입니다.

학습 완료

LECTURE 01

AI 모델과 데이터

사람이 규칙을 작성하던 방식에서, 예제로 함수를 학습하는 방식으로.

Lecture01.pdf · pp. 4–25

Model: 입력을 출력으로 바꾸는 함수

핵심

Input x → Model f → Output ŷ

Model(모델)은 이미 아는 입력으로부터 알고 싶은 출력을 만드는 함수입니다. 집 크기에서 집값을 예측하거나, 이미지에서 고양이·개를 구분합니다. 학습은 예제에 잘 맞는 함수의 parameter를 찾는 과정입니다.

학습 완료

Traditional programming과 Machine learning

핵심

방식	주어지는 것	만들어지는 것
Traditional programming	Rules + Data	Answers
Machine learning의 지도학습 예	Data + Answers(labels)	Rules / Model

고양이는 자세·조명·가림에 따라 모습이 크게 달라집니다. 모든 규칙을 직접 나열하기보다 많은 예제에서 공통 패턴을 학습합니다. 위의 Data + Answers 도식은 특히 지도학습을 설명하는 표현이며, 모든 ML이 사람이 붙인 정답을 요구하는 것은 아닙니다.

학습 완료

강의 도입부의 최근 AI 흐름

세부·보충

용어	핵심 의미
LLM · Large Language Model	대규모 언어 모델. 텍스트를 포함한 언어 패턴을 학습합니다.
Multimodal model · 다중양식 모델	텍스트·이미지·소리 등 여러 종류의 정보를 다룹니다.
Reasoning / Test-time compute	어려운 문제에 답할 때 추론 과정에 더 많은 계산을 사용한다는 아이디어입니다.
Agent · 에이전트	목표를 위해 도구를 사용하고 여러 행동 단계를 수행하는 시스템입니다.
Generative AI · 생성형 AI	학습한 분포·패턴을 바탕으로 텍스트·이미지 등의 결과물을 생성합니다.

이 표는 Lecture 1의 도입 내용을 요약한 것입니다. 제품별 최신 성능이나 출시 순서를 외우기 위한 표는 아닙니다.

학습 완료

LECTURE 02

AI의 정의와 관점

어떤 행동이나 사고를 지능적이라고 볼 것인가요?

Lecture02.pdf · pp. 6–26

Narrow AI와 General AI

핵심

구분	뜻	기억할 표현
Narrow AI / Weak AI	한정된 영역에서 특정 작업을 수행하도록 만든 AI	Specific task / Limited domain
General AI / Strong AI (강의 분류)	여러 영역의 지적 작업을 폭넓게 수행하는 AI라는 개념	General intellectual tasks

강의는 Foundation model(기반 모델)이 여러 작업을 수행하면서 이 경계가 흐려진다는 점도 소개합니다. 여러 일을 한다는 사실만으로 특정 모델이 General AI라고 확정되지는 않습니다.

학습 완료

AI를 바라보는 관점과 Turing Test

핵심

관점	중심 질문
Thinking humanly	사람이 실제로 생각하는 과정을 모델링하는가? → Cognitive science(인지과학)
Acting humanly	인간처럼 행동하는가? → Turing Test(튜링 테스트)
Thinking rationally	논리적으로 올바르게 추론하는가? → Logic / Deduction(연역)

Turing Test는 대화를 통해 상대가 사람인지 기계인지 구별하는 평가 아이디어입니다. 필요한 능력으로 Natural language processing(자연어 처리), Knowledge representation(지식 표현), Automated reasoning(자동 추론), Machine learning을 소개합니다.

인간처럼 보이는 행동과 지능 자체는 동일한 개념이 아닙니다. 사람을 흉내 내는 평가에는 심사자의 기대와 속기 쉬운 성향이 영향을 줄 수 있습니다.

학습 완료

역사와 사례의 연결

세부·보충

Dartmouth conference(1956): AI 분야 출발점으로 소개되는 회의입니다.
AI winter(인공지능 겨울): 기대에 비해 성과가 부족해 관심과 투자가 줄었던 시기를 뜻합니다.
IBM Watson(2011): 질의응답 사례. AlphaGo(2016): 바둑과 강화학습 사례. ChatGPT(2022): 대화형 생성 AI 사례.

연도 나열보다 각 사례가 어떤 AI 능력과 연결되는지 먼저 이해하세요.

학습 완료

LECTURE 03

ML의 분류 체계

포함 관계, 학습 방식, 문제 종류를 각각 정리합니다.

Lecture03.pdf · pp. 4–30

AI ⊃ ML ⊃ DL

핵심

Artificial Intelligence ⊃ Machine Learning ⊃ Deep Learning

약어	Full name	뜻
AI	Artificial Intelligence	기계가 지능적인 작업을 하도록 만드는 넓은 분야
ML	Machine Learning	데이터·경험으로 성능을 개선하는 방법
DL	Deep Learning	여러 층의 신경망을 사용하는 ML의 한 영역

모든 DL은 ML에 포함되지만, 모든 ML이 DL은 아닙니다. SVM은 ML이지만 DL은 아닙니다. AI에는 사람이 직접 작성한 규칙을 이용하는 접근도 포함됩니다.

학습 완료

네 가지 학습 방식

핵심

학습 방식	학습 신호	대표 예시
Supervised learning · 지도학습	입력 x와 정답 y의 쌍	라벨이 있는 고양이·개 사진 / 집 크기와 실제 집값
Unsupervised learning · 비지도학습	정답 라벨 없이 데이터의 구조	시청 패턴에 따른 사용자 군집
Reinforcement learning (RL) · 강화학습	행동 후 받는 Reward(보상)	게임에서 누적 보상을 높이는 Policy(정책) 학습
Self-supervised learning · 자기지도학습	데이터 자체로 학습 목표를 생성	문맥으로 가린 단어 또는 다음 token 예측

Self-supervised learning은 사람이 별도 라벨을 붙이지 않아도 입력과 예측 목표를 데이터에서 구성합니다. Reinforcement learning은 정답 행동을 매번 알려주는 대신 장기적인 보상을 기준으로 학습합니다.

학습 완료

여섯 가지 문제 유형

핵심

Problem type	한국어·목적	예시
Classification	분류: 이산적인 범주 예측	Spam / Not spam
Regression	회귀: 연속적인 수치 예측	집값·온도
Density estimation	밀도 추정: 데이터의 확률분포 학습	어떤 데이터가 자연스러운가?
Dimension reduction	차원 축소: 중요한 구조를 남기고 차원 감소	1,000차원 데이터를 2차원으로 표현
Clustering	군집화: 비슷한 데이터끼리 묶기	라벨 없는 고객 그룹
Model selection	모델 선택: 후보 중 적절한 모델 고르기	과소·과적합을 고려한 복잡도 선택

Classification은 정해진 class로 분류하고, Clustering은 라벨 없이 유사성을 기준으로 그룹을 찾습니다. Density estimation으로 학습한 분포는 이상 탐지나 생성 모델의 이해와도 연결됩니다.

학습 완료

같은 상황을 두 축으로 분류하기

세부·보충

상황	학습 방식	문제 유형
정답이 달린 이메일로 스팸 판별	Supervised	Classification
과거 면적·가격 쌍으로 집값 예측	Supervised	Regression
라벨 없이 고객 그룹 찾기	Unsupervised	Clustering
게임에서 승리 보상으로 전략 개선	Reinforcement	의사결정 / Policy 학습
원문에서 다음 단어 예측 목표 구성	Self-supervised	언어 모델링

학습 완료

LECTURE 04

선형회귀와 Cost Function

모델의 예측 → 오차 측정 → Parameter 최적화.

Lecture04.pdf · pp. 4–28

데이터와 Hypothesis 표기

핵심

기호·용어	의미	주의할 점
m	Training examples(학습 예제)의 개수	Feature 개수와 다릅니다.
x / y	Input feature(입력 특성) / Target(정답)	ŷ는 모델의 예측값입니다.
x⁽ⁱ⁾, y⁽ⁱ⁾	i번째 학습 예제	괄호 위첨자는 거듭제곱이 아닙니다.
h_θ(x)	Hypothesis(가설 함수), 즉 예측 모델	h_θ(x) = ŷ
θ₀, θ₁	학습할 Parameters(매개변수)	θ₀=b, θ₁=w

h_θ(x) = θ₀ + θ₁x = b + wx

θ₀는 Intercept / Bias(절편·편향), θ₁은 Slope / Weight(기울기·가중치)입니다. 여기서 Bias는 과소적합을 설명할 때의 통계적 bias와 문맥이 다릅니다.

학습 완료

Squared-error Cost와 MSE

핵심

J(θ₀, θ₁) = 12m ∑_i=1^m [h_θ(x⁽ⁱ⁾) − y⁽ⁱ⁾]²

예측 − 정답으로 Residual(잔차)을 구합니다.
각 잔차를 제곱한 뒤 모두 더합니다.
2m으로 나눕니다. 1/2는 미분할 때 제곱의 2를 없애는 편의 계수입니다.

MSE · Mean Squared Error = (1/m) ∑_i(ŷ⁽ⁱ⁾ − y⁽ⁱ⁾)²

위 강의 식은 MSE의 1/2입니다. 양의 상수배이므로 최소값을 만드는 parameter는 같지만, gradient의 크기는 달라집니다.

학습 완료

Loss, Cost와 학습 목표

핵심

용어	이해하기 쉬운 구분
Loss function · 손실 함수	한 예측이 정답과 얼마나 다른지 측정하는 함수
Cost / Objective function · 비용·목적 함수	여러 sample의 loss를 모아 최적화하는 함수
학습 목표	Training data에서 J(θ)를 작게 만드는 θ를 찾기

강의에서는 Cost와 Loss를 함께 쓰기도 합니다. 중요한 것은 parameter가 바뀌면 prediction이 바뀌고, 그에 따라 loss가 바뀐다는 연결입니다. 일반적인 scalar objective는 숫자 하나이며, 출력이 여러 개여도 loss를 합치거나 평균내어 scalar로 만들 수 있습니다.

학습 완료

간단 계산: Hypothesis → Cost

핵심

θ₀=1, θ₁=2이고 데이터가 (x,y)=(1,2), (2,5)라고 해보겠습니다.

x	y	ŷ=1+2x	(ŷ−y)²
1	2	3	1
2	5	5	0

m=2 → J = (1+0)/(2×2) = 0.25

Hypothesis에 x를 넣어 예측하고, 그 예측을 정답과 비교해야 합니다. y 자체를 모델의 입력으로 넣는 것이 아닙니다.

학습 완료

Gradient Descent와 Convexity

핵심

θ_j ← θ_j − α ∂J/∂θ_j

Gradient Descent(경사하강법)는 cost가 증가하는 gradient의 반대 방향으로 parameter를 이동합니다. α는 Learning rate(학습률)입니다.

선형회귀의 squared-error cost는 Convex(볼록)하므로 더 나쁜 local minimum에 갇히는 문제가 없습니다. 다만 적절한 학습률이 있어야 수렴하며, feature들이 중복되는 등 조건에 따라 최소점을 만드는 parameter가 여러 개일 수도 있습니다.

“Convex이면 어떤 학습률로도 항상 수렴한다”는 틀립니다. 또한 신경망 전체의 loss는 일반적으로 convex라고 할 수 없습니다.

학습 완료

두 Parameter는 동시에 업데이트

핵심

∂J/∂θ₀ = (1/m) ∑_i(ŷ⁽ⁱ⁾ − y⁽ⁱ⁾)

∂J/∂θ₁ = (1/m) ∑_i(ŷ⁽ⁱ⁾ − y⁽ⁱ⁾)x⁽ⁱ⁾

두 gradient 모두 동일한 기존 θ₀, θ₁에서 계산합니다. 임시 변수에 새 값들을 저장한 다음 함께 바꿉니다. θ₀를 먼저 바꾸고 새 θ₀로 θ₁의 gradient를 계산하면 원래의 동시 업데이트와 달라집니다.

학습 완료

LECTURE 05

선형회귀 복습과 구현 흐름

Python 문법보다 학습 루프가 하는 일을 연결하세요.

Lecture05.pdf · pp. 4–8

선형회귀 학습 루프

핵심

① Predict② Compute loss③ Compute gradients④ Update parameters

현재 w,b로 예측값을 계산하고 → 실제 정답과 비교해 cost를 구하고 → cost를 각 parameter로 미분하고 → learning rate만큼 이동합니다. 이 과정을 반복하며 학습합니다.

repeat:
    prediction = w * x + b
    error = prediction - y
    grad_w = mean(error * x)
    grad_b = mean(error)
    w, b = w - alpha * grad_w, b - alpha * grad_b

J=mean(error²)/2인 경우의 의사 코드입니다. NumPy 문법을 외우기 위한 코드가 아닙니다.

학습 완료

이 단계에서 구별할 것

핵심

개념	역할
Model / Hypothesis	x에서 ŷ를 계산
Cost function	ŷ와 y의 차이를 평가
Gradient	각 parameter 변화가 cost에 주는 영향을 계산
Optimizer / Update rule	gradient를 이용해 parameter를 변경

Learning rate는 기본적인 forward prediction이나 loss 식에 직접 들어가는 값이 아닙니다. Parameter를 바꾸는 크기를 정합니다. 과거의 learning rate 선택이 현재 parameter와 loss에 간접적으로 영향을 줄 수는 있습니다.

학습 완료

LECTURE 06

다변수·다항회귀와 과적합

Feature를 늘리는 것과 모델 복잡도를 높이는 것의 효과.

Lecture06.pdf · pp. 4–17

Multiple features · 여러 입력 특성

핵심

h_θ(x) = θ₀ + θ₁x₁ + θ₂x₂ + … + θ_nx_n

집값을 면적 하나로만 예측하는 대신 방 수·층수·위치 등을 함께 사용합니다. n개 feature + bias 1개라면 선형회귀 parameter는 n+1개입니다.

x_j⁽ⁱ⁾는 i번째 sample의 j번째 feature입니다. 예제 개수 m과 feature 개수 n을 구별하세요. x₀=1을 추가하면 θ₀도 다른 weight처럼 묶어 쓸 수 있습니다.

학습 완료

Polynomial regression · 다항회귀

핵심

ŷ = θ₀ + θ₁x + θ₂x² + θ₃x³

x, x², x³를 서로 다른 feature처럼 사용하면 곡선 형태의 관계를 표현할 수 있습니다. x에 대해서는 비선형이지만 parameter θ에 대해서는 선형입니다. 따라서 이 식은 여전히 linear regression의 틀로 학습할 수 있습니다.

“그래프가 곡선이므로 parameter에 대해서도 반드시 비선형이다”는 틀립니다. 모델의 차수가 커질수록 표현력은 커지지만, test 성능이 반드시 좋아지는 것은 아닙니다.

학습 완료

Underfitting / Good fit / Overfitting

핵심

상태	의미	전형적인 오차 패턴
Underfitting · 과소적합	모델이 너무 단순해 기본 패턴도 충분히 학습하지 못함	Training error 높음 / Test error도 높음
Good fit · 적절한 적합	의미 있는 패턴을 학습하여 새 데이터에도 적용	Training과 Test에서 모두 적절한 성능
Overfitting · 과적합	Training data의 잡음·우연한 특징까지 맞춤	Training error 낮음 / Test error는 상대적으로 큼

Generalization(일반화)은 학습에 쓰지 않은 새로운 데이터에서도 잘 예측하는 능력입니다. Training loss가 작다는 사실만으로 일반화 성능을 보장하지 않습니다.

학습 완료

Regularization · 정규화와 과적합 완화

핵심

J_regularized = Data loss + λ × Complexity penalty

예: J = (1/2m)∑_i(ŷ⁽ⁱ⁾−y⁽ⁱ⁾)² + (λ/2m)∑_j=1ⁿθ_j²

큰 weight에 penalty(벌점)를 주어 지나치게 복잡한 모델을 억제하는 L2 regularization 예시입니다. 보통 위 식에서는 bias θ₀를 penalty에서 제외합니다.

λ가 작으면: 규제 효과가 약해집니다.
λ가 지나치게 크면: weight가 너무 억제되어 underfitting이 생길 수 있습니다.
대응 방법: 불필요한 feature를 줄이거나 더 단순한 모델을 선택하고, 적절한 regularization을 적용합니다. 더 다양하고 유효한 training data도 도움이 될 수 있습니다.

Regularization(모델 복잡도 규제)과 Normalization(데이터 값의 스케일 조정)은 영어가 비슷해도 역할이 다릅니다.

학습 완료

LECTURE 07

분류와 확률적 인식

범주를 예측하는 방법과, 확률을 바라보는 두 관점.

Lecture07.pdf · pp. 4–25

Classification / Binary classification

핵심

Classification(분류)은 이산적인 class를 예측합니다. Class가 두 개이면 Binary classification(이진 분류), 세 개 이상이면 Multi-class classification(다중 클래스 분류)입니다.

질문	문제 종류
성적이 주어졌을 때 장학금을 줄 것인가?	수혜 / 비수혜 → Binary classification
성적이 주어졌을 때 장학금 액수는 얼마인가?	연속적인 금액 → Regression
이미지가 고양이·개·말 중 무엇인가?	Multi-class classification

앞서 본 장학금 기출의 문맥에서는 classification, binary classification, concept learning이 모두 해당한다는 선택지가 정답이었습니다. Concept learning은 어떤 개념에 속하는지의 yes/no 판정을 학습한다는 뜻으로 연결하세요.

학습 완료

Statistical recognition의 세 단계

핵심

단계	하는 일
Representation · 표현	이미지·객체를 계산 가능한 feature vector(특성 벡터)로 표현
Learning · 학습	Training set으로 모델의 parameters 추정
Classification / Recognition · 분류·인식	학습한 모델을 새로운 test data에 적용

이미지 원본을 그대로 쓰더라도 계산 과정에서는 픽셀값 등 숫자로 표현해야 합니다. 학습에 사용한 데이터와 성능 평가용 test data의 역할을 구분하세요.

학습 완료

Prior / Likelihood / Posterior

핵심

표현	이름	말로 읽기
p(zebra)	Prior · 사전확률	이미지를 보기 전 얼룩말일 확률
p(image \| zebra)	Likelihood · 가능도	얼룩말이라고 가정했을 때 이 이미지가 관찰될 정도
p(zebra \| image)	Posterior · 사후확률	이 이미지를 관찰한 후 얼룩말일 확률
p(image)	Evidence · 증거·주변확률	해당 이미지 관측의 주변확률

p(y | x) = p(x | y) p(y)p(x)

조건부 기호 |의 오른쪽이 이미 주어진 정보입니다. 이미지 x를 보고 class y를 판단하면 p(y|x)이므로 posterior입니다. Likelihood는 같은 p(x|y)를 관측 x가 주어진 상황에서 y에 대한 함수로 보는 표현입니다.

학습 완료

Generative와 Discriminative

핵심

접근	무엇을 학습하나요?	분류에 사용하는 방법
Generative · 생성적	p(x\|y), p(y) 또는 Joint distribution p(x,y)	Bayes rule로 p(y\|x)를 구해 비교
Discriminative · 판별적	p(y\|x)를 직접 모델링하거나 decision boundary를 학습	입력에서 바로 class 또는 점수 예측

Discriminative model이 모두 확률을 직접 출력하는 것은 아닙니다. 예를 들어 기본 SVM은 decision score와 boundary를 학습합니다. Generative는 “항상 이미지를 생성하는 모델”이라는 뜻만으로 외우지 마세요.

학습 완료

Nearest Neighbor와 k-NN

세부·보충

Nearest Neighbor(최근접 이웃)는 test point와 가장 가까운 training example의 label을 사용합니다. k-NN · k-Nearest Neighbors는 가까운 k개의 이웃을 보고 다수결 등으로 예측합니다.

k가 작을 때	k가 클 때
국소적인 모양을 잘 반영하지만 잡음에 민감할 수 있음	결정 경계가 부드러워지지만 너무 크면 중요한 차이를 놓칠 수 있음

거리 측정 방식과 feature의 스케일이 결과에 영향을 줍니다. 예: 가까운 3개 label이 [cat, dog, cat]이면 단순 다수결 결과는 cat입니다.

학습 완료

LECTURE 08

Support Vector Machine

Margin을 최대로 만드는 분류 경계.

Lecture08.pdf · pp. 5–11

SVM · Support Vector Machine의 목적

핵심

Decision boundary: wᵀx + b = 0

Hyperplane(초평면)은 차원이 높을 때의 선형 결정 경계입니다. 2차원에서는 직선, 3차원에서는 평면입니다. SVM은 양성과 음성 사이에서 Margin(여유 폭)을 최대화하는 hyperplane을 찾습니다.

Support vectors(서포트 벡터)는 기본적인 hard-margin 도식에서 경계에 가장 가까워 margin을 결정하는 training points입니다. 경계에서 가장 먼 점이라는 설명은 틀립니다.

학습 완료

Margin 수식과 Support vector

세부·보충

Positive: wᵀx+b ≥ 1　 /　 Negative: wᵀx+b ≤ −1

Support vector: wᵀx+b = ±1

Distance to boundary = |wᵀx+b| / ‖w‖

전체 Margin width = 2 / ‖w‖

위 식은 선형 분리 가능한 hard-margin SVM의 표준 스케일을 사용합니다. 한쪽 경계까지의 거리는 1/‖w‖, 양쪽 사이의 전체 폭은 2/‖w‖입니다. 이 정규화된 조건에서 margin을 넓히는 것은 ‖w‖를 작게 만드는 것과 연결됩니다.

학습 완료

Non-linear SVM · 비선형 SVM

핵심

Original space x → Feature mapping φ(x) → Higher-dimensional space

원래 공간에서 직선으로 나누기 어려운 데이터를 더 높은 차원의 feature space로 보내 선형 경계를 찾는 아이디어입니다. 예를 들어 x 하나에 x²를 추가하면 1차원에서 분리하기 어렵던 패턴이 2차원에서 분리될 수 있습니다.

Kernel(커널)은 변환된 공간의 내적을 효율적으로 계산하는 방식과 연결됩니다. 이 수업에서는 우선 “더 높은 차원으로 mapping하여 분리”라는 핵심을 기억하세요.

고차원으로 옮긴다고 모순된 label이나 어떤 데이터든 자동으로 완벽히 분리되는 것은 아닙니다. 핵심은 적절한 feature 표현을 찾는다는 아이디어입니다.

학습 완료

Multi-class: One-vs-All과 One-vs-One

핵심

방법	훈련 구성	K개 class일 때	5개 class 예
One-vs-All / One-vs-Rest / One-vs-Others	각 class vs 나머지 전체	K개 classifier	5개
One-vs-One	서로 다른 class의 모든 쌍	K(K−1)/2개 classifier	10개

One-vs-All은 각 모델의 decision value를 비교해 class를 고릅니다. One-vs-One은 각 쌍의 모델이 투표하는 방법을 쓸 수 있습니다.

Class 수 K 5

One-vs-All5개

One-vs-One10개

학습 완료

SVM의 장단점

세부·보충

장점: 유연한 kernel framework를 사용하고 비교적 작은 training set에서도 좋은 성능을 보일 수 있습니다.

한계: 강의에서 소개한 multi-class 구성은 여러 binary SVM을 조합합니다. 대규모 데이터에서는 kernel 계산에 많은 시간과 메모리가 필요할 수 있습니다.

학습 완료

LECTURE 09

Perceptron과 MLP

하나의 뉴런에서 다층 신경망으로.

Lecture09.pdf · pp. 9–48

Perceptron · 퍼셉트론의 구성

핵심

z = ∑_i=1ⁿwᵢxᵢ + b　 →　 a = f(z)

요소	역할
Inputs xᵢ	들어오는 feature 또는 앞 층의 출력
Weights wᵢ	각 입력의 영향력을 조절
Bias b	입력과 무관하게 pre-activation을 이동
Weighted sum z	가중합. Activation을 적용하기 전 값
Activation function f	가중합을 출력 a로 바꾸는 함수

고전적 perceptron은 Step / Sign function을 사용하며, 강의는 sigmoid 등으로 일반화한 신경망 unit도 함께 설명합니다. Loss function은 이 unit 자체의 forward 구성요소가 아니라 학습 중 예측을 평가하는 함수입니다.

학습 완료

Activation functions · 활성화 함수

핵심

함수	식·출력 범위	핵심 특징
Linear / Identity	f(z)=z	비선형성을 추가하지 않음
Step · 계단 함수	임계값 기준 0/1 등	불연속이어서 일반적인 gradient 학습에 부적합
Sigmoid · 시그모이드	σ(z)=1/(1+e^−z), 0<σ<1	확률 형태 출력과 연결, 양 끝에서 기울기가 작아짐
ReLU · Rectified Linear Unit	f(z)=max(0,z)	음수는 0, 양수는 그대로

Sigmoid

ReLU

σ′(z)=σ(z)[1−σ(z)]. ReLU′(z)는 z>0에서 1, z<0에서 0입니다. z=0에서는 수학적으로 미분 불가능하며 구현에서는 보통 0 같은 값을 정합니다.

학습 완료

XOR / XNOR와 비선형 결정 경계

핵심

x₁	x₂	XOR	XNOR
0	0	0	1
0	1	1	0
1	0	1	0
1	1	0	1

XOR는 입력이 다를 때 1이고 XNOR는 같을 때 1입니다. 두 문제 모두 원래의 두 입력 공간에서는 직선 하나로 class를 나눌 수 없습니다. 따라서 기본 입력을 받는 단일 선형 결정 unit으로는 해결할 수 없습니다.

해결의 핵심은 Hidden layer + Non-linear activation입니다. MLP라는 이름만 있고 모든 activation이 linear이면 표현력이 충분해지지 않습니다.

학습 완료

MLP · Multi-Layer Perceptron

핵심

Input layer는 입력을 받으며, Hidden layers(은닉층)는 중간 표현을 만들고, Output layer는 최종 예측을 출력합니다. Fully connected / Dense(완전연결)에서는 앞 층의 각 unit이 다음 층의 모든 unit에 연결됩니다.

a^(ℓ) = f(W^(ℓ)a^(ℓ−1) + b^(ℓ))

괄호 없는 층 번호 ℓ와 sample 번호 i가 등장할 수 있으므로 문맥을 확인하세요. Input의 각 숫자는 trainable perceptron이 아닙니다. 층 수를 셀 때 input을 포함하는지 문제의 convention도 확인해야 합니다.

학습 완료

왜 Non-linear activation이 필요한가요?

핵심

W₂(W₁x+b₁)+b₂ = (W₂W₁)x + (W₂b₁+b₂)

위 식처럼 affine layer를 여러 번 쌓아도 중간 activation이 모두 linear이면 결국 하나의 affine mapping으로 합쳐집니다. 여러 층으로 복잡한 비선형 관계를 표현하려면 중간에 비선형 activation이 필요합니다.

학습 완료

Neuron·Weight·Bias 개수 계산

핵심

층 n_in → n_out: Weights=n_inn_out, Biases=n_out

완전연결 3 → 4 → 2 구조를 가정하면:

구간	Weights	Biases
Input → Hidden	3×4=12	4
Hidden → Output	4×2=8	2
합계	20	6

총 learnable parameters=26개, input을 제외한 계산 unit은 4+2=6개입니다. Bias를 쓰지 않는다고 명시하면 bias는 세지 않습니다.

직접 바꿔보기 · Hidden layer 1개, Bias 포함

InputHiddenOutput

Weights 20 + Biases 6 = 총 26개

학습 완료

LECTURE 10

Gradient Descent와 Backpropagation

미분으로 영향력을 구하고, 반대 방향으로 업데이트합니다.

Lecture10.pdf · pp. 4–21

Partial derivative와 Gradient

핵심

용어	의미
Derivative · 도함수·미분값	입력이 조금 변할 때 함수 출력이 얼마나 변하는지
Partial derivative · 편미분 ∂L/∂wᵢ	다른 변수를 고정하고 특정 변수 하나의 영향을 계산
Gradient · 기울기 벡터 ∇L	각 parameter에 대한 편미분을 모은 벡터

∇_θL = [∂L/∂θ₁, ∂L/∂θ₂, …]

Gradient는 loss의 가장 가파른 증가 방향입니다. 최소화할 때는 그 반대 방향으로 움직입니다. Gradient가 양수이면 parameter를 줄이고, 음수이면 늘립니다.

학습 완료

Learning rate와 업데이트 계산

핵심

w_new = w_old − α(∂L/∂w)

조건	업데이트 결과
w=2, α=0.1, ∂L/∂w=+3	2−0.1×3=1.7
w=2, α=0.1, ∂L/∂w=−3	2−0.1×(−3)=2.3

α가 너무 작음: 한 번에 움직이는 폭이 작아 학습이 느릴 수 있습니다.
α가 너무 큼: Overshoot(최소점 지나침), 진동, Divergence(발산)가 생길 수 있습니다.
gradient=0: 그 순간 GD의 업데이트는 0입니다. 일반적인 비볼록 함수에서는 global minimum이라는 보장이 없습니다.

학습 완료

학습률을 바꾸면 어떤 일이 생기나요?

세부·보충

예시 함수 J(w)=w²/2, 시작점 w=4입니다. ∂J/∂w=w이므로 업데이트는 w←(1−α)w가 됩니다.

Learning rate α 0.30

이 특정 함수는 0<α<2에서 수렴하며 α=2에서는 진동하고 α>2에서는 발산합니다. 이 숫자 범위가 모든 모델에 그대로 적용되는 것은 아닙니다.

학습 완료

Backpropagation은 무엇을 하나요?

핵심

Backpropagation(오차 역전파)은 computational graph(계산 그래프)를 따라 출력 loss에서 입력 쪽으로 이동하며 각 parameter에 대한 gradient를 효율적으로 계산하는 방법입니다. 수학적 핵심은 Chain rule(연쇄 법칙)입니다.

순서	역할
Forward pass · 순전파	현재 parameters로 ŷ와 중간값 계산
Compute loss	예측과 정답을 비교해 L 계산
Backward pass · 역전파	Chain rule로 ∂L/∂w, ∂L/∂b 계산
Gradient update	Optimizer가 learning rate를 사용해 w,b 변경

Backpropagation은 gradient를 계산하고, Gradient Descent는 그 gradient를 이용해 parameter를 업데이트합니다. 둘을 같은 작업으로 외우지 마세요.

학습 완료

가장 작은 모델에서의 Chain rule

핵심

ŷ=wx,　L=½(ŷ−y)²

∂L/∂w = (∂L/∂ŷ)(∂ŷ/∂w) = (ŷ−y)x

예: x=2, y=5, w=1이라면 ŷ=2이고 ∂L/∂w=(2−5)×2=−6입니다. α=0.1이면 w는 1−0.1×(−6)=1.6이 됩니다.

Bias가 있다면 ŷ=wx+b에서 ∂L/∂b=ŷ−y입니다. Loss에 1/2를 쓰지 않는 정의라면 gradient에 2가 추가되므로 문제에 주어진 loss 정의를 먼저 확인하세요.

학습 완료

LECTURE 11

MLP의 학습과 분류

여러 층의 Chain rule, 분류용 Loss, 데이터와 학습 단위.

Lecture11.pdf · pp. 4–45

두 층을 통과하는 Chain rule

핵심

z₁=w₁x+b₁ → a₁=f(z₁) → z₂=w₂a₁+b₂ → ŷ=g(z₂) → L

∂L/∂w₂ = (∂L/∂ŷ) · g′(z₂) · a₁

∂L/∂w₁ = (∂L/∂ŷ) · g′(z₂) · w₂ · f′(z₁) · x

w₂에서 loss까지의 경로를 따라 각 local derivative(국소 미분)를 곱합니다. w₁은 더 앞쪽에 있으므로 w₂와 hidden activation의 미분을 추가로 거칩니다. 경로가 여러 갈래로 나뉘면 각 경로의 기여를 더합니다.

∂z₂/∂w₂=a₁이고, ∂z₂/∂a₁=w₂입니다. 무엇에 대해 미분하는지에 따라 결과가 달라집니다. 가중치 자신의 미분 경로에 무조건 그 가중치를 곱하는 것이 아닙니다.

학습 완료

분류의 Output: Sigmoid, Softmax, One-hot

핵심

문제	전형적인 출력	Target 표현
Binary classification	Sigmoid로 p(y=1\|x) 하나	0 또는 1
서로 배타적인 K-class classification	Softmax로 K개 확률, 합=1	Class index 또는 One-hot vector

Softmax(z)_k = e^z_k / ∑_je^z_j

One-hot encoding(원-핫 인코딩): 세 class가 [cat, dog, horse]일 때 dog의 target은 [0,1,0]입니다. 세 숫자 각각이 class 하나에 대응합니다. 확률 출력의 argmax(가장 큰 원소의 위치)를 최종 class로 선택할 수 있습니다.

One-hot은 기출과 연결되는 보충 표기입니다. Softmax 식은 강의의 다중 분류 확률 출력을 이해하기 위한 표준 표현입니다.

학습 완료

Regression과 Classification의 Loss

핵심

문제	대표 Loss	Sample 하나 기준 식
Regression	MSE · Mean Squared Error	(ŷ−y)² 또는 그 평균
Binary classification	BCE · Binary Cross Entropy	−[y ln p + (1−y) ln(1−p)]
Multi-class classification	CCE · Categorical Cross Entropy	−∑_k y_k ln p_k

One-hot target이면 CCE는 −ln(정답 class의 예측 확률)로 간단해집니다. 정답 확률이 높을수록 loss가 작습니다. 예: 정답 확률 0.8이면 약 0.223, 0.1이면 약 2.303입니다.

“출력이 K개이므로 최종 loss도 반드시 K차원 벡터다”는 틀립니다. Class별 항을 합쳐 sample당 scalar loss로 만들 수 있습니다.

학습 완료

Train / Validation / Test

핵심

데이터	역할	무엇을 결정하나요?
Training set	Loss와 gradient로 weights,biases 학습	학습되는 parameters
Validation set	모델·설정 선택과 성능 비교	Hyperparameters, 모델 선택
Test set	선택이 끝난 모델의 최종 일반화 성능 평가	최종 보고용 평가

강의 예시는 80% / 10% / 10%입니다. 이는 하나의 예시 비율이며 고정 법칙은 아닙니다. Test 결과를 반복적으로 보고 설정을 고르면 test data가 사실상 모델 선택에 사용되는 문제가 생깁니다.

학습 완료

Preprocessing과 Hyperparameters

핵심

구분	예시	의미
Preprocessing · 전처리	Normalization	입력값의 범위를 조정해 학습을 돕기
Data augmentation · 데이터 증강	이미지 회전·이동 등	Label 의미를 유지하는 변환으로 training 예제의 다양성 증가
Learnable parameters	Weights, Biases	학습 중 gradient로 갱신
Hyperparameters · 하이퍼파라미터	Learning rate, 층 수, Hidden dimension, Batch size, Epoch 수	모델 구조·학습 방법을 정하는 설정

Batch size나 learning rate는 모델이 일반적인 weight처럼 backpropagation으로 직접 학습하는 값이 아닙니다. 입력 정규화와 L2 regularization도 서로 다른 개념입니다.

학습 완료

Batch GD / SGD / Mini-batch GD

핵심

방식	업데이트 1회에 쓰는 sample 수	특징
Batch Gradient Descent	전체 training set m개	Gradient가 안정적이지만 1회 계산·메모리 부담이 큼
SGD · Stochastic Gradient Descent	엄밀한 구분에서는 1개	자주 업데이트하지만 gradient의 변동이 큼
Mini-batch Gradient Descent	일부 B개	계산 효율과 gradient 변동 사이의 절충

실무에서는 mini-batch 방식의 optimizer도 SGD라고 부르기도 합니다. 이 강의의 비교에서는 전체 / 1개 / 일부의 세 구분으로 기억하세요.

학습 완료

Epoch / Iteration / Batch size 계산

핵심

용어	정확한 의미
Epoch · 에포크	전체 training set을 한 바퀴 사용하는 것
Iteration / Step · 반복·스텝	여기서는 미니배치 하나로 parameter를 1회 업데이트
Batch size B	업데이트 한 번에 사용하는 sample 수

마지막 작은 batch도 사용: Steps per epoch = ⌈m/B⌉

Total steps = Epochs × ⌈m/B⌉

예: m=1,000, B=100, 5 epochs이면 한 epoch에 10회, 총 50회 업데이트합니다. m=1,050이면 마지막 50개짜리 batch도 사용할 때 한 epoch에 11회입니다. 마지막 batch를 버리도록 설정했다면 내림을 사용합니다.

Batch GD는 1 epoch당 1 step, sample을 하나씩 쓰는 SGD는 1 epoch당 m steps입니다. “1 epoch = 1 iteration”은 모든 학습 방식에 공통인 정의가 아닙니다.

학습 완료

COMPARE

헷갈리는 개념 비교

시험에서 표현이 비슷해도 역할은 다릅니다.

혼동하기 쉬운 짝 모음

핵심

구분	A	B
Prediction vs Target	ŷ: 모델이 예측한 값	y: 실제 정답
Parameter vs Hyperparameter	w,b: 학습 중 바뀜	α, Batch size 등: 학습 설정
Forward vs Backward	출력과 loss 계산	각 parameter의 gradient 계산
Backprop vs Gradient Descent	미분값을 효율적으로 구하는 방법	그 값을 이용해 parameter를 옮기는 방법
Classification vs Clustering	미리 정해진 class label 예측	라벨 없이 유사한 그룹 찾기
Regression vs Classification	연속 수치	이산 범주
Regularization vs Normalization	모델 복잡도에 제약·벌점	입력 데이터 등의 스케일 조정
Weight vs Gradient	모델을 정하는 현재 parameter 값	그 값에 대한 loss의 변화율
Loss vs Learning rate	예측 오차를 측정하는 목적함수	parameter 업데이트 크기
Likelihood vs Posterior	p(x\|y): class를 가정한 관측	p(y\|x): 관측 후 class 확률

학습 완료

FINAL REVIEW

시험 전 핵심 회독

아래 문장을 보고 이유까지 짧게 설명할 수 있는지 확인하세요.

핵심 문장 20개

핵심

AI ⊃ ML ⊃ DL이며, SVM은 ML이지만 DL은 아닙니다.
Supervised는 label, Unsupervised는 label 없는 구조, RL은 reward, Self-supervised는 데이터에서 구성한 target을 사용합니다.
Classification은 class, Regression은 연속 수치를 예측합니다.
Hypothesis는 예측 함수, Cost는 오차를 평가하는 함수입니다.
h_θ(x)=θ₀+θ₁x에서 θ₀=b, θ₁=w입니다.
Gradient Descent는 현재 parameter에서 gradient의 반대 방향으로 이동합니다.
동시 업데이트의 gradient는 모두 같은 기존 parameter를 기준으로 계산합니다.
Learning rate가 너무 크면 overshoot나 발산이 생길 수 있습니다.
Polynomial regression은 x에 대해 곡선이어도 θ에 대해 선형일 수 있습니다.
낮은 training loss만으로 일반화 성능을 보장하지 않습니다. Regularization은 과적합 완화에 쓰입니다.
p(y|x)는 posterior, p(x|y)는 likelihood, p(y)는 prior입니다.
Generative는 데이터 분포를, Discriminative는 posterior 또는 결정 경계를 학습합니다.
SVM은 margin을 최대화하는 hyperplane을 찾습니다.
K-class에서 One-vs-All은 K개, One-vs-One은 K(K−1)/2개 classifier입니다.
Perceptron은 weighted sum과 activation으로 출력을 만듭니다. Loss는 unit 자체의 forward 구성요소가 아닙니다.
XOR/XNOR에는 원래 입력 공간의 단일 선형 경계로 충분하지 않습니다. 비선형 hidden representation이 필요합니다.
Linear activation만 쌓으면 affine transformation 하나로 합쳐지므로 깊이만 늘려도 비선형성이 생기지 않습니다.
Fully connected n→k는 weights nk개, biases k개입니다.
Backpropagation은 chain rule로 gradient를 계산하며, optimizer는 그 값을 이용해 업데이트합니다.
Regression은 MSE, Binary classification은 BCE, Multi-class classification은 CCE가 대표적입니다. Epoch와 step을 구분하세요.

학습 완료

계산 문제를 푸는 순서

핵심

유형	풀이 순서
예측·Cost 계산	Hypothesis에 x 대입 → ŷ−y → 제곱 → 합 → 문제의 계수 적용
GD 한 번 업데이트	기존 parameter 확인 → gradient 부호 확인 → α를 곱해 빼기
MLP Parameter 수	층별 연결 수를 곱해 합산 → bias가 있는 출력 unit 수 추가
Backprop 미분	Loss까지의 경로 찾기 → 각 구간 편미분 곱 → 여러 경로이면 합
Multi-class SVM	OvA인지 OvO인지 확인 → K 또는 K(K−1)/2
학습 Step 수	m,B,Epoch 확인 → 1 epoch당 batch 개수 → Epoch 수 곱

학습 완료

REFERENCE

용어·약어 사전

영어 표현, 전체 이름, 한국어 의미를 한곳에서 확인하세요.

Glossary

핵심

Term	Full name	뜻
AI	Artificial Intelligence	인공지능
ML	Machine Learning	머신러닝·기계학습
DL	Deep Learning	딥러닝
RL	Reinforcement Learning	강화학습
LLM	Large Language Model	대규모 언어 모델
NLP	Natural Language Processing	자연어 처리
SVM	Support Vector Machine	서포트 벡터 머신
k-NN	k-Nearest Neighbors	k-최근접 이웃
MLP	Multi-Layer Perceptron	다층 퍼셉트론
ReLU	Rectified Linear Unit	정류 선형 유닛
MSE	Mean Squared Error	평균 제곱 오차
BCE	Binary Cross Entropy	이진 교차 엔트로피
CCE	Categorical Cross Entropy	범주형 교차 엔트로피
GD	Gradient Descent	경사하강법
SGD	Stochastic Gradient Descent	확률적 경사하강법
OvA / OvR	One-vs-All / One-vs-Rest	각 class 대 나머지
OvO	One-vs-One	class의 모든 쌍
Feature	—	입력 특성
Target / Label	—	예측 목표·정답
Hypothesis	—	예측 함수·가설
Parameter	—	학습되는 매개변수
Hyperparameter	—	모델·학습의 설정값
Activation	—	가중합을 출력으로 바꾸는 활성화 함수
Gradient	—	각 parameter에 대한 편미분의 벡터
Chain rule	—	합성함수 미분의 연쇄 법칙
Backpropagation	—	오차 역전파
Generalization	—	새 데이터에 대한 일반화
Overfitting	—	과적합
Underfitting	—	과소적합
Regularization	—	모델 복잡도에 제약을 가하는 정규화
Normalization	—	입력값 등의 스케일 조정
Margin / Hyperplane	—	경계 사이 여유 폭 / 초평면
Prior / Posterior	—	사전확률 / 사후확률
Likelihood	—	가능도
Epoch / Iteration	—	데이터 전체 1회 학습 / 업데이트 1회

학습 완료

SOURCE NOTES

강의자료와 정리 기준

Lecture 1~11 강의자료와 앞서 공부한 내용을 바탕으로 구성했습니다.

원본 강의자료

세부·보충

자료	이 정리본의 주제
Lecture01.pdf ↗	AI 모델과 데이터
Lecture02.pdf ↗	AI의 정의와 관점
Lecture03.pdf ↗	ML의 분류 체계
Lecture04.pdf ↗	선형회귀와 Cost Function
Lecture05.pdf ↗	선형회귀 복습과 구현 흐름
Lecture06.pdf ↗	다변수·다항회귀와 과적합
Lecture07.pdf ↗	분류와 확률적 인식
Lecture08.pdf ↗	Support Vector Machine
Lecture09.pdf ↗	Perceptron과 MLP
Lecture10.pdf ↗	Gradient Descent와 Backpropagation
Lecture11.pdf ↗	MLP의 학습과 분류

학습 완료

범위와 보충 설명

세부·보충

강의의 이론·분류 체계·학습 절차를 중심으로 재구성했습니다. 역사와 사례는 연결을 이해할 정도로 압축하고, 계산 예시·비교 표·인터랙션은 이해를 돕기 위해 새로 만들었습니다. 강의가 그림으로 설명하는 개념은 표준 수식과 말로 풀었습니다.

Convex cost, SVM의 feature mapping, Epoch 계산 등은 과도하게 일반화하기 쉬워 적용 조건도 덧붙였습니다. 이 문서는 강의자료 원문이나 모든 슬라이드의 전사가 아니며, 교수님의 별도 시험 공지가 있다면 그 공지를 우선하세요.

학습 완료