• 컴퓨터/IT > 컴퓨터공학 > 알고리즘/자료구조

• [시리즈] I♥A.I. 인공지능 시리즈(아이러브A.I.) [16]

반디앤루니스 리뷰

여러 형태의 과업을 해결하기 위한 패턴 분류 알고리즘부터 최소제곱 학습으로 배우는 최첨단 머신러닝 학습 기법까지!

최첨단 머신러닝 학습 기법의 대부분은 사실 고전적인 최소제곱 학습의 확장으로 해석할 수 있다. 이 책은 이런 관점에서 다양한 학습 기법을 최소제곱 학습에 기초하여 소개한다. 따라서 최소제곱 학습만 확실히 이해해 둔다면, 중간 규모 정도의 데이터에 대한 고도의 학습 기법을 적용할 수 있다.

출판사 리뷰

이 책의 주요 내용 ● 1부: 시작하며 지도 학습 / 비지도 학습 / 강화 학습 ● 2부: 지도 학습 기반 회귀 최소제곱 학습 / 제약 최소제곱 학습 /희소 학습 / 로버스트 학습 ● 3부: 지도 학습 기반 분류 서포트 벡터 분류기 / 앙상블 분류 / 배깅과 부스팅 / 로지스틱 회귀 / 최소제곱 확률적 분류기 / 조건부 확률장 ● 4부: 비지도 학습 비지도 학습 기법 / 차원 축소 기법 / 클러스터링 기법 ● 5부: 심화 학습 순차적 학습 기법 / 반지도 학습 기법 / 지도 학습 기반의 ... 이 책의 주요 내용 ● 1부: 시작하며 지도 학습 / 비지도 학습 / 강화 학습 ● 2부: 지도 학습 기반 회귀 최소제곱 학습 / 제약 최소제곱 학습 /희소 학습 / 로버스트 학습 ● 3부: 지도 학습 기반 분류 서포트 벡터 분류기 / 앙상블 분류 / 배깅과 부스팅 / 로지스틱 회귀 / 최소제곱 확률적 분류기 / 조건부 확률장 ● 4부: 비지도 학습 비지도 학습 기법 / 차원 축소 기법 / 클러스터링 기법 ● 5부: 심화 학습 순차적 학습 기법 / 반지도 학습 기법 / 지도 학습 기반의 차원 축소 기법 / 전이 학습 기법 / 멀티 태스크 학습 기법

제약 최소제곱 학습과 교차 확인법을 함께 사용하는 것은 실제 응용에서 매우 유용한 회귀 방법이다. 그러나 파라미터 수가 많으면, 해나 학습한 함수의 출력값을 계산하는 데 시간이 많이 걸리는 문제가 있다. 이번 장에서는 파라미터의 대부분이 0으로 학습되는 것이 특징인 희소 학습을 소개한다. 파라미터 대부분이 0이 되므로 해나 학습한 함수의 출력을 빠르게 계산하는 데 도움이 된다.
_44쪽

실제 문제에서 대규모의 훈련 표본을 다룰 때에는 많든 적든 어느 정도의 이상값이 포함되어 있
다고 보는 것이 당연하다. 이 때문에 최소제곱 학습은 이런 경우에는 신뢰성이 낮다고 할 수 있
다. 통계학이나 머신러닝 분야에서는 이상값에 대한 견고성(안정성)을 로버스트성(robustness)이라고 부른다. 훈련 표본에 이상값이 섞여 있을 때에는 이상값을 처음부터 제거하고 학습을 실시하거나 이상값을 그대로 둔 채 영향을 덜 받는 방향으로 학습을 수행하는 것이 바람직하다. 전자에 해당하는 이상값 소거에 대해서는 12장에서 설명하도록 하고, 이번 장에서는 이상값에 대해 높은 안정성을 갖는 로버스트 학습을 소개하겠다.
_56쪽

여기까지 2 클래스 패턴 인식 문제를 중심으로 살펴보았다. 그러나 알파벳 문자 인식의 예만 보아도 26 클래스나 되며, 한자 인식 문제는 클래스 수가 적게는 수백, 많게는 수천에 이른다. 다중 클래스 패턴 인식 문제를 푸는 직접적인 방법은 10장에서 소개하기로 하고, 이번 절에서는 2 클래스 패턴 인식의 방법을 확장하여 다중 클래스 패턴 인식 문제를 푸는 방법을 두 가지 소개하도록 한다.
_78쪽

그 외에도 오류 정정 부호를 사용하여 각각의 클래스를 10011이나 01010 따위로 부호화하여 각 비트를 2 클래스 분류기로 예측하는 오류 수정 출력 부호라 불리는 방법도 제안되었다. 그러나 오류 수정 부호를 적절하게 설계하는 과정이 쉽지 않다는 단점이 있다. 10장에서 다중 클래스 분류 문제를 직접 푸는 알고리즘을 소개하겠지만, 그렇다고 반드시 다중 클래스 분류 문제를 직접 풀어야 하는 것은 아니다. 왜냐하면, 다중 클래스 분류 문제는 일반적으로 2 클래스 분류 문제에 비해 학습이 어렵기 때문이다. 따라서 목적과 상황에 맞게 적절한 방법을 택하는 것이 현실적이라 할 수 있다.
_80쪽

문자열을 낱낱의 문자로 인식하는 것은 지금까지 소개한 다양한 방법을 적용할 수 있다. 그러나 문자가 출현하는 데는 같은 문자가 연속하여 출현한다든가, 어떤 문자 뒤에는 어떤 문자가 자주 나온다든가 하는 전후관계가 관련되어 있다. 이러한 규칙성을 활용하면 문자열의 인식 정밀도를 향상시킬 수 있다. 한편, 문자열 안의 모든 문자를 동시에 인식하려면 클래스 수가 문자열 길이의 제곱에 비례하는 지수적 증가를 보이기 때문에 학습이 어렵다. 그래서 이번 장에서는 문자열의 부분적 전후관계를 이용하여 실용적인 계산 시간 내에서 학습할 수 있는 조건부 확률장이라는 기법을 소개하겠다.
_124쪽

PART 1 시작하며 1
CHAPTER 1 머신러닝이란? 2
1.1 학습의 종류 3
1.2 머신러닝 과업들 5
1.3 머신러닝의 접근법 8
CHAPTER 2 학습 모델 12
2.1 선형 모델 12
2.2 커널 모델 15
2.3 계층 모델 18
PART 2 지도 학습 기반 회귀 21
CHAPTER 3 최소제곱 학습 22
3.1 최소제곱 학습 22
3.2 최소제곱해의 성질 25
3.3 대규모 데이터를 다루기 위한 학습 알고리즘 27
CHAPTER 4 제약 최소제곱 학습 32
4.1 부분 공간 제약 최소제곱 학습 33
4.2 제약 최소제곱 학습 34
4.3 모델 선택 38
CHAPTER 5 희소 학습 44
5.1 제약 최소제곱 학습 44
5.2 제약 최소제곱 학습의 해를 구하는 방법 46
5.3 희소 학습에 의한 특징 선택 51
5.4 제약 최소제곱 학습 52
5.5 제약 최소제곱 학습 53
CHAPTER 6 로버스트 학습 56
6.1 손실 최소화 학습 57
6.2 후버 손실 최소화 학습 59
6.3 튜키 손실 최소화 학습 64
6.4 제약 후버 손실 최소화 학습 66
PART 3 지도 학습 기반 분류 71
CHAPTER 7 최소제곱 학습 기반 분류 72
7.1 최소제곱 분류 72
7.2 0/1 손실과 마진 75
7.3 다중 클래스 78
CHAPTER 8 서포트 벡터 분류 81
8.1 마진 최대화 분류 81
8.2 서포트 벡터 분류기의 해를 구하는 방법 84
8.3 희소성 87
8.4 커널 트릭을 이용한 비선형화 89
8.5 힌지 손실 최소화 학습 관점에서의 해석 91
8.6 램프 손실을 이용한 로버스트 학습 94
CHAPTER 9 앙상블 분류 99
9.1 결정주 분류 100
9.2 배깅 102
9.3 부스팅 106
CHAPTER 10 확률적 분류 114
10.1 로지스틱 회귀 114
10.2 최소제곱 확률적 분류 119
CHAPTER 11 연속열 데이터의 분류 124
11.1 연속열 데이터의 모형화 124
11.2 조건부 확률장 모형의 학습 129
11.3 조건부 확률장 모형을 이용한 레이블 연속열 예측 131
PART 4 비지도 학습 133
CHAPTER 12 이상 검출 134
12.1 국소 이상 인자 134
12.2 서포트 벡터 이상 검출 137
12.3 밀도비 기반 이상 검출 140
CHAPTER 13 비지도 기반 차원 축소 145
13.1 선형 차원 축소의 개요 146
13.2 주성분 분석 147
13.3 국소성 보존 사영 150
13.4 커널 주성분 분석 153
13.5 라플라스 고유사상 156
CHAPTER 14 클러스터링 159
14.1 K-평균 클러스터링 159
14.2 커널 K-평균 클러스터링 161
14.3 스펙트럴 클러스터링 163
14.4 파라미터의 자동 결정 165
PART 5 심화 학습 171
CHAPTER 15 온라인 학습 172
15.1 수동 공격 학습 172
15.2 적응 규제화 학습 179
CHAPTER 16 반지도 학습 184
16.1 입력 데이터가 이루는 다양체 구조의 활용 184
16.2 라플라스 규제화 최소제곱 학습의 해를 구하는 방법 187
16.3 라플라스 규제화에 대한 해석 189
CHAPTER 17 지도 학습 기반 차원 축소 191
17.1 분류 문제에 대한 판별 분석 191
17.2 충분 차원 축소 198
CHAPTER 18 전이 학습 200
18.1 공변량 시프트 상황에서의 전이 학습 200
18.2 클래스 밸런스 변화 상황에서의 전이 학습 208
CHAPTER 19 멀티 태스크 학습 215
19.1 최소제곱 회귀를 이용한 멀티 태스크 학습 215
19.2 최소제곱 확률적 분류기를 이용한 멀티 태스크 학습 218
19.3 다차원 출력 함수의 학습 220
PART 6 마무리하며 225
CHAPTER 20 앞으로의 전망 226
참고문헌 230
찾아보기 231