• 컴퓨터/IT > 프로그래밍

2017/1 컴퓨터/IT 14위 | 현재 컴퓨터/IT 72위 |

• [시리즈] I♥A.I. 인공지능 시리즈(아이러브A.I.) [16]

반디앤루니스 리뷰

머신러닝에 필요한 수학/통계학 배경 지식!
머신러닝에 사용되는 주요 알고리즘의 원리!
의사코드가 아닌 파이썬 코드 중심의 예제!

이 책은 머신러닝 알고리즘의 이해를 돕기 위한 책이다. 이 책을 통해 머신러닝에 필요한 프로그래밍뿐만 아니라 관련 수학, 통계 개념을 완벽히 익히는 여행을 시작할 수 있을 것이다. 또한, 책을 학습할 때 함께 제공되는 코드를 직접 실행해 볼 것을 추천한다. 각 장마다 더 읽을거리와 연습 문제를 통해 세부적인 예제를 제공하고 있으며, 예제에 사용된 모든 파이썬 코드는 저자의 웹페이지에서 내려받을 수 있다.

출판사 리뷰

출판사 서평 머신러닝에 필요한 수학/통계학 배경 지식! 머신러닝에 사용되는 주요 알고리즘의 원리! 의사코드가 아닌 파이썬 코드 중심의 예제! 이 책은 머신러닝 알고리즘의 이해를 돕기 위한 책이다. 이 책을 통해 머신러닝에 필요한 프로그래밍뿐만 아니라 관련 수학, 통계 개념을 완벽히 익히는 여행을 시작할 수 있을 것이다. 이 책의 특징 ㆍ 심층 신뢰 신경망과 같은 최근의 머신러닝 동향을 반영했다. ㆍ 머신러닝을 이해하는 데 필요한 기본 확률과 통계 개념을 제공한다. ㆍ 신경망을 사용한 지도학습에 대해 배운다. ㆍ 차원 감축,... 머신러닝에 필요한 수학/통계학 배경 지식! 머신러닝에 사용되는 주요 알고리즘의 원리! 의사코드가 아닌 파이썬 코드 중심의 예제! 이 책은 머신러닝 알고리즘의 이해를 돕기 위한 책이다. 이 책을 통해 머신러닝에 필요한 프로그래밍뿐만 아니라 관련 수학, 통계 개념을 완벽히 익히는 여행을 시작할 수 있을 것이다. 이 책의 특징 ㆍ 심층 신뢰 신경망과 같은 최근의 머신러닝 동향을 반영했다. ㆍ 머신러닝을 이해하는 데 필요한 기본 확률과 통계 개념을 제공한다. ㆍ 신경망을 사용한 지도학습에 대해 배운다. ㆍ 차원 감축, EM 알고리즘, 최근접 이웃법, 최선 분류 경계, 커널 방법과 최적화를 다룬다. ㆍ 진화학습, 강화학습, 트리 기반의 학습자 그리고 다양한 학습자들의 예측 값을 합치는 방법들을 다룬다. ㆍ 자기조직화 특성 지도를 통해서 비지도학습의 중요성을 알아본다. ㆍ 머신러닝에서의 최신 통계 기반 접근법들을 살펴본다. 2판에 추가된 사항 ㆍ 심층 신뢰 신경망과 가우시안 프로세스가 추가되었다. ㆍ 더 자연스러운 흐름을 위해 각 장을 새롭게 재구성했다. ㆍ 실습을 위한 실행 코드를 추가했으며, 서포트 벡터 머신 자료들을 보강했다. ㆍ 랜덤 포레스트, 퍼셉트론 수렴 이론, 정확성 측정 방법을 위한 고려사항, 그리고 MLP를 위한 켤레 기울기 최적화에 대한 새로운 자료를 추가했다. ㆍ 칼만 필터와 파티클 필터에 관한 설명이 추가되었다. ㆍ 파이썬의 명명 규칙을 수정하고 코드를 개선했다. 책을 학습할 때 함께 제공되는 코드를 직접 실행해 볼 것을 추천한다. 각 장마다 더 읽을거리와 연습 문제를 통해 세부적인 예제를 제공하고 있으며, 예제에 사용된 모든 파이썬 코드는 저자의 웹페이지에서 내려받을 수 있다.

가능하다면 이 책은 일반적인 것에서 구체적인 것으로, 또한 간단한 부분에서 복잡한 쪽으로 관련된 개념들을 각각의 장에서 다루며 진행하려 한다. 알고리즘에 더 집중하고 실습을 통해 배울 수 있도록 확률 개념부터 시작하기보다는 간단하고 오래 사용되었던 알고리즘인 지도학습부터 시작하겠다.
_15쪽

손으로 계산해 봤던 OR 예제를 통해서 코드를 동작시켜 보자. OR 데이터를 만들어 내는 것은 쉬운데 코드를 데이터에 동작시키기 위해서는 파일을 읽어야 하고(pcn), pcntrain 함수를 실행시켜야 한다. 아래에는 배열을 설정하고 함수를 실행시키는 방법과 난수로 초기화된 가중치를 사용해서 프로그램의 5번 실행 반복 결과를 보여 주고 있다(가중치는 첫 번째 반복이 지나고 나서 변화하지 않았는데, 물론 난수를 이용했으므로 실행 때마다 다른 결과 값을 보여 줄 것이다).
_64쪽

멀티 퍼셉트론에서는 입력 값과 가중치들의 곱이 뉴런의 활성화를 결정하는 임계 값보다 높은지 낮은지에 따라서 은닉 노드들의 활성화를 결정한다. 미분 가능성에 대한 요구 사항을 지키지는 못하지만, 입력과 가중치의 곱의 합을 임계 값과 비교해서 임계 값보다 높으면 활성화하고, 낮으면 비활성화가 선형으로(1차원 함수) 작동한다. 어떤 입력 벡터에 대해서는 여러 개의 뉴런들이 활성화될 수 있고, 뉴런들의 출력 값과 가중치의 곱에 합은 두 번째 은닉층의 뉴런 활성화를 결정한다. 은닉층의 활동은 뉴런들에 분산되어서 다음 층에 입력 값으로 활용된다.
_131쪽

MLP나 선형 회귀 문제 등 많은 알고리즘에서 최소제곱 오류법을 사용하였다. 그만큼 많은 분야에서 최적화 문제를 해결할 때 최소제곱법을 보편적으로 사용하고 있으며, 이는 다른 방법에 비해 비교적 쉽게 문제를 해결할 수 있다는 특별한 특징이 연구되었기 때문이다. 이러한 선행 연구 덕분에 최소제곱 문제를 해결하는 특별한 알고리즘 집합들이 생겨났다. 그중에 하나는 매우 잘 알려진 레벤버그 말쿼트(LM, Levenberg-Marquardt) 방법이며, 이는 신뢰 영역 최적화 알고리즘(trust region optimisation algorithm)이다. 이제 LM 알고리즘을 유도하고, 왜 최소제곱 문제가 특별한 경우인지를 살펴본다.
_225쪽

입력 공간에 클러스터의 중심을 무작위로 위치시켜서 시작하고, 이를 데이터를 통해서 갱신해 나간다. 각 데이터가 어떤 클러스터에 속하는지는 거리 계산을 통해서 가장 가까운 클러스터의 중심을 갖는 클러스터로 배정한다. 이를 위한 계산 비용은 7.2.2절의 KD 트리 알고리즘을 통해서 줄일 수 있다. 클러스터에 배정된 모든 데이터 점들에 대해서 평균을 구하고 클러스터의 중심을 다시 움직인다. 알고리즘을 클러스터의 중심이 변화하지 않을 때까지 반복하며, 알고리즘은 다음과 같다.
_330쪽

목차
CHAPTER 1 … 들어가기에 앞서_1
1.1 데이터에 질량이 있다면 지구는 블랙홀이 될 것이다 2
1.2 학습 5
1.2.1 머신러닝5
1.3 머신러닝의 종류 6
1.4 지도학습8
1.4.1 회귀9
1.4.2 분류10
1.5 머신러닝 과정12
1.6 프로그래밍 노트 14
1.7 이 책의 로드맵15
ㆍ 더 읽을거리 17
CHAPTER 2 … 들어가며_19
2.1 용어 설명19
2.1.1 가중치 공간20
2.1.2 차원의 저주22
2.2 알고 있는 것을 잘 이해하라: 머신러닝 알고리즘 평가하기24
2.2.1 오버피팅 24
2.2.2 트레이닝, 테스팅, 밸리데이션 세트 25
2.2.3 혼동 행렬 27
2.2.4 정확도 지표 28
2.2.5 수신자 조작 특성 곡선 30
2.2.6 불균형 데이터세트 31
2.2.7 정밀도 측정 32
2.3 데이터를 확률로 변경33
2.3.1 위험 최소화36
2.3.2 나이브 베이즈 분류기 37
2.4 기본적인 통계학 39
2.4.1 평균 39
2.4.2 분산과 공분산 40
2.4.3 가우시안 42
2.5 바이어스 분산 트레이드오프 43
ㆍ 더 읽을거리 45
ㆍ 연습 문제46
CHAPTER 3 … 뉴런, 뉴럴 네트워크, 선형 판별식_47
3.1 뇌와 뉴런47
3.1.1 헵의 법칙48
3.1.2 맥컬록과 피츠의 뉴런들49
3.1.3 맥컬록과 피츠 뉴럴 모델의 한계점 51
3.2 뉴럴 네트워크 52
3.3 퍼셉트론 53
3.3.1 학습률 55
3.3.2 바이어스 값 입력 56
3.3.3 퍼셉트론 학습 알고리즘57
3.3.4 퍼셉트론 학습의 예제: 논리 함수 58
3.3.5 구현60
3.4 선형 분리성66
3.4.1 퍼셉트론 수렴 이론 68
3.4.2 배타적 논리합 함수70
3.4.3 도움이 될 만한 통찰력71
3.4.4 또 다른 예제: 피마 인디언 데이터세트 73
3.4.5 전처리: 데이터 사전 준비 76
3.5 선형 회귀 77
3.5.1 선형 회귀 예제 79
ㆍ 더 읽을거리 80
ㆍ 연습 문제 81
CHAPTER 4 … 다층 퍼셉트론_83
4.1 전향 85
4.1.1 바이어스86
4.2 후향: 오차 역전파86
4.2.1 다층 퍼셉트론 알고리즘 90
4.2.2 가중치 초기화하기 93
4.2.3 다른 출력 활성화 함수들 94
4.2.4 순차와 배치 트레이닝 96
4.2.5 지역 최솟값 96
4.2.6 모멘텀 정하기 98
4.2.7 미니배치와 확률적 기울기 하강99
4.2.8 개선점들99
4.3 다층 퍼셉트론의 실제100
4.3.1 트레이닝 데이터 양 100
4.3.2 은닉층의 수 100
4.3.3 학습을 중지해야 할 시기 102
4.4 MLP의 활용 예103
4.4.1 회귀 문제 103
4.4.2 MLP에서의 분류 107
4.4.3 분류 예: 아이리스 데이터세트 108
4.4.4 시계열 예측 111
4.4.5 데이터 압축: 자기 연산 네트워크 114
4.5 MLP 사용법116
4.6 역전파 유도117
4.6.1 네트워크 출력 값과 오류 118
4.6.2 네트워크의 오류 118
4.6.3 활성화 함수의 요건들 120
4.6.4 오류 역전달 121
4.6.5 출력 활성화 함수들 124
4.6.6 오차 함수의 대안 126
ㆍ 더 읽을거리 126
ㆍ 연습 문제 127
CHAPTER 5 … 방사 기저 함수와 스플라인_131
5.1 수용영역132
5.2 방사 기저 함수 네트워크 135
5.2.1 RBF 네트워크 트레이닝 137
5.3 보간법과 기저 함수 140
5.3.1 기저 확장 143
5.3.2 3차 스플라인 144
5.3.3 데이터에 스플라인 맞추기 144
5.3.4 스무딩 스플라인/스플라인 다듬질 145
5.3.5 고차원 147
5.3.6 경계를 넘어 148
ㆍ 더 읽을거리 148
ㆍ 연습 문제 149
CHAPTER 6 … 차원 축소_151
6.1 선형 판별 분석 153
6.2 주성분 분석 157
6.2.1 다층 퍼셉트론과의 관계 161
6.2.2 커널 PCA 162
6.3 인자 분석 164
6.4 독립 성분 분석 167
6.5 지역 선형 임베딩 168
6.6 아이소맵 172
6.6.1 다차원 스케일링 172
ㆍ 더 읽을거리 174
ㆍ 연습 문제 175
CHAPTER 7 … 확률학습_177
7.1 가우시안 혼합 모델 177
7.1.1 기댓값 최대화 179
7.1.2 정보 기준 182
7.2 최근접 이웃법183
7.2.1 최근접 이웃 스무딩 185
7.2.2 효율적인 거리 계산: KD 트리186
7.2.3 거리 측정 191
ㆍ 더 읽을거리 193
ㆍ 연습 문제 194
CHAPTER 8 … 서포트 벡터 머신_195
8.1 최적 분리 196
8.1.1 마진과 서포트 벡터들 197
8.1.2 제약적 최적화 문제 A 199
8.1.3 비선형 분리 문제를 위한 슬랙 변수 202
8.2 커널 203
8.2.1 커널 고르기 205
8.2.2 XOR 예제 206
8.3 서포트 벡터 머신 알고리즘 206
8.3.1 구현 207
8.3.2 예제 211
8.4 SVM의 연장 213
8.4.1 다계층 분류 213
8.4.2 SVM 회귀 214
8.4.3 다른 이점들 215
ㆍ 더 읽을거리 216
ㆍ 연습 문제 217
CHAPTER 9 … 최적화와 탐색_219
9.1 언덕 내려가기 220
9.1.1 테일러 전개식223
9.2 최소제곱법225
9.2.1 레벤버그 말쿼트 알고리즘225
9.3 켤레 기울기230
9.3.1 켤레 기울기의 예제233
9.3.2 켤레 기울기와 MLP234
9.4 탐색: 세 가지 방법237
9.4.1 완전 탐색237
9.4.2 탐욕 탐색238
9.4.3 언덕 오르기238
9.5 활용과 탐험239
9.6 담금질 기법240
9.6.1 비교241
ㆍ 더 읽을거리 243
ㆍ 연습 문제 243
CHAPTER 10 … 진화학습_245
10.1 유전 알고리즘247
10.1.1 스트링 표현 248
10.1.2 적합성 평가 248
10.1.3 개체수249
10.1.4 자손 만들기: 부모 선택 249
10.2 자손 만들기: 유전 연산자251
10.2.1 크로스오버 251
10.2.2 돌연변이 253
10.2.3 정예주의, 토너먼트, 그리고 틈새254
10.3 유전 알고리즘 사용하기 256
10.3.1 지도 색칠 256
10.3.2 단절된 균형 258
10.3.3 예제: 배낭 문제 258
10.3.4 예제: 포피크 문제 259
10.3.5 GA의 한계 261
10.3.6 유전 알고리즘을 사용해서 뉴럴 네트워크 트레이닝하기261
10.4 유전 프로그래밍 262
10.5 샘플링과 유전학습을 접합하기 264
ㆍ 더 읽을거리265
ㆍ 연습 문제 267
CHAPTER 11 … 강화학습 _269
11.1 개관 270
11.2 예제: 길을 잃다 272
11.2.1 상태 공간과 행동 공간 274
11.2.2 당근과 채찍: 보상 함수 274
11.2.3 할인276
11.2.4 행동 선택276
11.2.5 정책277
11.3 마르코프 결정 과정278
11.3.1 마르코프 성질 278
11.3.2 마르코프 결정 과정 확률279
11.4 가치280
11.5 휴가 예제: 강화학습 사용284
11.6 살사와 Q 학습의 다른 점 285
11.7 강화학습의 사용 287
ㆍ 더 읽을거리288
ㆍ 연습 문제 288
CHAPTER 12 … 트리학습_291
12.1 결정 트리 사용292
12.2 결정 트리 만들기293
12.2.1 정보 이론의 엔트로피293
12.2.2 ID3295
12.2.3 트리와 그래프 파이썬으로 구현하기298
12.2.4 결정 트리 구현299
12.2.5 연속 변수 값 처리하기301
12.2.6 계산 복잡도303
12.3 분류와 회귀 트리303
12.3.1 지니 불순도 303
12.3.2 회귀 트리304
12.4 분류 예시305
ㆍ 더 읽을거리 307
ㆍ 연습 문제3