• 컴퓨터/IT > 컴퓨터공학 > 전산개론/전산통계

2016/11 컴퓨터/IT 50위 | 현재 컴퓨터/IT 65위 |

• [시리즈] 에이콘 데이터 과학 시리즈 [54]

출판사 리뷰

출판사 서평 ★ 이 책에 쏟아진 찬사 ★ “놀라운 머신 러닝 책이다! 직관적이며 풍부한 예제, 흥미로움, 하지만 여전히 종합적이며 심도있는 책! 이 분야에 관심이 있거나 관련 분야를 전공하는 대학생에게 좋은 시작점이 될 것이다. ” -잔 피터스(Jan Peters) / 다름슈타트 공과대학(Darmstadt University of Technology), 막스플랑크 지능 시스템 연구소(Max-Planck Institute for Intelligent Systems) “케빈 머피는 실제 사례 연구와 예제를 통해 동기를 부여하며, 복잡한... ★ 이 책에 쏟아진 찬사 ★ “놀라운 머신 러닝 책이다! 직관적이며 풍부한 예제, 흥미로움, 하지만 여전히 종합적이며 심도있는 책! 이 분야에 관심이 있거나 관련 분야를 전공하는 대학생에게 좋은 시작점이 될 것이다. ” -잔 피터스(Jan Peters) / 다름슈타트 공과대학(Darmstadt University of Technology), 막스플랑크 지능 시스템 연구소(Max-Planck Institute for Intelligent Systems) “케빈 머피는 실제 사례 연구와 예제를 통해 동기를 부여하며, 복잡한 머신 러닝을 풀어내는 전문가다. 책에서 제공하는 소프트웨어 패키지는 많은 그림에 대한 소스코드를 제공하며, 독자 스스로 이런 방법을 검색하고 연구에 몰두하게 만든다. 머신 러닝에 관심이 있고, 빅 데이터로부터 유용한 지식을 어떻게 도출하는지 궁금하다면 이 책을 꼭 읽어야 한다. ” -존 윈(John Winn) / 마이크로소프트(Microsoft) 연구원 “이 책은 통계학 모형에서 기본 개념부터 시작해 가장 진보된 주제를 다루는 훌륭한 책이다. 확률 머신 러닝의 이론적 기초와 매트랩 코드에 의한 실제 도구, 둘 다 제공한다. 이 분야의 전문가와 이 분야에 관심이 있는 학생들은 언제든지 참고할 수 있도록 늘 곁에 둬야 한다. ” -요람 싱어(Yoram Singer) / 구글(Google) 연구원 “이 책은 현대 머신 러닝 전문가들을 위한 기본 참고서가 될 것이다. 전체적인 이해를 위해 필요한 기본 개념을 잘 다루고 있으며, 이런 개념을 기반으로 하는 현재의 강력한 방법을 다룬다. 머신 러닝에서 확률과 통계학의 언어는 외견상으로 분리된 알고리즘과 전략 사이에서 중요한 연결을 드러낸다. 따라서 독자들은 최신 기술을 사용하는 전체론적 관점에서 명확한 표현을 할 수 있게 되며, 다음 세대의 머신 러닝 알고리즘 설계를 위한 준비를 할 수 있다. ” -데이빗 블라이(David Blei) / 컬럼비아 대학교(Columbia University) 교수 ★ 이 책에서 다루는 내용 ★ 오늘날 웹 기반의 방대한 전사적 데이터는 분석을 위한 자동화 방법을 요구한다. 머신 러닝은 이러한 방법을 제공하며, 데이터 패턴을 자동으로 감지하는 방법을 개발하고 향후 데이터를 예측하기 위해 발견되지 않은 방식을 사용한다. 이 책은 머신 러닝과 통일된 확률적 접근의 분야를 포괄적이고도 독립적으로 소개한다. 적용 범위는 너비와 깊이를 통합하고, 확률과 최적화, 선형 대수학과 최근에 개발된 조건 임의의 필드와 L1 일반화, 딥 러닝(deep learning) 같은 토픽에 필요한 배경 지식을 제공한다. 또한 가장 중요한 알고리즘을 비롯해 일반적인 언어를 사용하며, 접근하기 쉬운 형태로 쓰여졌다. 모든 주제는 이미지와 생물학, 문자 처리, 컴퓨터 비전, 로봇공학 같은 응용 분야에서 유도되는 예를 풍부하게 설명한다. 다른 경험적 방법을 제공하는 책보다는 원칙에 따른 모형 기반 접근을 강조하며, 함축적이며 직관적인 방법으로 모형을 지정하기 위해 그래픽 모형 언어를 사용한다. 매트랩(MATLAB) 소프트웨어 패키지(PMTK)에서 수행되는 거의 모든 모형을 다루며, 이는 온라인으로도 이용할 수 있다. 이 책은 대학 수학 정도의 배경 지식을 가진 대학교 3, 4학년 학생이나 대학원생에게 적합하다. ★ 이 책의 대상 독자 ★ 이 책은 컴퓨터 과학, 통계학, 전자공학, 계량경제학, 수학적 배경 지식을 요구하는 대학교 3, 4학년과 대학원 공부를 시작하는 학생들에게 적합하다. 특히 독자가 고등 미적분과 선형 대수학, 컴퓨터 프로그래밍에 대한 기초 지식을 갖고 있다는 전제하에 구성했다. 통계학을 이미 경험했다면 많은 도움이 되겠지만, 사전 지식이 꼭 필요하지는 않다. ★ 이 책의 구성 ★ 전사적 형태의 데이터가 증가함에 따라 데이터 분석을 위한 자동화 방식의 필요성이 날로 증가하고 있다. 머신 러닝의 목표는 데이터의 패턴을 자동으로 감지하고, 향후 데이터를 예상하기 위해 아직 드러나지 않은 패턴을 사용하며, 다른 상호 연관된 결과물을 사용하도록 한다. 따라서 머신 러닝은 통계학, 데이터 마이닝(data mining)과 밀접하게 연관돼 있으며, 어디에 역점을 두는지와 용어에 따라 약간의 차이점이 있다. 이 책은 그러한 분야에 대해 상세하게 소개하며, 분자 생물학, 문장 처리(text processing), 컴퓨터 비전(computer vision), 로봇 공학 같은 응용 분야에서 드러나는 예제를 포함한다. 확률론적 접근 이 책은 수 세기 동안 통계학과 공학의 중심이 된 확률 이론의 도구를 사용하는 데이터로부터 습득할 수 있는 머신을 만들기 위해 최적의 방식을 채택한다. 확률 이론은 불확실성과 연관된 문제에 적용될 수 있다. 머신 러닝에서 불확실성은 ‘주어진 데이터로 할 수 있는 최상의 예상(결정)은 무엇인가?’, ‘주어진 데이터로 할 수 있는 최상의 모델은 무엇인가?’, ‘내가 다음에 수행할 수 있는 수치는 무엇인가?’ 등의 형태로 발생할 수 있다. 통계학 모델의 추론적 변수를 포함하는 모든 추론적 문제의 확률 논리에 대한 조직적 응용은 베이지안 방법(Bayesian approach)이라고 부른다. 하지만 이 용어는 매우 강한 반향(요청자에 따라 긍정 또는 부정으로 표현)을 끌어내는 경향이 있기 때문에 좀 더 중립적인 용어인 ‘확률론적 접근(probabilistic approach)’이란 표현을 선호한다. 더욱이 베이지안 방법이 아닌 확률론적 개연성의 패러다임 안에서 확실하게 발생할 수 있는 최대 가능도 추정(Maximum Likelihood Estimation)과 같은 기술을 자주 사용할 것이다. 이 책은 서로 다른 경험적 방법을 설명하기보다는 기본적인 원칙에 입각한 모델에 기초 해서 머신 러닝에 접근하도록 강조한다. 어떤 주어진 모델에 대해 다양한 알고리즘이 적용될 수 있다. 반대로, 주어진 어떤 알고리즘이 다양한 모델에 적용될 수 있다. 알고리즘에서 모델을 구별하는 모듈성(modularity)은 좋은 교수법이며, 공학에도 많은 도움이 된다. 간결하고 직관적인 방식으로 모델을 명시하기 위한 그래픽 모델의 언어도 사용할 것이다. 추가적인 이해를 돕기 위해 그래프 구조는 우리가 관찰하게 될 효과적인 알고리즘을 개발하는 데 도움이 될 것이다. 하지만 이 책은 그래픽 모델에 대한 고려가 우선이 아니며, 전반적으로 확률론적 모델링을 먼저 고려한다.

★ 옮긴이의 말 ★

컴퓨터 엔지니어의 한 사람으로서 머신 러닝 시스템은 데이터를 이용해 자동적인 프로그램 학습이 가능하도록 했으며 컴퓨터 과학 분야에서 상당히 중요한 부분을 차지하고 있다고 생각한다. 과거 10년 동안 머신 러닝은 컴퓨터 과학 및 공학 분야에서 눈부신 발전을 이뤘다. 예를 들면 웹 검색과 스팸 이메일 필터링, 광고 시스템, 신용 점수, 위조 감지, 주식 거래 같은 여러 분야에서 응용, 발전해 오고 있다. 최근 맥킨지 컨설팅 회사는 머신 러닝이 향후 가장 큰 이노베이션의 선두 주자가 될 것이라고 예측하기도 했다.
현재 다양한 형태의 많은 머신 러닝이 존재한다. 하지만 이 책에서는 수 세기 동안 통계학과 공학의 중심이 된 확률 이론의 도구를 사용하며, 데이터로부터 습득되는 최적의 방식을 채택하는 머신 러닝을 다룬다. 일반적 표현으로 확률론적 접근이며, 사건 발생의 개연적 패러다임에서 확실하게 발생 가능한 최대 발생 가능도 추정 같은 기술을 다룬다.
또한 이 책에서 설명하는 모든 방법이 확률적 모델 개발 도구인 PMTK라고 하는 매트랩 소프트웨어에서 구현이 가능하다. PMTK 웹사이트를 통해 이러한 지원 파일들을 받아 볼 수 있으며, 독자들이 데이터와 알고리즘, 변수 설정의 변화에 따른 결과를 쉽게 참고할 수 있다. 이러한 방법의 근본적 이론을 이 책을 통해 자세히 살펴볼 수 있다.
결론적으로, 이 책은 현대 머신 러닝을 연구하는 이들에게 기본적인 참고서가 될 수 있다. 특히 이 분야에서 꼭 알아야 할 기본 개념에서부터 머신 러닝의 전체적 이해를 돕도록 폭넓게 다룬다. 현재 가장 강력하게 다뤄지는 이론과 방법을 이 책에서 또한 설명하고 있다. 머신 러닝에서 확률과 통계학은 외형적으로 분리된 알고리즘과 전략 및 접근 방법 사이에 중요한 연결 고리를 표현한다. 따라서 독자들은 확률과 통계학적 이론을 바탕으로 이 책을 통해 최신 기술의 전체적인 조망과 차세대 머신 러닝 알고리즘을 설계하는 데 좋은 기반을 다질 수 있게 될 것이다.

목차
1장 소개
1.1 머신 러닝: 무엇을 그리고 왜?
1.1.1 머신 러닝의 종류
1.2 감독 학습
1.2.1 분류
1.2.2 회귀
1.3 자율 학습
1.3.1 군집 발견
1.3.2. 잠재 요인의 발견
1.3.3 그래프 구조 발견
1.3.4 매트릭스 완성
1.4 머신 러닝의 기초 개념
1.4.1 모수적 모형과 비모수적 모형
1.4.2 단순한 비모수적 분류기: K 근접 이웃
1.4.3 차원의 저주
1.4.4 분류와 회귀에 대한 모수적 모형
1.4.5 선형 회귀
1.4.6 로지스틱 회귀 분석
1.4.7 과대적합
1.4.8 모형 선택
1.4.9 공짜 점심은 없다는 이론
__연습문제
2장 확률
2.1 소개
2.2 확률 이론에 대한 간단한 리뷰
2.2.1 이산 확률 변수
2.2.2 근본적 규칙
2.2.3 베이즈 법칙
2.2.4 독립과 조건부 독립
2.2.5 연속형 확률 변수
2.2.6 분위수
2.2.7 평균과 분산
2.3 보편적 이산형 분포
2.3.1 이항 분포와 베르누이 분포
2.3.2 다항 분포와 멀티누이 분포
2.3.3 푸아송 분포
2.3.4 경험적 분포
2.4 보편적인 연속 분포
2.4.1 가우시안(정규) 분포
2.4.2 퇴화 pdf
2.4.3 라플라스 분포
2.4.4 감마 분포
2.4.5 베타 분포
2.4.6 파레토 분포
2.5 결합 확률 분포
2.5.1 공분산과 상관
2.5.2 다변수 가우시안
2.5.3 다변수 스튜던트 t 분포
2.5.4 디리클레/디리슈레 분포
2.6 확률 변수의 변환
2.6.1 선형 변환
2.6.2 일반 변환
2.6.3 중심 극한 정리
2.7 몬테카를로 예측
2.7.1 예: 변수 변환
2.7.2 예: 몬테카를로 적분으로 π를 예측
2.7.3 몬테카를로 계산의 정확성
2.8 정보 이론
2.8.1 엔트로피
2.8.2 쿨백-라이블러 발산
2.8.3 상호 정보량
__연습문제
3장 이산 데이터를 위한 생성 모형
3.1 소개
3.2 베이지안 개념 학습
3.2.1 발생 가능성
3.2.2 사전 확률
3.2.3 사후 확률
3.2.4 사후 예측 분포
3.2.5 더 복잡한 사전 확률
3.3 베타 이항 모델
3.3.1 발생 가능도
3.3.2 사전 확률
3.3.3 사후 확률
3.3.4 사후 예측 분포
3.4 디리클레-다항 분포 모형
3.4.1 발생 가능도
3.4.2 사전 확률
3.4.3 사후 확률
3.4.4 사후 예측
3.5 나이브 베이즈 분류기
3.5.1 모형 피팅
3.5.2 예측을 위한 모형 사용
3.5.3 로그-합-지수 트릭
3.5.4 상호 정보를 사용하는 특징 선택
3.5.5 백 오브 워드를 사용하는 문서 분류
__연습문제
4장 가우시안 모델
4.1 소개
4.4.1 표기법
4.1.2 기초
4.1.3 MVN에 대한 MLE
4.1.4 가우시안의 최대 엔트로피 도출
4.2 가우시안 판별 분석
4.2.1 이차 판별 분석
4.2.2 선형 판별 분석
4.2.3 두 개 클래스에 대한 LDA
4.2.4 판별 분석에 대한 MLE
4.2.5 과적합을 막는 전략
4.2.6 정칙화 LDA
4.2.7 대각 LDA
4.2.8 근접 슈렁큰 중심 분류기
4.3 결합 가우시안 분포에서 추정
4.3.1 결과의 정리
4.3.2 예제
4.3.3 정보 형태
4.3.4 결과의 증명
4.4 선형 가우시안 시스템
4.4.1 결과의 진술
4.4.2 예제
4.4.3 결과의 증명
4.5 위샤트 분포
4.5.1 역위샤트 분포
4.5.2 위샤트 분포 시각화
4.6 MVN의 파라미터 추정
4.6.1 μ의 사후 분산
4.6.2 Σ의 사후 분포
4.6.3. μ와 Σ의 사후 분포
4.6.4 알려지지 않은 정밀도를 가진 센서 융합
__연습문제
5장 베이지안 통계학
5.1 소개
5.2 사후 확률 분포 요약
5.2.1 MAP 예측
5.2.2 신뢰 구간
5.2.3 안분 비례의 차이에 대한 추정
5.3 베이지안 모형 선택
5.3.1 베이지안 오캄의 면도날
5.3.2 주변 발생 가능도 계산
5.3.3 베이즈 요인
5.3.4 제프리스-린들리의 역설
5.4 사전 확률
5.4.1 무정보 사전 확률
5.4.2 제프리스 사전 확률
5.4.3 견고한 사전 확률
5.4.4 결합 사전 확률의 혼합
5.5 계층적 베이즈
5.5.1 예제: 암 발생 비율과 관련된 모형화
5.6 경험적 베이즈
5.6.1 예제: 베타 이항 모형
5.6.2. 예제: 가우시안-가우시안 모형
5.7 베이지안 결정 이론
5.7.1 일반적 손실 함수를 위한 베이즈 추정량
5.7.2 거짓 양성과 거짓 음성의 교환
5.7.3 다른 토픽
__연습문제
6장 빈도주의자 통계학
6.1 소개
6.2 추정량의 표본 분포
6.2.1 부트스트랩
6.2.2 MLE에 대한 대표본 이론
6.3 빈도주의자 결정 이론
6.3.1 베이즈 위험
6.3.2 미니맥스 위험
6.3.3 허용 가능 추정량
6.4 추정량의 요구되는 특성
6.4.1 일치 추정량
6.4.2 편향되지 않은 추정량
6.4.3 최소 분산 추정량
6.4.4 편향 분산 상충
6.5 경험적 위험 최소화
6.5.1 일반화된 위험 최소화
6.5.2 구조화 위험 최소화
6.5.3 교차 검증을 사용한 위험 추정
6.5.4 통계적 학습 이론을 사용한 상한 위험
6.5.5 대리 손실 함수
6.6 빈도주의자 통계학의 병적 측면
6.6.1 신뢰 구간의 반직관적 행동
6.6.2 p 값의 해로움
6.6.3 발생 가능도 원칙
6.6.4 모든 사람이 베이지안주의가 아닌 이유
__연습문제
7장 선형 회귀
7.1 소개
7.2 모형 특정화
7.3 최대 발생 가능도 추정
7.3.1 MLE의 도출
7.3.2 기하학적 해석
7.3.3 볼록성/컨벡서티
7.4 견고한 선형 회귀
7.5 능선 회귀
7.5.1 기본 개념
7.5.2 산술적으로 안정된 계산
7.5.3 PCA와 연관성
7.5.4 빅데이터의 정형화 효과
7.6 베이지안 선형 회귀
7.6.1 사후 확률 계산
7.6.2 사후 예측 계산
7.6.3 σ2이 알려지지 않을 때 베이지안 추정
7.6.3.2 무정보 사전 확률
7.6.4 선형 회귀에 대한 EB
__연습문제
8장 로지스틱 회귀
8.1 소개
8.2 모형 상세
8.3 모형 적합
8.3.1 MLE
8.3.2 최급강하
8.3.3 뉴턴의 방법
8.3.4 반복 재가중 최소 제곱
8.3.5 준뉴턴 방법
8.3.6 ℓ2 일반화
8.3.7 다중 클래스 로지스틱 회귀
8.4 베이지안 로지스틱 회귀
8.4.1 라플라스 근사
8.4.2 BIC의 유도
8.4.3 로지스틱 회귀에 대한 가우시안 근사
8.4.4 사후 확률 예측의 근사
8.4.5 잔차 분석
8.5 온라인 학습과 확률 최적화
8.5.1 온라인 학습과 후회 최소화
8.5.2 확률적 최적화와 위험 최소화
8.5.3 LMS 알고리즘
8.5.4 퍼셉트론 알고리즘
8.5.5 베이지안 관점
8.6 생성과 판별 분류기
8.6.1 각 접근 방법의 장단점
8.6.2 누락된 데이터의 취급
8.6.3 피셔의 선형 판별 분석(FLDA)
__연습문제
9장 일반화 선형 모델과 지수족
9.1 소개
9.2 지수족
9.2.1 정의
9.2.2 예제
9.2.2.3 일변량 가우시안
9.2.3 로그 분할 함수
9.2.4 지수족에 대한 MLE
9.2.5 지수족에 대한 베이즈
9.2.6 지수족의 최대 엔트로피 유도
9.3 일반화 선형 모형(GLM)
9.3.1 기본개념
9.3.2 ML과 MAP 예측
9.3.3 베이지안 추정
9.4 프로빗 회귀
9.4.1 기울기 기초 최적화를 사용한 ML/MAP 추정
9.4.2 잠재 변수 해석
9.4.3 순서 프로빗 회귀
9.4.4 다항 프로빗 모형
9.5 다중 임무 학습
9.5.1 다중 임무 학습에 대한 계층적 베이즈
9.5.2 이메일 스팸 필터링 애플리케이션
9.5.3 영역 적응 애플리케이션
9.5.4 사전 확률의 다른 종류
9.6 일반화 선형 혼합 모형
9.6.1 예