[Ch3] 파이썬으로 만드는 인공지능
규칙을 만드는 일: 모델링 이는 기계가 알아서 수행
3.4 특징 추출과 표현
기계 학습의 과정
어떤 특징의 변별력/분별력이 높을까?
옛날에는 자로 갖다 쟀지만 이제는 딥러닝이 영상에서 자동으로 최적의 특징을 추출해준다.
- 수치형 특징: (길이, 너비)거리개념 존재, (참/거짓)이진 값일수도 있음
- 범주형 특징: 학점, 수능 등급, …
- 순서형: 거리개념 있음(학점)
- 이름형: 거리개념 없음(혈액형) -> 원핫 코드로 표현(1, 0, 0, 0)
3.5 필기 숫자 인식
딱히 정리할게 없다 train 데이터로 하면 100퍼가 나온다.
3.6 성능 측정
모델 선택: SVM, kNN, tree -> 잘해야함
성능을 평가하려면 적절한 평가 기준 필요 정확률(accuracy)
새로운 데이터로 모델의 성능을 측정하는 일: 일반화 능력 측정
혼동 행렬
부류별로 옳은 분류와 틀린 분류의 개수를 기록한 행렬
- 정확률
- 특이도
- 민감도
- 정밀도
- 재현율
훈련/검증/테스트 집합으로 쪼개기
모델 선택이 필요한 경우 데이터를 훈련집합, 검증집합, 테스트 집합으로 나누고, 모델 선택 과정이 필요 없다면 데이터를 훈련집합, 테스트 집합으로 나눈다.
훈련 데이터로 모델을 훈련, 테스트 데이터로 성능 평가
교차 검증
랜덤하게 샘플링 하므로 운에 따라서 결과가 달라질 수 있음 이런 우연성을 줄이는 방법임
여러번 분할해 각각의 성능을 측정하고 평균을 구하는 것 k 값을 높일수록 신뢰도는 높아지지만 실행 시간이 더 많이 소요되므로 적절한 k 값을 선정해야한다. 보통 5또는 10
- k-fold cross validation
3.7 인공지능은 어떻게 인식을 하나?
3.7.1 특징 공간을 분할하는 결정 경계
인공지능의 인식은 철저히 수학에 의존 ~~ 책 설명 안삭 알고리즘은 특징 공간 변환과 분할로 분류 문제를 푼다.
딥러닝은 층이 매우 싶으 ㄴ신경망 구조를 사용해 특징 공간 변환을 여러 단계에 걸쳐 수행하며 학습을 통해 최적화한다. 딥러닝에서느 ㄴ좋은 특징을 찾는 일을 ‘특징 학습/표현학습 을 한다’ 라고 말한다.
결정 경계를 정하는 분제에서 고려해야 할 사항
- 대부분의 데이터가 선형 분리 불가능하므로 비선형 분류기가 필요 -> 결정 경계가 평면이 아닌 곡선/곡면
- 과잉 적합을 피해야 함 -> 아웃라이어에 학습을 과다하게 함. 이는 트레인 테이터의 정확도는 높지만 테스트 데이터 집합에 대한 정확률을 떨어지는 일반화 능력 저하 현상이 생김
3.7.2 SVM의 원리
여백을 최대화 하는 결정 경계를 찾음 SVM이 선형 분류기의 한계를 벗어나기 위해 커널트릭을 사용함 커널 트릭은 커널 함수를 사용해 선형 공간을 비선형 공간으로 확장함 SVM에서 사용하는 커널 함수는 polynomial, radial basis, sigmoid 세 종류가 있다.
- SVC/SVR
- SVM 내의 하이퍼 매개변수: gamma, kernel, c