딥러닝 개론 및 연습

• 강의 계획
  • 목표
  • 준비
  • 파이썬 기초
  • 퍼셉트론
  • 신경망
  • 신경망 학습
  • 오차 역전파
  • 최소제곱법(Least Squared Method)
  • 경사하강법(Gradient Descent Method)
  • 확률적 경사 하강법(Stochastic Gradient Descent Method)
• 파이썬 설치
  • 인터프리터 설치
    • 아나콘다 설치
  • 파이썬 인터프리터 실행
    • 기본 python 쉘 실행
    • ipython 실행
  • VS Code 사용법
    • VS Code 설치
    • 파이썬 소스 편집 및 실행
• 파이썬 기초
  • 기본 문법
    • 산술연산
    • 자료형
    • 변수
    • 주석
    • 리스트
    • 딕셔너리(dictionary)
    • bool
    • if 문
    • for 문
    • 함수
  • 스크립트 파일
    • 파일로 저장
    • 클래스
  • 넘파이(Numpy)
    • 넘파이 가져오기
    • 넘파이 배열 생성하기
    • 넘파이의 산술 연산
    • 넘파이의 N차원 배열
    • 원소 접근
    • 배열 형태 변경(reshape)
    • 브로드캐스트
    • 축(axis)
    • 전치(transpose)
    • 패딩
    • 배열 타입 변환
  • matplotlib
    • 단순한 그래프 그리기
    • pyplot의 기능
    • 한글 폰트
    • 이미지 표시하기
  • 연습문제
  • 연습문제 풀이
• 퍼셉트론
  • 신경세포와 인공 뉴런
    • 생물학적 뉴런 대 인공 뉴런
  • 퍼셉트론 개념
  • 단순한 논리연산
    • 논리곱(AND 게이트)
    • 부정 논리곱(NAND 게이트)
    • 논리합(OR 게이트)
  • 단순한 논리 퍼셉트론 구현
    • 간단한 구현
    • 벡터 표현
  • 퍼셉트론 학습 알고리즘
    • 보조정리1
    • 보조정리2
    • 퍼셉트론 의사 알고리즘
    • 퍼셉트론 학습 알고리즘 수렴 증명
  • 다층 퍼셉트론
    • XOR 게이트
    • XOR 게이트 구현
  • 참조
  • 연습문제
  • 연습문제 풀이
• 신경망
  • 용어
  • 활성화 함수
    • 계단함수
    • 시그모이드 함수
    • ReLU 함수
  • 행렬 연산
    • 행렬의 곱
    • 신경망 계산
  • 3층 신경망
    • 표기법
    • 구현 정리
  • 출력층
    • 소프트맥스 함수
    • 출력층 노드수
  • 손글씨 숫자 인식
    • 깃 클론
    • MNIST 데이터셋
  • MNIST 처리
  • 배치 처리
  • 연습문제
  • 연습문제 풀이
• 신경망 학습
  • 데이터
  • 손실함수(loss function)
    • 평균제곱오차(mean squared error, MSE)
    • 교차엔트로피 오차
    • 미니배치 학습
    • 배치 교차엔트로피 오차 구현
  • 수치 미분
    • 미분
    • 편미분
    • 그래디언트(gradient)
    • 경사하강법
    • 신경망 그래디언트
  • 디버깅
  • 학습 알고리즘 구현
    • 2층 신경망 클래스 구현
    • 미니배치 학습 구현
    • 시험데이터 평가
  • 퍼셉트론 학습
  • 연습문제
• 오차역전파
  • 계산 그래프
    • 계산 그래프로 나타내기
    • 국소적 계산
    • 계산 그래프 장점
  • 연쇄법칙
    • 계산 그래프의 역전파
    • 연쇄법칙
    • 연쇄법칙과 계산 그래프
  • 역전파
    • 덧셈 노드
    • 곱셈 노드
    • 사과 구매 예제
  • 단순 계층 구현
    • 곱셈 계층
    • 덧셈 계층
  • 활성화함수 계층 구현
    • ReLU 계층
    • 시그모이드 계층
  • Affine/Softmax 계층 구현
    • Affine 계층
    • 배치용 Affine 계층
    • Softmax-with-Loss 계층
  • Softmax-With-Loss 역전파 상세
    • 순전파
    • 역전파
  • 오차역전파 구현
    • 개요
    • 구현
    • 그래디언트 검증
    • 오차역전파 사용
• 합성곱 신경망
  • 전체 구조
  • 합성곱 계층
    • 완전연결 계층의 문제점
    • 합성곱 연산
    • 패딩
    • 스트라이드
    • 3차원 데이터의 합성곱 연산
    • 블록으로 생각하기
    • 배치 처리
  • 풀링 계층
    • 풀링 계층의 특징
  • 합성곱/풀링 계층 구현
    • 4차원 배열
    • im2col으로 데이터 전개
    • col2im 이용 역전파 데이터 복원
    • 합성곱 계층 구현
    • 풀링 계층 구현
  • CNN 구현
    • SimpleConvNet 초기화
    • Conv1
    • Relu1
    • Pooling
    • Affine1
    • Relu2
    • Affine2
    • SoftmaxWithLoss
    • SimpleConvNet의 순전파, 역전파
  • CNN 학습
  • CNN 시각화
    • 첫번째 층 가중치 시각화
    • 층 깊이에 따른 정보 변화
  • 참고 사이트
• 딥러닝
  • 더 깊은 신경망
  • 심층망 학습
  • 딥러닝의 초기 역사
    • 이미지넷
    • AlexNet
    • VGG
    • GoogLeNet
    • ResNet
  • 참조 사이트
• 학습관련 기술들
  • 최적화 기법
  • 가중치의 초기값
    • 초깃값을 0으로 하면?
    • 은닉층의 활성화값 분포
    • ReLU를 사용할 때의 가중치 초기값
    • MNIST 데이터셋으로 본 가중치 초깃값 비교
  • 배치 정규화
    • 배치 정규화 알고리즘
    • 배치 정규화의 효과
  • 바른 학습을 위해
    • 오버피팅
    • 가중치 감소
    • 드롭아웃 ^Dropout
  • 적절한 하이퍼파라미터 값 찾기
    • 검증 데이터
    • 하이퍼파라미터 최적화
    • 하이퍼파라미터 최적화 구현
  • 참조사이트
• 데이터 셋
  • CIFAR Dataset
  • dogs-vs-cats
  • 참조 사이트
  • 연습문제

Indices and tables

• Index

• Module Index

• Search Page