딥러닝 for Deep Learning

8. 1 더 깊게 8.1.1 더 깊은 신경망으로 3 x 3의 작은 필터를 사용한 합성곱 계층 활성화 함수는 ReLU 완전연결 계층 뒤에 드롭아웃 계층 사용 Adam을 사용해 최적화 가중치 초깃값을 'He의 초깃값' 채널 수는 앞 계층에서부터 순서대로 16, 16, 32, 32, 64, 64로 늘어남 위 신경망으로 MNIST 숫자 데이터를 학습할 경우, 정확도는 99.38%! 이미지 인식을 잘못한 경우를 살펴보면, 사람도 구분하기 어렵다. 8.1.2 정확도를 더 높이려면 위 이미지를 살펴보면, 상위권은 대부분 CNN을 기초로 한 기법들이다. 다만, MNIST 데이터 분류는 단순한 작업이기 때문에 그다지 깊은 신경망이 필요하지 않다. 정확도를 더 높이려면?? 앙상블 학습, 학습률 감소, 데이터 확장 등이 도..

역전파 덧셈 노드의 역전파 z = x + y의 미분은 아래의 식과 같이 계산할 수 있다. 두 식의 결과는 모두 1이다. 이를 계산 그래프로 표현하면, 역전파 때는 상류에서 전해진 미분에 1을 곱해 하류로 보낸다. (오른쪽에서 왼쪽으로) 즉, 덧셈 노드를 만나면 입력값을 그대로 다음 노드로 보낸다. (gradient distributor) 예를 들어, 상류에서 1.3이란 값이 흘러오면, 그대로 내려보낸다. 곱셈 노드의 역전파 z = xy의 미분은 아래의 식과 같이 계산할 수 있다. 그럼 계산 그래프로 함 그려보자. (내가 그리는건 아님) 위 그래프에서 보이는 것처럼 곱셈 노드 역전파는 상류의 값에 순전파 때의 입력 신호들을 '서로 바꾼 값'을 곱해서 하류로 내려보낸다. (gradient switcher) ..

[퍼셉트론] 퍼셉트론: 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 고안한 알고리즘. 신경망(딥러닝)의 기원이 되는 알고리즘. 퍼셉트론이란? 퍼셉트론은 다수의 신호를 받아 하나의 신호를 출력. 신호: 전류나 강물처럼 흐름이 있는 것 흐른다: 1 안 흐른다: 0 x1, x2: 입력 신호 y: 출력 신호 w1, w2: 가중치(weight) 위 그림 중, 원을 뉴런 혹은 노드라고 하며, 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다. 가중치와 곱해진 입력 신호가 정해진 한계(임계값(θ) )를 넘어설 때만 1을 출력한다. 수식은 아래와 같다. 단순한 논리 회로 AND 게이트 입력이 둘이고 출력은 하나인 게이트 두 입력이 모두 1일 때만 1을 출력, 아니면 0 위 조건을 만족하..

[힙 구조] 정의: 힙은 힙의 특성(최소 힙(Min Heap)에서는 부모가 항상 자식보다 작거나 같다)을 만족하는 거의 완전한 트리(Almost Complete Tree)인 특수한 트리 기반의 자료구조다. 지난번의 트리 구조에 이어서 힙(Heap) 구조에 대해서 알아보도록 하자. 힙은 기본적으로 완전이진트리의 형상을 가지고 있다. 그렇다면 힙과 트리의 차이점은 무엇일까? 들어가기 전 우선 힙은 우선순위 큐를 위하여 만들어진 구조이다. 우선순위 큐는 우선순위를 가지고 있는 원소로 이루어진 평범한 큐나 스택과 비슷한 축약 자료형이다. 우선순위 큐는 배열, 연결리스트, 힙으로 구현이 가능한데, 이 중에서 힙으로 구현하는 것이 가장 효율적이라고 한다. 힙(Heap) 힙(Heap)은 최댓값 및 최솟값을 찾아내는 ..

[트리 구조] 정의: 트리는 계층형 트리 구조를 시뮬레이션하는 추상 자료형( ADT)으로, 루트 값과 부모-자식 관계의 서브트리로 구성되며, 서로 연결된 노드의 집합이다. 후기 알 것 같으면서도 아직 잘 모르겠다?! 조금만 더 살펴보자. 트리(Tree)는 하나의 뿌리에서 위로 뻗어 나가는 형상처럼 생겨서 '트리(나무)'라는 명칭이 붙었다. 트리 구조를 표현할 때는 나무의 형상과는 반대 방향으로 표현한다. 가계도(조직도)의 형상과도 비슷하다. 트리 구조는 아래 그림의 형상을 가진다. 트리의 대표적인 특징 트리는 노드로 이루어진 자료 구조. 트리는 하나의 루트 노드를 갖는다. 루트 노드는 0개 이상의 자식 노드를 갖고 있다. 그 자식 노드 또한 0개 이상의 자식 노드를 갖고, 이는 반복적으로 정의된다. 트리..

연휴에 며칠을 쉬면 이번 주는 활기차게 보낼 수 있을 거라 생각했건만 해커톤의 여파가 채 가시지도 않은채 명절을 맞이하게 되면서 오히려 마음이 더 붕 뜬 채로 이번 한 주를 보내게 된 것 같다. 집중이 잘 되지도 않고 몸이 막 간질거리는 느낌이다. 그런 와중에도 이번 주 학습을 진행했으니 그에 대한 정리를 아래에 해볼까 한다. 2월 15일 월요일 [Fundamental] 웹에서 데이터 가져오기 웹과 통신에 관한 노드였다. 노드에서는 웹의 구조와 통신에 대한 기초 지식을 배우고 이를 바탕으로 파이썬 프로그래밍을 이용해서 웹 데이터에 접근하여 그 데이터를 가져오는 방법에 대해 알아보았다. 이 노드를 통해 웹에 관한 개념들을 많이 접하게 되었는데 뭔가 친숙한 듯 하면서도 어려운 느낌이었다. 그 개념들을 정리하..

정신 차려보니 2월이다. 1월이 어디갔는지 찾아봐야 할 것 같다. 정신없이 달려오다 보니 어느새 한 달이 지났다. 그간 인공지능과 관련한 많은 내용을 접했다. 다만, 너무 많은 내용을 접해서 머릿 속 함수가 제 구실을 못하고 있는데 그래도 일단 옷장 옷들을 마구 구겨놓고 있는 중이다. 필요한 옷들을 쏙쏙 빼가다 보면 언젠가 원하는 옷을 제 때에 꺼내 입을 수 있지 않을까 한다. 원래 책도 읽을 책을 사는 게 아니라 산 책 중에서 읽는 거라고 했다. 그럼 이번주에 옷장에 넣은 옷들에 관해서 정리해 보도록 하자. 2월 1일 월요일 [Fundamental] 파이썬 잘하는 척 하기 파이썬 기능에 관한 노드였다. 초반엔 다른 프로그래밍언어에 비해 어떠한 점이 우수한 지 퍼포먼스와 생산성의 관점에서 살펴보았다. 그..

인공지능을 공부한 지 어언 한 달. 내 실력과는 다르게 시간은 아주 빠른 속도로 흘러간다. 다음 주차 과정을 시작하면 벌써 2월이다. 나름 열심히 하고 있다고 생각하는데 노력이란 게 기준이 없어 항상 부족한 느낌이다. 아침에 눈을 떴을 때 개운함이 느껴지면 왠지 모를 죄책감이 든다. 한 달간 쭉 공부하다 보니 어느 정도 익숙해진 것 같긴 하다만 눈에 띄는 성장에 대해선 아직 의문이다. 뭐 그래도 이번 주 역시 나름 성실히 달려왔고 그 과정에 대해 간략히 정리해 보고자 한다. 1월 25일 월요일 [Fundamental] 클래스:객체지향 프로그램에 대해 OOP(객체지향프로그램)의 꽃! 클래스에 대해 자세히 알아보았다. 파이썬에 정의된 모든 클래스는 object클래스를 상속받고 있으며 이 클래스가 책임지는 것..