wave

Convolutional Neural Networks 기존의 FC layer에서는 32 x32 x 3의 이미지를 하나의 벡터로 펼친다음에 가중치를 곱하였다. 하지만 CNN에서는 기존의 이미지 구조를 그대로 유지할 수 있다. CNN에서는 작은 필터가 가중치가 되는데, 위의 예시에서는 5x5x3의 shape를 가지는 필터가 우리의 가중치인 것이다. 이 필터를 가지고 이미지를 슬라이딩하면서 가중치와 입력을 곱(내적)하는 것이다. 이미지는 channel 을 가지는데, 필터도 이미지와 동일한 깊이의 channel을 가진다. 가령 32 x 32 x 3 의 이미지에 5x5x3의 필터를 사용하면 이미지의 가로 세로의 관점에서는 일부를 보지만 깊이는 전체를 보는 것이다. 필터는 이미지를 sliding 하면서 필터의 각 ..

3강 요약 함수 F로 classifier(network) 정의 (x : input data, W : weights, 출력 : score vector) Loss function 으로 우리의 함수 F가 얼마나 성능이 안좋은지 확인 (e.g. SVM, BCE 등...) 함수 F가 training dataset에만 fit 하는 것을 방지하기 위해(우리의 목표는 test dataset) Regularization term 추가 Loss가 가장 낮아지는 W를 찾고자 Gradient Descent 활용 Computational graphs 우리는 최종적으로 gradient 값을 자동으로 계산하기 위해 analytic gradient를 사용할 것이다. Computational graph 를 활용하여 analytic g..

Linear classifier을 정의했다면 이제는 뭘 해야할까? 우선 좋은 가중치(W)를 설정하는 것이 필요하다. 그렇다면 우리의 가중치가 좋은지 나쁘지를 어떻게 알 수 있을까? => W를 입력으로 받아서 스코어를 확인하고 우리의 W가 얼마나 좋고 나쁜지를 정량화 해주기 위한 손실함수가 필요 => 손실함수를 이용해서 Loss를 최소화 하는 최적의 W를 찾아야 함(최적화) Define a loss function that quantifies our unhappiness with the scores across the training data. 학습 데이터 전체 scores에 대해 가중치(모델)의 성능을 수치화하기 위한 loss function을 정의 Come up with a way of efficien..

Image Classification Problem A core task in Computer Vision 고양이나 강아지 트럭과 같은 이미지를 올바르게 분류하는 문제는 사람에게는 쉽지만 컴퓨터에게는 어려운 문제이다. 우리가 이미지를 바라보는 방식과 컴퓨터가 바라보는 방식에는 차이가 있다. 컴퓨터는 이미지를 픽셀이라는 단위로 읽게 된다. 우리의 이미지가 800 x 600 의 x 3 (3 : channels RGB) 크기를 가진다고 하면 컴퓨터는 800 x 600 x 3 개의 숫자 정보로 이미지를 읽는 것이다. Semantic Gap 고양이 사진을 예로 들자면, 고양이는 우리가 이미지에 부여한 semantic label 이다. 고양이라는 semantic idea와 pixel 값 (이미지 배열) 사이에는 큰..

HRnet for Windows https://github.com/honestabelink/deep-high-resolution-net.pytorch

cuda와 cudnn torch 모두 설치 이후 cmd에서는 cuda를 인식하는 데 성공했습니다. 이제 아나콘다에서 쥬피터 노트북을 실행시키기 위해 아나콘다 환경에서 확인해 보았는데 이상하게 계속 False가 났습니다. 파이썬의 버전 문제인가 싶어서 cmd에서 인식한 파이썬 버전으로 아나콘다에서 가상환경을 다시 만들어 준 후 실행해 보았지만 여전히 False가 뜨는 상태... 결국 cuda랑 cudnn 모두 삭제하고 다시 설치하기로 했습니다 벌써 몇 번째 시도인지...^_^.... Windows에 CUDA 설치하기 0. 제어판에 설치된 기존 Nvidia 삭제 1. 본인의 그래픽 카드에 맞는 cuda 찾기 & 설치 2. 본인이 설치한 cuda 버전에 맞는 cudnn 설치 3. cudnn에 있는 bin, l..

배치사이즈(Batch size) 배치사이즈란, 한 번에 모델이 학습하는 데이터 샘플의 개수를 의미합니다. 학습 데이터셋이 매우 클 경우, 전체 데이터셋을 한 번에 모델에 넣어 학습하는 것은 메모리와 게산적인 측면에서 불가능할 수 있습니다. 이러한 경우, 데이터셋을 작은 단위로 나누어 모델에 입력하게 되는데, 이때 단위를 배치라고 합니다. 예를 들어, 1000개의 학습 데이터가 있다고 합시다. 배치 사이즈가 100이라면 전체 데이터셋을 10개의 배치로 나누어 모델에 입력하게 됩니다. 각 배치는 100개의 데이터 샘플을 포함하므로, 모델은 100개의 데이터 샘플을 처리한 후에 가중치를 업데이트 합니다. 인공지능 모델은 각 배치사이즈마다 가중치와 편향을 업데이트 합니다. 에폭(Epoch) 에폭(Epoch)란,..

딥러닝 모델이란 다수의 히든층이 있는 모델을 딥러닝 모델이라고 한다. 히든층이 많아지면 깊은 신경망이라는 의미로 Deep Learning이라는 단어를 사용한다. 동그라미를 Node(Unit)이라고 부른다. 여기서 층은 모델을 구성하는 층을 의미한다. 가중치는 노드간의 연결강도를 뜻한다. 가중치에는 특정 숫자가 배정되어 있다. 딥러닝 모델의 학습 방법 예측값과 실제값 간의 오차값을 최소화하기 위해 오차값을 최소화하는 모델의 인자를 찾는 알고리즘을 적용한다. Loss function을 최소화하는 가중치를 찾기 위해 최적화 알고리즘을 적용한다. 딥러닝 모델이 예측값을 구하는 방식 - 순전파 순전파(Forward propagation)는 입력 값을 바탕으로 출력 값을 계산하는 과정을 의미한다. 순전파 예시 이때..

1986년 첫 번째 빙하기의 끝 단층 퍼셉트론으로 인해 딥러닝에는 빙하기가 왔었는데, 80년대 다층 퍼셉트론의 등장으로 딥러닝의 가장 기본적인 이론들이 발전하기 시작했다. 비 선형적인 문제 해결 선형적이다 : 선 하나로 데이터를 분리 가능 비 선형적 : 선 으로만 데이터 분리 불가능 단층 퍼셉트론은 퍼셉트론이 하나만 있는 경우이다. 다층 퍼셉트론 단층 퍼셉트론을 여러개 쌓은 것을 다층 퍼셉트론이라고 부른다. MLP라고도 부른다. 강아지와 고양이를 선 하나로만 분류할 수 없기에 여러개의 퍼셉트론 결과를 조합하여 분류한다. 히든층 입력층과 출력층 사이의 모든 Layer를 히든층이라고 부른다. 히든층의 개수와 딥러닝 히든층이 많아질수록, 깊은 신경망이 되서 Deep Learning이라는 단어를 사용한다.

인공지능, 머신러닝, 딥러닝의 관계 인공지능을 구현하기 위한 방법 중 하나가 딥러닝! 딥러닝이란 머신러닝의 여러 방법론 중 하나로, 인공 신경만에 기반하여 컴퓨터에게 사람의 사고방식을 가르치는 방법이다. 인공신경망이란, 생물학의 신경망에서 영감을 얻은 학습 알고리즘으로, 사람의 신경 시스템을 모방한 것이다. 딥러닝의 발전 과정 1958년에 Perceptron이 처음 제안되었다. 딥러닝은 2012년에 이미지넷이라는 Chanllenge를 통해서 주목받기 시작하였다. 2012년도에 이미지넷에서 GPU를 사용한 딥러닝 모델 AlexNet이 출시되었다. 이 AlexNet은 기존에 있던 이미지넷의 정확도를 한 순가에 끌어올리고, 이 사건을 기반으로 딥러닝이 다시 주목을 받기 시작하였다. 또한 지금까지 많은 연구가 ..