딥러닝 레이어 이해하기 Embedding Layer, Recurrent layer
자연어 처리 분야에 잘 이용되는 embedding, recurrent layer에 대해 알아보자 단어의 희소 표현(Sparse Representation) 벡터의 특정 차원에 단어 혹은 의미를 직접 매핑하는 방식 예) 사과: [ 0, 0 ] , 바나나: [ 1, 1 ] , 배: [ 0, 1 ] 일떄, 첫 번째 요소는 모양(0:둥글다, 1:길쭉하다)을 나타냄 두 번째 모양은 색상(0:빨강, 1:노랑)을 나타냄 배는 모양 기준으로는 사과와 가깝고, 색상 기준으로는 바나나와 가깝다는 것을 표현할 수 있음 단어의 분산 표현(Distributed Representation) 분포 가설(distribution hypothesis)? : 유사한 맥락에서 나타나는 단어는 그 의미도 비슷하다 맥락? - 좌우에 출현하는 ..
2022. 2. 9.
딥러닝 레이어 이해하기 linear, Convolution
딥러닝 모델 속 각 레이어(Linear, Convolution)의 동작 방식을 이해하고, 텐서플로우로 정의해보자 데이터 이미지 데이터 표기법 - Channel, Width, Height의 이니셜로 (C, W, H), (W, H, C)와 같이 표기 Layer? 하나의 물체가 여러 개의 논리적인 객체들로 구성되어 있는 경우, 이러한 각각의 객체를 layer라 칭함 Linear layer? (Fully Connected Layer, Feedforward Neural Network, Multilayer Perceptrons, Dense Layer... 등 다양한 이름으로 불림) 역할 - 선형 변환을 이용해 데이터를 특정 차원으로 변환 저차원화 : 데이터 집약 고차원화 : 데이터 더 풍부하게 표현 변환 코드(Te..
2022. 2. 8.
