Patrick's 데이터 세상

https://arxiv.org/abs/1905.03677v1 Learning Loss for Active Learning The performance of deep neural networks improves with more annotated data. The problem is that the budget for annotation is limited. One solution to this is active learning, where a model asks human to annotate data that it perceived as uncertain. A variet arxiv.org 제목 Learning Loss for Active Learning 저자 Donggeun Yoo, In So Kw..

2022.02.27 - [Deep Learning/NLP(Natural Language Processing)] - Transformer Encoder 카테고리 분류 개발 후기 - 1. Tokenizer Transformer Encoder 카테고리 분류 개발 후기 - 1. Tokenizer그동안 회사에서 작업했던 30개 카테고리 class 분류 모델 개발 과정 및 삽질 과정을 기록하려고 한다. 전체 프로세스에 대한 공유 목적이자 다시 공부하려는 목적이기도 하다. https://github.com/hipstehipster4020.tistory.com   Transformer Encoder 카테고리 분류 모델 1부에서 BPE Tokenizer 학습에 대해 정리해보았다.2부에서는 model train 전체 프로..

그동안 회사에서 작업했던 30개 카테고리 class 분류 모델 개발 과정 및 삽질 과정을 기록하려고 한다.전체 프로세스에 대한 공유 목적이자 다시 공부하려는 목적이기도 하다.https://github.com/hipster4020/category_classification GitHub - hipster4020/category_classification: 뉴스 카테고리 분류뉴스 카테고리 분류. Contribute to hipster4020/category_classification development by creating an account on GitHub.github.com 👉🏻 작업 환경 GPU typeNVIDIA GeForce RTX 3090 CPU count48 GPU count4 CUDA V..

Subword Segmenation(서브워드 분리)은 하나의 단어를 여러 서브워드로 분리해서 단어를 인코딩 및 임베딩하는 전처리 작업입니다. 이를 통해서 OOV(Out-Of-Vocabulary), 희귀 단어, 신조어와 같은 문제를 해소할 수 있습니다. BPE(Bite Pair Encoding) 자연어 처리에서의 BPE는 기존에 있던 단어를 분리한다는 의미입니다. 글자(character) 단위에서 점차적으로 단어 집합(vocabulary)을 만드는 bottom up 방식의 접근을 합니다. 훈련 데이터의 모든 단어들을 글자(character) 또는 유니코드(unicode) 단위로 단어 집합(vocabulary)를 만들고, 가장 많이 등장하는 유니그램을 하나의 유니그램으로 통합합니다. BPE 알고리즘을 사용한..

기계는 실제값과 예측값의 오차로부터 옵티마이저를 통해서 가중치를 업데이트합니다. 머신 러닝에서는 이 과정을 학습이라고 합니다. 이를 현실의 학습에 비유하면 사람은 문제지의 문제를 풀고, 정답지의 정답을 보면서 채점을 하면서 부족했던 점을 깨달으며 머릿속의 지식이 업데이트되는 과정입니다. 그런데 사람마다 동일한 문제지와 정답지를 주더라도 공부 방법은 사실 천차만별입니다. 어떤 사람은 문제지 하나를 다 풀고 나서 정답을 채점하는데 어떤 사람은 문제지의 문제를 10개 단위로 끊어서 공부합니다. 문제 10개를 풀고 채점하고 다시 다음 문제 10개를 풀고 채점하고 반복하는 방식으로 학습한다는 거죠. 또한 게으른 사람은 문제지를 3번 공부하는데, 성실한 사람은 문제지의 문제를 달달 외울만큼 문제지를 100번 공부합..

loss는 손실 함수를 의미합니다. 손실 함수는 실제 값과 예측 값의 차이를 수치화해주는 함수입니다. 이 두 값의 차이 즉, 오차가 클수록 손실 함수의 값은 크고 오차가 작을수록 손실 함수의 값은 작아집니다. 회귀에서는 평균 제곱 오차, 분류 문제에서는 크로스 엔트로피를 주로 손실 함수로 사용합니다. 손실 함수의 값을 최소화하는 두 개의 매개변수인 가중치 w와 편향 b를 찾아가는 것이 딥러닝의 학습 과정이므로 손실 함수의 선정은 매우 중요합니다. loss: 손실함수. 훈련셋과 연관. 훈련에 사용. 1) 크로스 엔트로피(Cross-Entropy) Cross Entropy는 일반적으로 분류 태스크에 사용되는 손실함수입니다. 값이 낮을수록 예측한 확률이 실제 데이터의 확률과 비슷하다는 것을 뜻합니다. 두 개의..