Patrick's 데이터 세상

자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다.이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 documentation에 대해 알아보려고 한다.Hugging Face, Inc. is an American company that develops tools for building applications using machine learning.허깅페이스는 기계 학습을 사용해 애플리케이션을 구축하기 위한 도구를 개발하는 미국 회사이다.자연어 처리 어플리케이션 용으로 구축된 Transformers library와 사용자가 기계학습 모델 및 데이터 세트를 공유할 수 있는 플랫폼으로 가장 유..

M1 Mac 환경에서 konlpy 사용 시에 Jvm Path 관련 이슈가 발생하였다. from konlpy.tag import Okt okt = Okt() JVM dll not found 오류가 발생하여 여러 포스팅을 봤는데 Oracle 공홈에서 mac용 JVM을 다시 깔아서 해결했다는 분들도 봤는데, 나의 경우는 Zulu Open JDK arm64용 15버전으로 해결하였다. 16 이상 버전은 호환이 되지 않는 듯 하다. https://www.azul.com/downloads/zulu-community/?version=java-15-mts&os=macos&architecture=arm-64-bit&package=jdk Downloads No matter the size of your company, Az..

👉🏻 장기의존성 문제 Vanilla RNN의 한계로 인해 RNN의 변형으로 앞서 본 BIdirectional RNN과 LSTM 개념이 등장했습니다. Vanilla RNN의 한계 첫 번째 입력 x1의 정보량에서는 짙은 남색인데 시점이 지날수록 색이 흐려지는 것처럼 앞의 정보가 뒤로 충분히 전달되지 않는 문제가 발생합니다. (비교적 짧은 sequence에서만 효과를 보임) ex) "정부가 지난 8일부터 17일까지 이어진 집중호우 피해지역에 대한 사전조사 결과를 토대로 특별재난지역 선포기준 충족이 확실시되는 서울, 경기, 강원, 충남 지역 10개 지자체에 대해 대통령 재가를 받아 특별재난지역으로 우선 선포했다. 22일 중앙재난안전대책본부는 중앙합동조사 전 집중호우 피해의 신속한 수습·복구를 위한 정부 차원의 ..

RNN 👉🏻 개요 RNN(Recurrent Neural Network) 순환 신경망 모델은 입력과 출력을 Sequence 단위로 처리하는 가장 기본적인 시퀀스 모델입니다. 기존의 신경망은 전부 은닉층에서 활성화 함수를 지닌 값이 오직 출력층 방향으로 가는 FFNN(Feed Forward Neural Network)였습니다. RNN은 은닉층 노드에서 활성화 함수를 통해 나온 값을 출력층 방향으로 보내고, 다시 은닉층 노드의 다음 계산의 입력으로 보냅니다. 👉🏻 기본 구조 은닉층 메모리 셀은 각 시점(time step)에서 바로 이전 시점의 은닉층 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동을 합니다. 은닉층에서 활성화 함수를 통해 결과를 내보내는 노드 : cell 이전의 값을 기억하려고 ..

https://github.com/hipster4020/sentiment_classification GitHub - hipster4020/sentiment_classification: 긍정/부정/중립 3개로 분류하는 classification 모델 with active learn긍정/부정/중립 3개로 분류하는 classification 모델 with active learning - GitHub - hipster4020/sentiment_classification: 긍정/부정/중립 3개로 분류하는 classification 모델 with active learninggithub.com   👉🏻 model Electra with Active Learning 본문 텍스트를 통해 긍정, 중립, 부정으로 분류하..

https://arxiv.org/abs/2003.10555 ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators Masked language modeling (MLM) pre-training methods such as BERT corrupt the input by replacing some tokens with [MASK] and then train a model to reconstruct the original tokens. While they produce good results when transferred to downstream NLP tasks, the arxiv.org 제목 ELECTRA: Pre-train..