목록Deep Learning/NLP 개발 (17)
Patrick's 데이터 세상
자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다. 이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 documentation에 대해 알아보려고 한다. Hugging Face, Inc. is an American company that develops tools for building applications using machine learning. 허깅페이스는 기계 학습을 사용해 애플리케이션을 구축하기 위한 도구를 개발하는 미국 회사이다. 자연어 처리 어플리케이션 용으로 구축된 Transformers library와 사용자가 기계학습 모델 및 데이터 세트를 공유할 수 있는 플랫폼으로 ..
M1 Mac 환경에서 konlpy 사용 시에 Jvm Path 관련 이슈가 발생하였다. from konlpy.tag import Okt okt = Okt() JVM dll not found 오류가 발생하여 여러 포스팅을 봤는데 Oracle 공홈에서 mac용 JVM을 다시 깔아서 해결했다는 분들도 봤는데, 나의 경우는 Zulu Open JDK arm64용 15버전으로 해결하였다. 16 이상 버전은 호환이 되지 않는 듯 하다. https://www.azul.com/downloads/zulu-community/?version=java-15-mts&os=macos&architecture=arm-64-bit&package=jdk Downloads No matter the size of your company, Az..
https://github.com/hipster4020/sentiment_classification GitHub - hipster4020/sentiment_classification: 긍정/부정/중립 3개로 분류하는 classification 모델 with active learn 긍정/부정/중립 3개로 분류하는 classification 모델 with active learning - GitHub - hipster4020/sentiment_classification: 긍정/부정/중립 3개로 분류하는 classification 모델 with active learning github.com 👉🏻 model Electra with Active Learning 본문 텍스트를 통해 긍정, 중립, 부정으로 분류하는 ..
2022.02.27 - [Deep Learning/NLP(Natural Language Processing)] - Transformer Encoder 카테고리 분류 개발 후기 - 1. Tokenizer Transformer Encoder 카테고리 분류 개발 후기 - 1. Tokenizer 그동안 회사에서 작업했던 30개 카테고리 class 분류 모델 개발 과정 및 삽질 과정을 기록하려고 한다. 전체 프로세스에 대한 공유 목적이자 다시 공부하려는 목적이기도 하다. https://github.com/hipste hipster4020.tistory.com Transformer Encoder 카테고리 분류 모델 1부에서 BPE Tokenizer 학습에 대해 정리해보았다. 2부에서는 model train 전체 프..
그동안 회사에서 작업했던 30개 카테고리 class 분류 모델 개발 과정 및 삽질 과정을 기록하려고 한다. 전체 프로세스에 대한 공유 목적이자 다시 공부하려는 목적이기도 하다. https://github.com/hipster4020/category_classification GitHub - hipster4020/category_classification: 뉴스 카테고리 분류 뉴스 카테고리 분류. Contribute to hipster4020/category_classification development by creating an account on GitHub. github.com 👉🏻 작업 환경 GPU type NVIDIA GeForce RTX 3090 CPU count 48 GPU count 4 C..