Patrick's 데이터 세상

2022.11.21 - [Deep Learning/NLP 개발] - Huggingface 허깅페이스 파헤치기 Huggingface 허깅페이스 파헤치기 자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다. 이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 docume hipster4020.tistory.com 이전 포스팅에서 Huggingface의 전체적인 기능에 대해 알아보았다. 이번에는 Huggingface의 많은 기능 중에서 내가 중점적으로 다루는 NLP(Natural Language Processing) 기능에 대해 알아보려고 한다. 👉🏻 Use tokenizers from Hugg..

import konlpy konlpy.data.path 먼저 konlpy.data.path를 통해 자신의 pc에 konlpy가 설치된 경로를 찾는다. 나 같은 경우네는 m1 mac으로 '/Users/seonghwanpark/.pyenv/versions/3.8.15/envs/shpark/lib/python3.8/site-packages/konlpy/java'에 설치되었다. import os os.chdir('/Users/seonghwanpark/.pyenv/versions/3.8.15/envs/shpark/lib/python3.8/site-packages/konlpy/java') os.getcwd() !jar xvf open-korean-text-2.1.0.jar 먼저 konlpy/java에 open-ko..

okt import 후에 인스턴스 생성 시, zshrc에 java_path를 jdk있는 경로로 잡았는데도 가상환경에서 뭔가 충돌난건지... jvm 경로를 자꾸 다른 경로를 찾는 오류가 있어서 argument에 jvmpath를 직접 넣는 아래 커맨드로 해결했다. from konlpy.tag import Okt jvm_path = "/Library/Java/JavaVirtualMachines/zulu-15.jdk/Contents/Home/bin/java" okt = Okt(jvmpath=jvm_path)

네이버 한글 맞춤법 검사기로 만들어진 패키지로써 대화형 전처리 시에 굉장히 유용할 것 같아서 사용해보기로 했다. hanspell 설치 방법으로는 2가지가 있다. 👉🏻 pip 설치 pip3 install py-hanspell pip3로 설치하면 실패한다. 👉🏻 git setup.py 설치 다음으로 git에 있는 setup.py로 설치하는 방법으로 설치했다. git clone 후 python3 setup.py install 구문으로 설치하는 방법으로 설치해봤는데 해당 방법으로는 설치가 안됐고 아래 구문으로 설치했다. pip3 install git+https://github.com/ssut/py-hanspell.git from hanspell import spell_checker checked_sent1 = ..

자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다. 이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 documentation에 대해 알아보려고 한다. Hugging Face, Inc. is an American company that develops tools for building applications using machine learning. 허깅페이스는 기계 학습을 사용해 애플리케이션을 구축하기 위한 도구를 개발하는 미국 회사이다. 자연어 처리 어플리케이션 용으로 구축된 Transformers library와 사용자가 기계학습 모델 및 데이터 세트를 공유할 수 있는 플랫폼으로 ..

M1 Mac 환경에서 konlpy 사용 시에 Jvm Path 관련 이슈가 발생하였다. from konlpy.tag import Okt okt = Okt() JVM dll not found 오류가 발생하여 여러 포스팅을 봤는데 Oracle 공홈에서 mac용 JVM을 다시 깔아서 해결했다는 분들도 봤는데, 나의 경우는 Zulu Open JDK arm64용 15버전으로 해결하였다. 16 이상 버전은 호환이 되지 않는 듯 하다. https://www.azul.com/downloads/zulu-community/?version=java-15-mts&os=macos&architecture=arm-64-bit&package=jdk Downloads No matter the size of your company, Az..