목록전체 글 (176)
Patrick's 데이터 세상
개발할 때 작업자가 직접 formatting 하는 것은 한계가 있기 때문에 vscode에서 사용하는 자동 formatting을 맞춰주는 것이 정신건강(?)에 이롭다. vscode에서 1차로 자동 포매팅을 하고 git pre-commit에서 2차로 확인하도록 세팅해 두었다. Black 엄격한 코드 포매터 (커스텀할 여지가 많지 않음) 한 줄이 88자가 넘어가지 않도록 강제 개행 시켜주는 기능이 대표적입니다 isort Black이 잡아주지 못하는, import 순서 정렬해 주는 기능을 담당합니다 파이썬 built-in 모듈인지, first party 모듈인지, third party 모듈인지도 구분해 줍니다. Flake8 앞선 두 코드 품질 관리 도구가 형식적인 측면을 잡아주는 반면, 개발자의 실수가 유발될 ..
개발 환경 구축은 농사 짓기 전 터를 잡고 밭을 가는 것과 동일하게 매우 중요한 초석을 다지는 일이다. 필자는 pyenv+pyenv-virtualenv로 환경을 잡았고 poetry도 적극 활용하려고 하였으나 버전이 잘 맞지 않아 poetry는 생략하고 후에 적용해보려고 한다. pyenv 설치 brew update brew install pyenv pyenv 설정 echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/..
https://arxiv.org/abs/1901.11196 EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classificati arxiv.org 소개 Te..
2022.11.21 - [Deep Learning/NLP 개발] - Huggingface 허깅페이스 파헤치기 Huggingface 허깅페이스 파헤치기 자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다. 이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 docume hipster4020.tistory.com 이전 포스팅에서 Huggingface의 전체적인 기능에 대해 알아보았다. 이번에는 Huggingface의 많은 기능 중에서 내가 중점적으로 다루는 NLP(Natural Language Processing) 기능에 대해 알아보려고 한다. 👉🏻 Use tokenizers from Hugg..
import konlpy konlpy.data.path 먼저 konlpy.data.path를 통해 자신의 pc에 konlpy가 설치된 경로를 찾는다. 나 같은 경우네는 m1 mac으로 '/Users/seonghwanpark/.pyenv/versions/3.8.15/envs/shpark/lib/python3.8/site-packages/konlpy/java'에 설치되었다. import os os.chdir('/Users/seonghwanpark/.pyenv/versions/3.8.15/envs/shpark/lib/python3.8/site-packages/konlpy/java') os.getcwd() !jar xvf open-korean-text-2.1.0.jar 먼저 konlpy/java에 open-ko..
okt import 후에 인스턴스 생성 시, zshrc에 java_path를 jdk있는 경로로 잡았는데도 가상환경에서 뭔가 충돌난건지... jvm 경로를 자꾸 다른 경로를 찾는 오류가 있어서 argument에 jvmpath를 직접 넣는 아래 커맨드로 해결했다. from konlpy.tag import Okt jvm_path = "/Library/Java/JavaVirtualMachines/zulu-15.jdk/Contents/Home/bin/java" okt = Okt(jvmpath=jvm_path)