Patrick's 데이터 세상

🙋🏻 1월 13일 출간된 제 책을 소개해 드리려고 합니다.주제는 자연어 처리(NLP)를 위한 허깅페이스(Huggingface) 가이드입니다. 실습 코드와 결과물 위주로 언어 모델과 트랜스포머를 이해할 수 있도록 허깅페이스 기능을 담았습니다.Colab 환경 구축, Datasets, Tokenizer, Datacollator, Model, Trainer - Finetuning, PEFT, Quantization, TRL 관련 내용을 제공합니다.👉🏻 이런 분께 추천합니다. 딥러닝 기반 자연어 처리 입문서인공지능 관련 학과 대학생, 딥러닝 기초 지식 보유자실전 프로젝트를 맛볼 수 있는 도서허깅페이스를 깊게 활용해보고 싶은 분업무에 바로 적용할 수 있는 실용서현업 NLP 엔지니어, 다양한 코드로 기술을 레..

huggingface의 transformer 라이브러리에서 model.generate는 모든 자동 회귀 auto-regressive 언어 모델에 적용 가능합니다.이 generate 함수를 이용해서 문장 생성 하는데 보다 적은 노력으로 훌륭한 문장을 생성할 수 있습니다. 문장A: GPT3는 문장을 생성한다문장을 확률로 표현하고 싶을때, 위 문장의 확률은 P(GPT3) P(문장을∣GPT3) P(생성한다∣GPT3, 문장을) 과 같이 조건부 확률의 곱입니다.  auto-regressiveauto-regressive은 문장의 확률값을 구하듯이 이전의 단어들로 다음 단어의 확률을 예측하면서 방식을 말합니다.현재 transformers에서 auto-regressive 언어 생성을 사용할 수 있는 모델은 GPT 계열 ..

2022.11.21 - [Deep Learning/NLP 개발] - Huggingface 허깅페이스 파헤치기 Huggingface 허깅페이스 파헤치기자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다. 이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 documehipster4020.tistory.com이전 포스팅에서 Huggingface의 전체적인 기능에 대해 알아보았다.  이번에는 Huggingface의 많은 기능 중에서 내가 중점적으로 다루는 NLP(Natural Language Processing) 기능에 대해 알아보려고 한다.  👉🏻 Use tokenizers from Hug..

자연어 처리 포함 모든 딥러닝 학습 시에 pretrained 된 모델을 사용하다 보면 가장 많이 접하는 것이 바로 Huggingface이다.이 포스팅에서는 Huggingface를 좀 더 자세히 알아보고 주요 기능에 대한 documentation에 대해 알아보려고 한다.Hugging Face, Inc. is an American company that develops tools for building applications using machine learning.허깅페이스는 기계 학습을 사용해 애플리케이션을 구축하기 위한 도구를 개발하는 미국 회사이다.자연어 처리 어플리케이션 용으로 구축된 Transformers library와 사용자가 기계학습 모델 및 데이터 세트를 공유할 수 있는 플랫폼으로 가장 유..