Patrick's 데이터 세상

해마다 삼성역 코엑스에서 진행하는 AI EXPO(국제 인공지능대전)에 5.11 목에 참석하였습니다. 국제인공지능대전(AI EXPO KOREA), 2023 (사)한국인공지능협회, ㈜서울메쎄, 인공지능신문이 주관하는 AI EXPO는 서울 COEX 3층 Hall D에서 5.10(수)~5.12(금) 총 3일간 진행되었고, 관람 시간은 10:00~17:00(입장 마감 16:30)입니다. 올해도 많은 관람객 및 바이어가 방문하여 인공지능 분야에 대한 인기가 꾸준히 많은 것을 알 수 있었습니다. 인공지능 기반의 제조/생산, 영상분석, 유통, 언어처리, 로봇, 데이터 구축 및 다양한 지식서비스를 제공하는 유망한 기업들이 참가하였습니다. 개인적인 체감으로는 영상 관련, 그리고 ChatGPT의 등장으로 작년보다 훨씬 많은..

LangChain은 LLM에서 구동되는 APP을 개발하기 위한 프레임워크입니다.LangChain에서 제공되는 라이브러리를 활용하여 쉽게 LLM 기술들을 활용할 수 있습니다.현재는 Javascript, Python으로 구분해서 관리되고 있고 Python으로 설명드리겠습니다.  LangChain은 크게 두 가지 원칙에 기반하여 작성되었습니다.Be data-aware : 언어 모델을 다른 데이터 원본에 연결합니다.Be agentic : 언어 모델이 해당 환경과 상호 작용할 수 있도록 허용합니다.예제를 통해 사용법에 대해 알아보겠습니다.  0. 패키지 설치!pip install openai!pip install langchainllm 모델 openai, langchain 관련!pip install google-..

이번 포스팅에서는 회사 업무에서 사용했던 형태소 분석기의 간략한 설명과 code 예시를 정리해보려고 한다. 형태소 분석기는 Pororo, Okt(Open Korean Text), Mecab, Soynlp LTokenizer 등을 사용하였다. 구축 환경 : Google Colaboratory Pro Plus 👉🏻 Pororo 뽀로로는 카카오 브레인(Kakao Brain)에서 개발한 자연어 처리 라이브러리이다. 자연어 처리와 음성 관련 태스크를 수행하기 위한 목적으로 만들어졌다. 뽀로로는 설치가 좀 까다롭다. model을 load 하는 방식이다 보니 cuda를 사용하는 부분이 있는데 server에서 따로 container 가상화를 구축하고 있지 않은 경우에서는 충돌이 일어나기 때문에 내 정신 건강을 위해 코..

https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-b..

개발할 때 작업자가 직접 formatting 하는 것은 한계가 있기 때문에 vscode에서 사용하는 자동 formatting을 맞춰주는 것이 정신건강(?)에 이롭다.vscode에서 1차로 자동 포매팅을 하고 git pre-commit에서 2차로 확인하도록 세팅해 두었다. Black엄격한 코드 포매터 (커스텀할 여지가 많지 않음)한 줄이 88자가 넘어가지 않도록 강제 개행 시켜주는 기능이 대표적입니다isortBlack이 잡아주지 못하는, import 순서 정렬해 주는 기능을 담당합니다파이썬 built-in 모듈인지, first party 모듈인지, third party 모듈인지도 구분해 줍니다.Flake8앞선 두 코드 품질 관리 도구가 형식적인 측면을 잡아주는 반면, 개발자의 실수가 유발될 수 있는 의미적..

개발 환경 구축은 농사 짓기 전 터를 잡고 밭을 가는 것과 동일하게 매우 중요한 초석을 다지는 일이다.필자는 pyenv+pyenv-virtualenv로 환경을 잡았고 poetry도 적극 활용하려고 하였으나 버전이 잘 맞지 않아 poetry는 생략하고 후에 적용해보려고 한다.  pyenv 설치brew updatebrew install pyenvpyenv 설정echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrcecho 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrcecho -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/.zshr..