Fast Campus 2024 Gen Con : Super Human Powered by AI 후기

 
 
 

 
 

패스트캠퍼스에서 진행하는 2024 GENCON 컨퍼런스에 참여하여 음성, 영상, 자연어처리 AI의 정보와 진보된 발전에 대해 유익한 정보를 들을 수 있었습니다.
 
 

---

GENCON SUPER HUMAN POWERED BY AI, 2024

GENCON은 2024년 1월 26일 금요일 10:00~17:00 강남 ST Center에서 진행하였고 굉장히 많은 인파가 컨퍼런스에 참여하기 위해 모였습니다.
생성형 AI를 활용하여 창작물에 적용하는 CREATIVE & CONTENTS TRACK1 과정과 생성형 AI를 서비스에 적용하는 SOFTWARE & AI SERVICE TRACK2 과정이 하루에 걸쳐 동시에 진행되었고 원하는 과정에 참여하여 듣는 방식이었습니다.

 
 

AI의 인기를 실감케 하는 많은 인파가 컨퍼런스 현장에 몰렸습니다.
TRACK 1, TRACK 2 모두 강연장이 거의 가득 차서 많은 사람들이 생성 AI에 대단히 관심이 많다는 걸 직접적으로 느꼈습니다.
개발 분야와 창작 분야 모두 AI를 활용하여 좀 더 좋은 서비스와 창작물을 만들려는 부분에서 공통적으로 보이기도 했습니다.
 
 

내부 사진은 공개 금지 조건이라 아쉽지만 입구 사진만 올렸습니다.
일정 팜플렛과 깔끔하고 예쁜 AI 관련 스티커도 받았습니다.

 
 

일정

CREATIVE & CONTENTS

TRACK 1 CREATIVE & CONTENTS은 생성형 AI를 활용하여 디자인, 글쓰기 등의 창작물을 제작이라는 주제로 진행되었습니다.

10:00~10:50
브랜드 디자인 컨설팅 회사 PlusX 변사범 님의 ’디자이너를 위한 생성 AI 활용법‘
11:00~11:50
네이버 김재엽 디렉터님의 ‘생성형 AI와 인터페이스의 미래’
13:00~13:50
NVIDIA 서재우 님의 ’Digital Human AI 기술의 현재와 미래‘
14:00~14:50
Runway의 이다영 님의 ’Designing for AI - Product 디자이너의 관점‘
15:00~15:50
미드저니 정준영 님의 ‘AI를 통한 새로운 글쓰기 Interaction과 Media’
16:00~16:50
Stable Diffusion의 SOY.LAB 최돈현 님의 ‘생성형 AI 시대, 크리에이터 찰나의 선택 #ComfyUI’


SOFTWARE & AI SERVICE

TRACK 2 SOFTWARE & AI SERVICE는 음성, 영상 처리, 자연어 처리 등에서 활용하는 생성형 AI를 주제로 진행되었습니다.
전체적으로 TRACK1, TRACK2 모두 강연하시는 분들이 굉장히 유명한 분들이고 굵직한 회사들이라 AI를 실제로 어떻게 활용하고 있는지에 대해 깊이 있게 알 수 있었습니다. 

 
10:00~10:50
음성 더빙, 가상 배우로 유명한 스타트업인 TypeCast 김태수 대표님의 ’생성형 AI를 이용한 오디오 비디오 콘텐츠 제작의 현재와 미래‘
11:00~11:50
마이크로소프트 고광범 님의 ‘ChatGPT와 OpenAI 서비스 구축 사례’
13:00~13:50
KAIST 주재걸 부교수님의 ’Gen AI Research in Computer Vision‘
14:00~14:50
AWS의 문곤수 님의 ’클라우드 기반 AI Application 전략 및 AWS AI 기술과 사례‘
15:00~15:50
NAVER Cloud Tech의 김성주 님의 '코드 작성 LLM과 AI로 변화되는 개발 환경'
16:00~16:50
원티드랩의 DT 사업개발 총괄 담당 주형민 님의 ‘원티드랩의 생성형 AI 서비스 도입 여정 그리고 미래’
 
 

컨퍼런스 내용

👉🏻 생성형 AI를 이용한 오디오 비디오 콘텐츠 제작의 현재와 미래 - 네오사피엔스 김태수

가장 먼저 진행한 Typecast 네오사피엔스의 김태수 대표님의 강연이었습니다. Typecast는 AI 성우와 가상인간 서비스를 제공하는 스타트업입니다. 구독자 260만의 '1분 요리 뚝딱이형'의 뚝딱이형과 잼민이의 목소리도 Typecast의 서비스를 이용한 것이라고 하고 저작권을 보유한 수많은 음성 데이터를 보유하고 있다고 합니다.

강의 요약

현재 미디어 콘텐츠 환경
기획&대본 → 녹음&녹화 → 리소스 → 편집 → 배포
                              ↓
               음성에 대한 니즈 발생(TTS)
 
오디오, 비디오는 아날로그 시그널 → 음성 샘플이 너무 많음
토큰화 후 모델에 넣으면 성능이 올라가지만 high dimension
 
◎ 생성형 AI 역할
 
interpolation

텍스트 → 이미지
y=f(x) 주어진 데이터에 대한 분포에서 없는 값을 예측
 
 
 
 
검색 vs 생성형 AI

 
검색 → 점에 해당하는 데이터 출력
생성형 AI → 빈 공간에 해당하는 데이터 출력
 
 
 
 
 
전통적 음성 합성기
검색과 같은 원리 - 주어진 텍스트의 발음에 해당하는 음성을 찾아서 출력
AI 음성 합성

 
← Neural Net ← Text  
 
 
 
· 원하는 상황에 맞는 출력 인사이트가 필요
· 프롬프트로 감정 조절(타입캐스트에서 개발)
 
◎ Emotion Transfer Learning
음성 감정 변경
 
◎ Cross-Lingual Voice Cloning Technology - 언어 변경
음성 언어 변경
 
◎ Talking Head : Emotion Expression
                    Emotion Prompt
◎ Talking Head : Lip Sync
◎ Talking Head : Custom avatar
이미지로 영상 생성
 
◎ Autonomous Virtual avatar
    오목교 전자 상가 - AI 버튜버 큐비트(프롬프트로 구현)
    https://youtu.be/C7u0Flxv-Ko?si=QitNGJh21KJT1WO6

 
 
◎ Other Gestures
이미지를 토대로 다른 제스처를 취하는 모델
 
음성과 이미지, 영상 처리에서 선두를 달리는 스타트업답게 많은 이미지, 영상, 음성 처리에서 엄청난 기술력을 보여주었습니다.
 
 

👉🏻 ChatGPT와 OpenAI 서비스 구축 사례 - Microsoft 엔터프라이즈 커머셜 사업부문장 김태수

Microsoft 엔터프라이즈 커머셜 사업부문장 고광범 님의 강연은 Microsoft 소개와 OpenAI의 협업 관계와 관련 모델을 통해 서비스를 구축한 사례에 대해 소개하셨습니다.

강의 요약

마소는 OpenAI와 파트너십 관계를 유지하고 있고 가장 큰 투자사라고 함.
자체 구축 모델을 보유하고 있고 시행착오를 거치고 있음. 프랑스 AI 스타트업 미스트랄과의 협업. 
2016년 chatbot 'Tay'의 실패 사례로 Responsible AI의 중요성이 대두
사용자들이 트롤링을 목적으로 Tay에게 인종차별적인 용어, 성차별 발언, 자극적인 정치적 발언 따위를 하도록 유도한 사건
국내 서비스 예시로는 '이루다'
 
OpenAI Service
생성 모델 : GPT-3 / GPT3.5 / GPT4, DALL-E2, Codex
Microsoft Azure
 
Copilot
워드, 엑셀, 파워포인트, 팀즈(미팅 서머리), 아웃룩
자연어 기반으로 통합하여 사용
예시) 엑셀 + chatgpt
 
DALL-E3
1. 언어 이해도 증가
2. 이미지 내 글자 반영
3. 아티스트 저작권 반영
4. 대화를 통한 이미지 생성
 
DALL-E3 : 전체적으로 Stable Diffusion보다 성능 좋음
Stable Diffusion : 이미지 내 글자 반영 안 됨
 
· Use Cases
1.0 : Content Generation, Summarization, Code Generation, Semantic Search
2.0 : Industry별 특화 Solution으로 진화 + Customers Bringing it to Life
 
 
ChatGPT와 OpenAI 서비스 구축 사례
 
Azure ChatGPT 활용 해외 사례
◎ Morgan Stanley - B2E
PB가 모든 금융 상품을 알지 못하므로 추천 서비스 구축
◎ Carmax
중고차 콘텐츠 내용 요약, 추천
◎ AI Powering Automotive Industries
◎ GPT-4 기술과 기존 AI 기술의 협력을 통한 업무 혁신 
   미국 병원 도입 사례 : 환자 상담 기록을 남겨 Review of System 완료, EMR로 전송 지시 → EMR 기록을 참조하여 Drafting Email 작성 → 최종 의사 Review 후 전송
   의사 피로도 ↓, 환자 편의 ↑
◎ 무역회사 제안서 토픽 생성, 대용량 문서 핵심 정보 추출 및 요약
 
Azure ChatGPT 활용 국내 사례
◎ 배민 - 송파구 한정
    GPT4 활용하여 컨텍스트로 키워드 선별 → 벡터 기반 유사어 →컨텍스트-메뉴 조합 → 클러스트화 → 큐레이션 생성
◎ 정육각 - 초록마을
    GPT4를 활용한 검색 엔진 고도화에 1개월 내 수행 완료
     모바일 앱 고객 매출 14% 향상
◎ 효돌 사례
     인형에 인공지능을 넣어 대화형 서비스를 제공하고 아프면 인근 병원에 연락
 
주요 시사점
- 진성 전문가와 유사 전문가의 판별이 강화
- 휴면 본질의 업무에 대해 가치를 인정받을 것
- 개인의 AI 기술 활용 여부가 업무 생산성과 개인의 업무 역량과 직결될 것
 
 

👉🏻 Gen AI Research in Computer Vision - KAIST 주재걸 부교수

3번째 강연은 KAIST의 주재걸 부교수님께서 컴퓨터 비전 분야 생성 AI의 최신 동향과 관련 모델들에 대해 설명해 주셨습니다.

 

강의 요약

이미지/비디오와 더불어, 텍스트 등의 이종 데이터를 함께 활용하는 Multi-Modal 모델도 각광받고 있음
2D 이미지의 3D 복원 및 3D 생성 모델
DALL-E1 → DALL-E2 → IMAGEN
 
· DDPM(Denosing Diffusion Probablistic Model)
입력 : 말을 타고 있는 우주 비행사
노이즈 이미지 학습
 
· 확산 기반 모델
Denosing AutoEncoder
 
· Stable Diffusion
오픈소스 형태의 대규모 확산 생성 모델
LAION-5B 대규모 텍스트 이미지 쌍 데이터셋
 
· Paint by Example
예시 이미지를 활용하여 Diffusion Model을 기반으로 이미지 수정
★ 피사체 대체
 
· Dream Booth
개인화된 이미지 생성 기술
Stable Diffusion 기반
 
· Civitai.com
개인이 학습한 모델 공유 플랫폼
 
· Magicapture
개인화된 이미지 생성 기술
레퍼사진 몇 장으로 다른 스타일 이미지 생성
Realistic Vision 체크포인트 + Magicapture
 
· ControlNet
다양한 입력 정보를 반영한 이미지 생성
 
· Stable Diffusion UI tools
Automatic1111
ComfyUI
 
· Plug-and-Play Diffusion
텍스트를 통한 이미지 편집
 
· SDXL
Stable Diffusion 후속 버전
 
· NovelAI
스토리 창작 및 캐릭터 이미지 합성 서비스
 
· VideoLDM, Animate Diff
Stable Diffusion 기반 비디오 생성 기술
 
· 모션 주입 비디오 생성
GAN 기반, 자세 정보를 추출하여 이미지에 주입 후 영상 생성
 
· Anymate Anyone
GAN 기반, 인공지능 기반 자동 채색
 
· Vision Virtual Try-on
Stable VITON : Diffusion Model 기반
Outfit Anyone
 
· 헤어스타일 변환
· 2차원 영상에서 3차원 복원 NeRF 2d → 3d
· 3d GAUSSIAN
 
Diffusion 기반 생성 모델과 긴밀하게 결합된 3D-aware 딥러닝 모델 구조 및 학습 방법에 대한 지속적인 연구가 필요함
 
 

👉🏻 클라우드 기반 AI Application 전략 및 AWS AI 기술과 사례 - AWS Sr.AIML Specialist Solutions Architect / World-Wide Specialist Organization - 문곤수

AWS AIML 스페셜리스트 문곤수 님의 생성형 AI를 활용하여 기업에 적용하는 프롬프트 엔지니어링, 검색증강생성(RAG), 에이전트(Agent), 파인튜닝, 파운데이션 모델 학습 등에 대해 설명해 주셨습니다.
개인적으로 RAG를 활용하여 서비스를 구축하는 프로젝트를 진행하고 있어 굉장히 유익했고 역시 AWS 답게 기술의 최정점에 있다는 생각이 들었습니다.
 

강의 요약

· 2023 The Year of POCs
FM이 초점이다. 안 하면 뒤쳐진다는 두려움. 멋진 것만 고르자.(체리픽)
프로덕션 예상 모델 추론 비용. 실제 프로덕션으로 갈 수 있을까?
 
· Trends expected in 2024
POC에서 프로덕션으로 전환.
 
· 생성형 AI Application "프로덕션" 실행 전략
Business Value, Data Availability, Abillity to Execute, Suitable Cost
 
· Generative AI Use Case 사례
직원 생산성 및 창의성 향상 : 코드 개발 어시스턴트 또는 자동화, 텍스트에서 인사이트 만들기, 미디어 생성 또는 수정, 대화형 검색, 문서 처리, 텍스트로부터 콘텐츠 생성, 데이터 증강
고객 경험 향상 : 챗봇 보이스봇, 개인화
 
· 생성형 AI Use Case Qualificatoin
확장성(Scalability), 낮은 비용(Lower Cost), 보안(Security), 구현 용이성(Ease of Implementation), 양질의 충분한 데이터(High Quality Data), 실행 능력(Ability to Execute)
 
· AWS GEN AI
생성형 AI 기업형 Full Stack Ready
Amazon Q, Amazon Q in, Amazon QuickSight, Amazon Connect, Amazon CodeWhisperer
Amazon Bedrock 등...
 
· 생성형 AI Application 구현 패턴 

#1. 상황 별 프롬프트 엔지니어링	#2. 검색 증강 생성(RAG)	#3. 에이전트(Agent)	#4. 모델 파인 튜닝	#5. 베이스 모델 훈련
파운데이션 모델을 사용하여 In-context learning		파운데이션 모델을 이용하여 추론과 액션을 통한 특정 작업을 수행	파운데이션 모델을 사용하여 모델 파인 튜닝	자신만의 모델 학습

 
· 프롬프트 엔지니어링
AI 시스템에 응답을 유도하는 텍스트 입력 값
· 프롬프트 엔지니어링이란?
파운데이션 모델과 거대 언어 모델이 원하는 답변을 하도록 NLP(자연어 처리) 기술을 이용해 프롬프트를 만드는 것
모델의 행동에 대한 정교하고 전략적인 통제 가능
원하는 성능을 달성
위험 완화
 
· 개인화 댓글 데모
유저의 상품 리뷰에 대해 해당 유저의 정보(남성/여성, 연령대, 최근 구매 상품, 최근 구매 횟수) 및 상품 리뷰의 긍정/부정에 기반한 '댓글' 생성 - 프롬프트 구현, 유저 맞춤형 추천 생성
 
프론트엔드(Amazon CloudFront, Bucket) → Amazon API Gateway → 백엔드(AWS Step Fuctions workflow(matchInfoLambda, replyGenerateLambda, alertSendLambda), Amazon DynamoDB-판매 데이터, Amazon Bedrock-ANTHROP\C, Amazon SNS(Simple Notification Service)-이메일 알림)
프론트엔드, 백엔드 모두 AWS 서비스를 활용하여 구현함
 
· RAG
Question Answering
                               질문 → Foundation Model → Answer 
                                                        ↓↑
기업 지식(FAQ, PDF, Doc) → Vector DataStores
 
RAG 시스템이 프로덕션 환경에서 잘 안 되는 이유
문서 정보를 벡터화하여 Lexical Search, Semantic Search로 만드는 것이 굉장히 어려움
 
개선
Amazon OpenSearch Index 정의 : 한글 형태소 노리 분석기 → 메타 정의(필터링 및 출처 정보 제공 위함) → 문서 Text 정의(렉시컬, 키워드 검색을 위함) → 벡터 필드 정의(시멘틱 검색을 위함)
정확도는 정답의 컨텍스트 내 위치와 관련 있다. → 질문의 답변이 컨텍스트 안에 있다고 능사가 아니다.
Re-Ranker로 검색을 정교하게 하자 - Two-stage Retrieval System(Retriever + ReRanker)
Methods
retrival pipeline : Hybrid-Fusion, Reranker, Parent doc
 
· Agent
에이전트는 어떤 목적을 달성하기 위해 사용자와 환경, 즉 외부 시스템과 동적인 상호작용을 통해 자율적으로 어떤 행동을 취할 수 있는 소프트웨어라고 정의
 
· AWS Fine-tuning
Amazon Bedrock : Serverless API 기반의 완전 관리형 서비스
SageMaker JumpStart : 파운데이션 모델허브로서 UI 및 API를 제공하고 파인튜닝, 디폴트 데이터셋, 추론 스크립트 제공
SageMaker Training : 완전 관리형 서비스로 확장성/프로덕션 측면의 모델 훈련 배포에 최적화된 서비스
SageMaker HyperPod : 대규모 ML 병렬 훈련을 위한 탄력적인 컴퓨팅 클러스터를 제공, Fine-tuning 학습 후 바로 배포가 가능
AWS Innovation Center : Private 파인 튜닝 서비스
 
· 정리
AWS 서비스가 굉장히 강력해서 AWS만 사용해도 학습, 배포까지 완벽하게 가능할 것 같다..
기업의 데이터로 특화하여 파운데이션 모델과 기업의 데이터가 유기적으로 결합되어야 한다.
기술과 역할을 파악하고, 비용을 고려한 적합한 서비스 선택이 필요.
 
 

👉🏻 코드 작성 LLM과 AI로 변화되는 개발 환경 - NAVER Cloud Tech Lead 김성주

NAVER Cloud Tech Lead 김성주 님이 코드 생성 LLM 관련하여 많은 정보를 주셨습니다.
 

강의 요약

· 개발자의 시간을 잡아먹는 문제들
사내/외 라이브러리 사용법, 환경 설정 Error, 사내/외 툴 사용법, 개발 중 Error 디버깅
 
· 개발자 생산 향상성을 돕는 code LLM
- 맥락을 이해한 대화
- 코드 추천
GitHub Copilot, tabnine, Duet AI for Developers - VSCode Extension, Sourcegraph
 
· codeLLM의 원리
p(text) : LLM 원리
p(middle | prefix, suffix) : 코드 자동 완성의 원리
LLM은 P(text)를 계산할 수 있는 큰 모델(Transformer - LongTerm Appendency, Attention)
 
· Factorization of joint Probability
자연어처리 모델 일반적인 학습
 
· 코드 자동완성 원리
Fill in the middle - Autoregressive 하게 풀기 위해
일반적으로 모델의 크기를 키우면 성능 ↑
 
· 생성 모델 발전 추이
2018 BERT - Google → GPT1 - OpenAI → 2019 T5 - Google → GPT2 - OpenAI → BART, ELECTRA, MTDNN, REALM ... → 2020 GPT3 - OpenAI : 프롬프트 엔지니어링 등장 → 2021 HyperCLOVA, ExT5, PaLM ... → 2022 ChatGPT - OpenAI → 2023 GPT4 - OpenAI → Llama, CodeLlama, PaLM2 - Meta, Gemini - Google, HyperCLOVA X - Naver, Qwen, Open Source LLMs - Alibaba
발전된 모델이 출시되는 속도가 1년 단위였지만 현재는 1개월 단위로 쏟아지고 있음... 
 
· 발전 가능성
Chat to Code : 코드 초안 작성, SQL 작성, 디버깅, 라이브러리 사용법, Markdown으로 정리 요청, 코드 설명
가능성 : PR requests 설명 생성, Code LLM 기반 E2E 프로그램 생성, GIthub 이슈 업로드 - AI가 PR 생성 후 해결, 스스로 발전하는 AI
 
 

👉🏻 원티드랩의 생성형 AI 서비스 도입 여정 그리고 미래 - 원티드랩 DT 사업개발 총괄 주형민

원티드랩 사업개발 총괄 담당 주형민 님이 AI에 진심인 원티드랩에서 모델을 활용하여 적용하고 시행착오를 겪은 많은 사례들을 소개해 주셨습니다.
 

강의 요약

· 원티드 설명
원티드, 긱스, 스페이스-HR 관련, 인사이트
 
· 신기술 수용 기준 - high
· POC(Proof of Concept) 개념 검증 - medium
 
· 원티드 LLM
1. 플랫폼 - 모든 참여자가 하나로 연결
2. 예측 - 효율을 높이기 위해 예측을 해주는 단계
3. 코칭 - 성사율을 높이기 위해 코칭을 해주는 단계
4. 자동화 - 예측/코칭 등이 유기적으로 결합하여 운영되는 형태
 
· 원티드 운영 사례
적용해 보고 시행착오를 겪어보자
AI 면접 코칭, 이력서 코칭, 이력서 자동 요약, 포지션 추천 사유, 추천사 작성, 커리어맵, 커뮤니티 매니저, CS 매니저
 
· 문제 이슈
너무 많은 Comms, Cost 소요 : 개발, 변경 시 약 2주 기간 소요(소스코드 프롬프트 반영, 변수 처리 항목 추가 설정, 테스트 및 배포), 전체 사이클이 반복됨
부정적 고객 경험 최소화를 위해 실시간 변경이 중요
 

확산 단계의 문제점	해결 방향	해결 방안
프롬프트 엔지니어 vs 개발자간 높은 Communication Cost	프롬프트 개발과정 최대한 단순화	누구나 쉽게 프롬프트와 변수 설정하여 개발
의도하지 않은 결과 대으엥 너무 많은 시간 소요	프롬프트 변경 사항 서비스 실시간 반영	프롬프트 변경 시 개발자를 거치지 않고 재개발/배포
PO 부서별 유사한 시행 착오 반복적으로 발생	개발된 프롬프트의 공유 활성화	프롬프트를 서로 공유하고 Knowhow 축적 가능한 우리만의 환경 구축

 
원티드 생성형 AI 개발 환경 '빠른 개발', '쉬운 배포/호출/업데이트', 'Function Calling'
 
· 원티드 생성형 AI 운영
장애 발생 대응 위해 실시간 LLM 변경 환경 구성
테스트 자동화
혁신 서비스 개발을 시도하는 구성원과 횟수 자연스럽게 증가
 
· 원티드 Laas(LLM as a Service)
거대언어모델을 누구나 쉽게 서비스처럼 사용하게 하자.
원티드랩 생성형 AI 서비스 개발 및 운영 노하우
 
· 생성형 AI 서비스 도입 시 고려할 점
단계적 접근 방식으로 추진, Use Case를 도출해야 효과, BU별 탐색적 접근 통한 적용, 일하는 방법 전체가 변할 수 있음을 인지
 
· 실행의 경험치를 확보
· 쉬워지는 기술 적용, 아이디어로 승부 보자.
· 현실적인 유즈케이스를 도출하자.
· 전시적인 주요 어젠다로 접근하자.
 
 

👉🏻 결론

음성, 이미지, 영상, 자연어처리 다양한 분야에서 생성형 모델을 활용한 사례를 비즈니스, 개발적인 측면 모두 고려하여 들을 수 있는 유익한 컨퍼런스였습니다.
사업이나 개발의 최전선에 있는 분들의 생생한 후기를 들었고 앞으로 서비스 구축에 좀 더 시야가 열리지 않을까 하는 기대감이 듭니다.
전문가분들의 전체적인 의견은 '분야 별 강자인 업체들과의 이합집산이 필요하다.', '인간 본질의 업무에 대해 가치를 인정받을 것이고 AI 기술을 활용하는 것이 업무 생산성과 개인 업무 역량과 직결될 것이다.', 'AI를 통한 생산성 향상으로 AI augmented Developer/Human이 되어야 한다.', '빠르게 적응하여 경험과 노하우 축적이 중요하다.'입니다.
앞서 말한 의견을 종합해 보자면 AI 기술과 공생하여 개인의 역량을 발전하는 것이 하나의 공통된 의견이었습니다.