😎초거대 언어모델 경량화 기술의 총합(?)_ GPT4All 소개😎

- LLaMA 7B 모델 파인튜닝
- GPT3.5-turbo 로 학습데이터 생성 (~800K)
- 4Bit 양자화 적용
- LoRA 적용
- CPP 구현체 지원

- 4일간 작업
- 실패 포함 GPU 800 달러 비용
- OpenAI API 500 달러 비용
- gpt4all-lora 학습 100 달러 비용
- DGX A100 8x 80GB에서 8시간 학습

01:45 LLaMA
02:56 Alpaca
05:00 Vicuna 13B
07:17 CPP 추론모델
08:05 양자화(Quatization)
09:30 LoRA(Low-rank adaptation)
11:15 GPT4ALL 소개


github
https://github.com/nomic-ai/gpt4all

Technical Report
https://s3.amazonaws.com/static.nomic...

LLaMA 소개
   • ChatGPT보다 성능이 더 뛰어나다? _  메타의 언어모델, LL...  

제공 : 한국인공지능아카데미
ai-academy.ai