* https://github.com/oobabooga/text-gen...
1. Windows one-click installer 다운로드, 압축 풀기
2. start_windows.bat 실행
2.a) GPU 선택
2.b) 모델 다운로드

GGML/GPTQ 모델들 다운로드 위치: https://huggingface.co/TheBloke

GGML 모델(CPU) 다운로드
1) HuggingFace에서 GGML 모델 페이지에서 제목 옆 Copy model to clipboard 선택
2) text-generation-webui Model 왼쪽 하단에 붙여넣기 후 다운로드
3) bin 파일 여러개 다운로드됐다면, 4bit compatibility 버전 제외 삭제
4) webui Model에서 모델 선택

GPTQ 모델(GPU) 다운로드
1) HuggingFace에서 GPTQ 모델 페이지에서 제목 옆 Copy model to clipboard 선택
2) text-generation-webui Model 왼쪽 하단에 붙여넣기 후 다운로드
3) webui Model에서 모델 선택
4) GPTQ 파라미터에 4bit, 128 groupsize, LLaMA 선택 후 "save settings for this model" 선택
5) "Reload the model" 선택

MPT 모델(GPU, 16bit) 다운로드 ( https://huggingface.co/mosaicml )
1) text-generation-webui Model 왼쪽 하단에 mosaicml/mpt-7b-instruct 붙여넣기 후 다운로드
2) webui.py 에 --trust-remote-code 추가 ( # put your flags here! 있는 라인 )
3) cmd_windows.bat 실행 후 창에서 pip install einops
4) webui 재시작 후 모델 선택

추천 모델들:
(GPU) https://huggingface.co/TheBloke/Wizar...
(GPU) https://huggingface.co/TheBloke/stabl...
(GPU) https://huggingface.co/TheBloke/GPT4A...
(GPU) https://huggingface.co/mosaicml/mpt-7...

(CPU) https://huggingface.co/TheBloke/Wizar...
(CPU) https://huggingface.co/TheBloke/stabl...
(CPU) https://huggingface.co/TheBloke/GPT4A...

------------------
00:00 text-generation-webui 설치
05:10 GGML 모델 다운로드/설치
15:00 GPTQ 모델 다운로드/설치
19:05 MPT 모델 다운로드/설치

#textgenerationwebui #oobabooga #llm #ggml #gptq #mpt