달라이(Dalai)로 맥에서 Alpaca 설치.

https://github.com/cocktailpeanut/dalai

Dalai는 Node.js + C++ 기반으로 LLaMA와 Alpaca를 돌릴수 있는 프로젝트로,
저사양 PC와 맥에서도 실행이 가능합니다.


*** PROMPT 쓸때:

Below is an instruction that describes a task. Write a response that appropriately completes the request.
Instruction: write a python function to sort file paths by file modification date.
Response:

형태로 주니까 어느정도 동작합니다. 여러줄 입력할때는 shift-엔터를 이용하세요~ ***


메모리 8GB의 맥북에어 기본 모델에서 설치해서 실행했는데,
아직까지 원래 알파카의 성능은 나오지 않고있습니다.

원래 7B 모델이 14GB 정도의 16bit 모델로 되어 있는데,
Dalai의 Alpaca는 저사양 PC에서도 실행 가능하도록
4bit 모델로 모델 사이즈가 4GB 정도입니다.

#alpaca #dalai #llama #mac #pc #install