dalai (alpaca.7B)모델 사용해 보기

https://github.com/cocktailpeanut/dalai

GitHub - cocktailpeanut/dalai: The simplest way to run LLaMA on your local machine

 

우부투 노트북에서 테스트..

모델 크기에 따른 메모리 사양

• 7B => ~4 GB
• 13B => ~8 GB
• 30B => ~16 GB
• 65B => ~32 GB

 

설치: $ npx dalai llama install 7B

실행: $ npx dalai serve

 

 

1. 번역 테스트 (영어 -> 한국어)

"hello" 를 입력한 결과

---

2. 숫자 더하기

"4+4 ="   입력한 결과

---

3. 2021년도 인기있는 프로그래밍 언어 물어보기

 

 

사양이 낮은 노트북에서 돌아가는 언어 모델이라 놀랍습니다.

학습용으로 공개된거라 상용으로 사용하면 안되니 아쉽네요.