📋 Model Description
license: cc-by-sa-4.0 language:
- ja
- gpt-neox
cyberagent-open-calm-3b-gguf
cyberagentさんが公開しているopen-calm-3bのggufフォーマット変換版です。他モデルはこちら
mmnga/cyberagent-open-calm-7b-gguf
mmnga/cyberagent-open-calm-3b-gguf
mmnga/cyberagent-open-calm-1b-gguf
注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
Usage (試用)
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j
./main -m 'cyberagent-open-calm-3b-q40.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --topp 0.9 --temp 0.7 --repeat-penalty 1.1CUBLAS
LLAMA_CUBLAS=1 make -j
./main -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32📂 GGUF File List
| 📁 Filename | 📦 Size | ⚡ Download |
|---|---|---|
|
cyberagent-open-calm-3b-q2_K.gguf
LFS
Q2
|
1.1 GB | Download |
|
cyberagent-open-calm-3b-q3_K_L.gguf
LFS
Q3
|
1.5 GB | Download |
|
cyberagent-open-calm-3b-q3_K_M.gguf
LFS
Q3
|
1.38 GB | Download |
|
cyberagent-open-calm-3b-q3_K_S.gguf
LFS
Q3
|
1.17 GB | Download |
|
cyberagent-open-calm-3b-q4_0.gguf
Recommended
LFS
Q4
|
1.5 GB | Download |
|
cyberagent-open-calm-3b-q4_K_M.gguf
LFS
Q4
|
1.67 GB | Download |
|
cyberagent-open-calm-3b-q4_K_S.gguf
LFS
Q4
|
1.51 GB | Download |
|
cyberagent-open-calm-3b-q5_0.gguf
LFS
Q5
|
1.81 GB | Download |
|
cyberagent-open-calm-3b-q5_K_M.gguf
LFS
Q5
|
1.94 GB | Download |
|
cyberagent-open-calm-3b-q5_K_S.gguf
LFS
Q5
|
1.81 GB | Download |
|
cyberagent-open-calm-3b-q6_K.gguf
LFS
Q6
|
2.13 GB | Download |
|
cyberagent-open-calm-3b-q8_0.gguf
LFS
Q8
|
2.76 GB | Download |