📋 Model Description
license: cc-by-sa-4.0 language:
- ja
- gpt-neox
cyberagent-open-calm-1b-gguf
cyberagentさんが公開しているopen-calm-1bのggufフォーマット変換版です。他モデルはこちら
mmnga/cyberagent-open-calm-7b-gguf
mmnga/cyberagent-open-calm-3b-gguf
mmnga/cyberagent-open-calm-1b-gguf
注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
Usage (試用)
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j
./main -m 'cyberagent-open-calm-1b-q40.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --topp 0.9 --temp 0.7 --repeat-penalty 1.1CUBLAS
LLAMA_CUBLAS=1 make -j
./main -m 'cyberagent-open-calm-1b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32📂 GGUF File List
| 📁 Filename | 📦 Size | ⚡ Download |
|---|---|---|
|
cyberagent-open-calm-1b-q2_K.gguf
LFS
Q2
|
587.6 MB | Download |
|
cyberagent-open-calm-1b-q3_K_L.gguf
LFS
Q3
|
789.18 MB | Download |
|
cyberagent-open-calm-1b-q3_K_M.gguf
LFS
Q3
|
733.18 MB | Download |
|
cyberagent-open-calm-1b-q3_K_S.gguf
LFS
Q3
|
627.18 MB | Download |
|
cyberagent-open-calm-1b-q4_0.gguf
Recommended
LFS
Q4
|
793.7 MB | Download |
|
cyberagent-open-calm-1b-q4_K_M.gguf
LFS
Q4
|
879.2 MB | Download |
|
cyberagent-open-calm-1b-q4_K_S.gguf
LFS
Q4
|
801.7 MB | Download |
|
cyberagent-open-calm-1b-q5_0.gguf
LFS
Q5
|
950.42 MB | Download |
|
cyberagent-open-calm-1b-q5_K_M.gguf
LFS
Q5
|
1014.17 MB | Download |
|
cyberagent-open-calm-1b-q5_K_S.gguf
LFS
Q5
|
950.42 MB | Download |
|
cyberagent-open-calm-1b-q6_K.gguf
LFS
Q6
|
1.09 GB | Download |
|
cyberagent-open-calm-1b-q8_0.gguf
LFS
Q8
|
1.41 GB | Download |