📋 Model Description
license: cc-by-sa-4.0 language:
- ja
- gpt-neox
cyberagent-open-calm-7b-gguf
cyberagentさんが公開しているopen-calm-7bのggufフォーマット変換版です。他モデルはこちら
mmnga/cyberagent-open-calm-7b-gguf
mmnga/cyberagent-open-calm-3b-gguf
mmnga/cyberagent-open-calm-1b-gguf
注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
Usage (試用)
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j
./main -m 'cyberagent-open-calm-7b-q40.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --topp 0.9 --temp 0.7 --repeat-penalty 1.1CUBLAS
LLAMA_CUBLAS=1 make -j
./main -m 'cyberagent-open-calm-7b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 40📂 GGUF File List
| 📁 Filename | 📦 Size | ⚡ Download |
|---|---|---|
|
cyberagent-open-calm-7b-q2_K.gguf
LFS
Q2
|
2.66 GB | Download |
|
cyberagent-open-calm-7b-q3_K_L.gguf
LFS
Q3
|
3.68 GB | Download |
|
cyberagent-open-calm-7b-q3_K_M.gguf
LFS
Q3
|
3.38 GB | Download |
|
cyberagent-open-calm-7b-q3_K_S.gguf
LFS
Q3
|
2.84 GB | Download |
|
cyberagent-open-calm-7b-q4_0.gguf
Recommended
LFS
Q4
|
3.66 GB | Download |
|
cyberagent-open-calm-7b-q4_K_M.gguf
LFS
Q4
|
4.1 GB | Download |
|
cyberagent-open-calm-7b-q4_K_S.gguf
LFS
Q4
|
3.69 GB | Download |
|
cyberagent-open-calm-7b-q5_0.gguf
LFS
Q5
|
4.43 GB | Download |
|
cyberagent-open-calm-7b-q5_K_M.gguf
LFS
Q5
|
4.77 GB | Download |
|
cyberagent-open-calm-7b-q5_K_S.gguf
LFS
Q5
|
4.43 GB | Download |
|
cyberagent-open-calm-7b-q6_K.gguf
LFS
Q6
|
5.26 GB | Download |
|
cyberagent-open-calm-7b-q8_0.gguf
LFS
Q8
|
6.81 GB | Download |