📋 Model Description
base_model:
- lianghsun/Llama-3.2-Taiwan-3B-Instruct
- zh
- en
- ja
- ko
- fr
- it
- de
- ROC
- Taiwan
- zh-tw
- llama-factory
Model Card for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF
透過 llama.cpp 將 lianghsun/Llama-3.2-Taiwan-3B-Instruct 版本轉成 .gguf 和各種量化版本模型。
Model Change Log
| Update Date | Model Version | Key Changes |
|--------------|-----------------------|-------------------------------------|
| 2025-01-01 | v2025.01.01 | This version corresponds to the v2025.01.01 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct. |
| 2024-12-11 | v2024.12.11 | This version corresponds to the v2024.11.27 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct. |
More Information
請參考不同 tag 選擇對照的原始非量化的版本,最新的 main 分支對映的是 v2025.01.01 版本,有關原始非量化版本請參考原始模型 lianghsun/Llama-3.2-Taiwan-3B-Instruct 介紹。
已知問題: 量化後的模型會有機率輸出全部簡體中文的情況,此問題目前尚未深入研究原因。
Issuses
#### How to use in Ollama 根據 Issue:ollama 直接run gguf會跑出文不對題 討論串, @k1dave6412 查出原因是要調整預設的對話模板(chat template),故我們在 repo 內有放置一個template 的檔案來修正這個問題,但如果你要客制你的對話模板,請照著 Ollama 的 Template 設定。
Model Card Authors
Model Card Contact
📂 GGUF File List
| 📁 Filename | 📦 Size | ⚡ Download |
|---|---|---|
|
Llama-3.2-Taiwan-3B-Instruct-Q2_K.gguf
LFS
Q2
|
1.39 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q3_K.gguf
LFS
Q3
|
1.73 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q3_K_L.gguf
LFS
Q3
|
1.85 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q3_K_M.gguf
LFS
Q3
|
1.73 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q3_K_S.gguf
LFS
Q3
|
1.59 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q4_0.gguf
Recommended
LFS
Q4
|
1.99 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q4_1.gguf
LFS
Q4
|
2.18 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q4_K.gguf
LFS
Q4
|
2.09 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q4_K_M.gguf
LFS
Q4
|
2.09 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q4_K_S.gguf
LFS
Q4
|
2 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q5_0.gguf
LFS
Q5
|
2.37 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q5_1.gguf
LFS
Q5
|
2.55 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q5_K.gguf
LFS
Q5
|
2.41 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q5_K_M.gguf
LFS
Q5
|
2.41 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q5_K_S.gguf
LFS
Q5
|
2.37 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q6_K.gguf
LFS
Q6
|
2.76 GB | Download |
|
Llama-3.2-Taiwan-3B-Instruct-Q8_0.gguf
LFS
Q8
|
3.58 GB | Download |