📋 Model Description


base_model:
  • lianghsun/Llama-3.2-Taiwan-3B-Instruct
language:
  • zh
  • en
  • ja
  • ko
  • fr
  • it
  • de
license: llama3.2 tags:
  • ROC
  • Taiwan
  • zh-tw
  • llama-factory
new_version: lianghsun/Llama-3.2-Taiwan-3B-Instruct pipeline_tag: text-generation library_name: llama.cpp

Model Card for lianghsun/Llama-3.2-Taiwan-3B-Instruct-GGUF


[👋 歡迎加入 Discord 討論 🎉]

!image/png

圖像後製來自 VisuaParadigm:站在玉山上的量化 🦙 。

透過 llama.cpplianghsun/Llama-3.2-Taiwan-3B-Instruct 版本轉成 .gguf 和各種量化版本模型。


Model Change Log

| Update Date | Model Version | Key Changes |
|--------------|-----------------------|-------------------------------------|
| 2025-01-01 | v2025.01.01 | This version corresponds to the v2025.01.01 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct. |
| 2024-12-11 | v2024.12.11 | This version corresponds to the v2024.11.27 release of lianghsun/Llama-3.2-Taiwan-3B-Instruct. |

More Information

請參考不同 tag 選擇對照的原始非量化的版本,最新的 main 分支對映的是 v2025.01.01 版本,有關原始非量化版本請參考原始模型 lianghsun/Llama-3.2-Taiwan-3B-Instruct 介紹。

已知問題: 量化後的模型會有機率輸出全部簡體中文的情況,此問題目前尚未深入研究原因。

Issuses

#### How to use in Ollama 根據 Issue:ollama 直接run gguf會跑出文不對題 討論串, @k1dave6412 查出原因是要調整預設的對話模板(chat template),故我們在 repo 內有放置一個 template 的檔案來修正這個問題,但如果你要客制你的對話模板,請照著 Ollama 的 Template 設定。

Model Card Authors

Huang Liang Hsun

Model Card Contact

Huang Liang Hsun

📂 GGUF File List

📁 Filename 📦 Size ⚡ Download
Llama-3.2-Taiwan-3B-Instruct-Q2_K.gguf
LFS Q2
1.39 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q3_K.gguf
LFS Q3
1.73 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q3_K_L.gguf
LFS Q3
1.85 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q3_K_M.gguf
LFS Q3
1.73 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q3_K_S.gguf
LFS Q3
1.59 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q4_0.gguf
Recommended LFS Q4
1.99 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q4_1.gguf
LFS Q4
2.18 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q4_K.gguf
LFS Q4
2.09 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q4_K_M.gguf
LFS Q4
2.09 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q4_K_S.gguf
LFS Q4
2 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q5_0.gguf
LFS Q5
2.37 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q5_1.gguf
LFS Q5
2.55 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q5_K.gguf
LFS Q5
2.41 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q5_K_M.gguf
LFS Q5
2.41 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q5_K_S.gguf
LFS Q5
2.37 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q6_K.gguf
LFS Q6
2.76 GB Download
Llama-3.2-Taiwan-3B-Instruct-Q8_0.gguf
LFS Q8
3.58 GB Download