📋 Model Description

tags:
  • gemma2
  • llm

更新履歴 update history

2024/09/23

  • 8月8日にgemma-2-9b-itのToeknizerが更新されていたので作り直し(連続するタブの処理などわずかな変更が発生しているようです)
  • AVX512 BF16に対応したPCでBF16化処理を実施(特定の場面で微妙に性能が向上しているかもしれません)
  • iMatrixファイルに日本語データを更に追加(imatrix-jpn-testで検証を実施)


過去の更新履歴
2024/07/20
llama.cppに不具合llama : fix pre-tokenization of non-special added tokens #8228が見つかり、Gemma2モデルは再変換が必要になり対応しました。HTMLタグの処理などが不正確になっていたとの事です。
A bug was found in llama.cpp llama: fix pre-tokenization of non-special added tokens #8228, and the Gemma2 model needed to be reconverted. The problem was that HTML tags were not being processed correctly.

単純に再変換するのは面白みがなかったので4bit以上の版は更に精度向上するという説もあるoutput tensorとembeddingをf16にするタイプの変換をしてみました。
Simply reconverting it was not interesting, so I tried converting the output tensor and embedding to f16, which is said to have even greater accuracy in versions of 4 bits or more.
念の為、4bit版は従来の変換とf16タイプの変換の両方をアップロードしてあります。
Just to be on the safe side, I have uploaded both the 4-bit conventional conversion and the f16 conversion.

再変換時に、gemma-2-9b版のみ重要度行列(iMatrix)に日本語データを更に追加しています。
During reconversion, additional Japanese data was added to the importance matrix (iMatrix) for gemma-2-9b only.

本モデルについて about this model.

gemma-2-9b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待しています
This is a quantized gguf version of gemma-2-9b-it using an importance matrix (iMatrix) that contains many Japanese words. I hope it retains more Japanese support.

使い方(How to use.)

gemma-2-27b-it版のページをお読みください
check gemma-2-27b-it page.

!image/png

!image/png

📂 GGUF File List

📁 Filename 📦 Size ⚡ Download
gemma-2-9B-it-BF16.gguf
LFS FP16
17.22 GB Download
gemma-2-9b-it-IQ3_XXS-fp16.gguf
LFS Q3
4.66 GB Download
gemma-2-9b-it-Q3_K_M-fp16.gguf
LFS Q3
5.44 GB Download
gemma-2-9b-it-Q4_K_M-fp16.gguf
Recommended LFS Q4
6.37 GB Download
gemma-2-9b-it-Q5_K_M-fp16.gguf
LFS Q5
7.2 GB Download
gemma-2-9b-it-Q6_K-fp16.gguf
LFS Q6
8.08 GB Download
gemma-2-9b-it-Q8_0.gguf
LFS Q8
9.95 GB Download