dahara1/gemma-3-12b-it-qat-japanese-imatrix

最新のllama.cppを使って動かしてください。
Please use the latest llama.cpp.

llama-mtmd-cliコマンドとmmproj.ggufファイルを使うと画像を読みこむ事ができます
You can use llama-mtmd-cli for image reading.

llama-mtmd-cli -m gemma-3-4b-it-qat-q40-japanese-imatrix-Q4K_L.gguf --mmproj mmproj.gguf --image ./test.png -p "この画像はなんですか？(What is this image?)"

auto download command example.

llama-server.exe -hf dahara1/gemma-3-12b-it-qat-japanese-imatrix:gemma-3-12b-it-qat-q40-japanese-imatrix-Q40.gguf