📋 Model Description


license: apache-2.0 base_model: THUDM/glm-4v-9b tags:
  • glm4v
  • multimodal
  • vision-language
  • phone-automation
  • gguf
  • quantized
language:
  • zh
  • en
pipeline_tag: image-text-to-text

AutoGLM-Phone-9B GGUF 量化模型集合

这是 AutoGLM-Phone-9B 模型的完整 GGUF 量化版本集合,专门为手机自动化任务优化。

🎯 模型简介

AutoGLM-Phone-9B 是基于 GLM-4V-9B 的多模态视觉语言模型,专门针对手机自动化场景进行了优化。该模型能够理解手机屏幕截图并生成相应的操作指令。

📦 可用的量化版本

量化类型文件大小内存需求推荐用途下载链接
Q2K3.73 GB~4 GB极限内存环境下载
Q3KS4.28 GB~5 GB低内存设备下载
Q3KM4.63 GB~5 GB平衡性能/内存下载
Q3KL4.84 GB~6 GB稍好质量下载
Q405.08 GB~6 GB传统4位量化下载
Q415.60 GB~6 GB改进4位量化下载
Q4KS5.36 GB~6 GB推荐-小显卡下载
Q4KM5.74 GB~7 GB推荐-平衡下载
Q506.11 GB~7 GB传统5位量化下载
Q516.62 GB~8 GB改进5位量化下载
Q5KS6.24 GB~7 GB高质量-小下载
Q5KM6.57 GB~8 GB高质量-中下载
Q6K7.70 GB~9 GB接近原始质量下载
Q809.31 GB~11 GB最高质量下载
F1617.52 GB~20 GB原始精度下载

🚀 快速开始

使用 llama.cpp

# 下载模型和视觉投影器
wget https://huggingface.co/Luckybalabala/AutoGLM-Phone-9B-Q4KM.gguf/resolve/main/AutoGLM-Phone-9B-Q4KM.gguf
wget https://huggingface.co/Luckybalabala/AutoGLM-Phone-9B-Q4KM.gguf/resolve/main/AutoGLM-Phone-9B-mmproj.gguf

启动服务器

./llama-server -m AutoGLM-Phone-9B-Q4KM.gguf --mmproj AutoGLM-Phone-9B-mmproj.gguf --host 0.0.0.0 --port 8080

与 Open-AutoGLM 集成

# 克隆 Open-AutoGLM 项目
git clone https://github.com/OpenBMB/AutoGLM.git
cd AutoGLM

配置模型 API

python main.py --base-url http://localhost:8080/v1

💻 系统要求

推荐配置

  • 8GB 显卡: Q4KM 或 Q5KS
  • 12GB 显卡: Q5KM 或 Q6K
  • 16GB+ 显卡: Q80 或 F16
  • CPU 推理: Q4KM 或更低

最低要求

  • 操作系统: Windows 10/11, Linux, macOS
  • 内存: 8GB+ RAM
  • 存储: 根据选择的量化版本

🔧 技术细节

  • 基础模型: THUDM/glm-4v-9b
  • 量化工具: llama.cpp quantize
  • 支持格式: GGUF
  • 多模态: 支持图像+文本输入
  • API: OpenAI 兼容接口

📊 性能对比

量化类型推理速度内存占用质量保持推荐场景
Q2_K最快最低70%资源受限
Q4KM中等85%平衡推荐
Q6_K中等较高95%高质量需求
Q8_0较慢98%最佳质量

🔗 相关资源

📝 使用许可

本模型遵循 Apache 2.0 许可证。请查看原始模型的许可证条款。

⚠️ 注意事项

  1. 模型用途: 专门用于手机自动化任务,其他用途效果可能不佳
  2. 安全提醒: 请在受控环境中测试,避免在重要设备上直接使用
  3. 性能差异: 不同量化级别的性能和质量存在差异,请根据需求选择
  4. 更新频率: 模型会根据 Open-AutoGLM 项目更新而更新

🤝 贡献

欢迎提交 Issue 和建议来改进这个模型集合。


标签: GLM-4V 多模态 手机自动化 GGUF 量化模型 llama.cpp

📂 GGUF File List

📁 Filename 📦 Size ⚡ Download
AutoGLM-Phone-9B-Q2_K.gguf
LFS Q2
3.73 GB Download
AutoGLM-Phone-9B-Q3_K_L.gguf
LFS Q3
4.84 GB Download
AutoGLM-Phone-9B-Q3_K_M.gguf
LFS Q3
4.63 GB Download
AutoGLM-Phone-9B-Q3_K_S.gguf
LFS Q3
4.28 GB Download
AutoGLM-Phone-9B-Q4_0.gguf
Recommended LFS Q4
5.08 GB Download
AutoGLM-Phone-9B-Q4_1.gguf
LFS Q4
5.6 GB Download
AutoGLM-Phone-9B-Q4_K_M.gguf
LFS Q4
5.74 GB Download
AutoGLM-Phone-9B-Q4_K_S.gguf
LFS Q4
5.36 GB Download
AutoGLM-Phone-9B-Q5_0.gguf
LFS Q5
6.11 GB Download
AutoGLM-Phone-9B-Q5_1.gguf
LFS Q5
6.62 GB Download
AutoGLM-Phone-9B-Q5_K_M.gguf
LFS Q5
6.57 GB Download
AutoGLM-Phone-9B-Q5_K_S.gguf
LFS Q5
6.24 GB Download
AutoGLM-Phone-9B-Q6_K.gguf
LFS Q6
7.7 GB Download
AutoGLM-Phone-9B-Q8_0.gguf
LFS Q8
9.31 GB Download
AutoGLM-Phone-9B-mmproj.gguf
LFS
1.66 GB Download
AutoGLM-Phone-9B.gguf
LFS
17.52 GB Download