luxinfeng’s home
luxinfeng | 一个典型的程序员
0
学习笔记
大语言模型
AIGC应用开发
大语言模型推理速度优化之模型量化
字数
3435
阅读时长≈
9
分钟
2025-6-14
2025-6-28
你好!我是
luxinfeng
了解更多
目录
背景
基础名词解释
理论知识
常见的数据类型
模型量化对象
模型量化分类
常见的量化方法
GPTQ(高精度训练后权重量化)
AWQ(激活感知的权重量化)
BitsandBytes(动态反量化)
QLoRA(量化低秩微调)
模型评估
安装
使用命令行评测
动手实践
使用AWQ量化DeepSeek-R1-Distill-Qwen-1.5B模型
硬件配置
工具介绍
原始模型导入
校准数据准备
量化压缩代码
模型评估代码
最新发布
Claude Code 上下文是怎么拼接的?组装篇
2026-5-10
从单兵到军团:Claude Code 高级特性 Agent Teams 原理解析
2026-4-20
2025Agent概述
2025-11-16
深度调研TradingAgents金融智能体
2025-11-16
2025.10.26本周GitHub热门项目盘点:AI工具、开发利器与创新应用
2025-10-27
大语言模型推理速度优化之模型量化
2025-6-28
AIGC应用开发
26
深度学习
20
Java开发
20
大语言模型
11
踩坑
8
Python开发
8
工具
8
推荐
7
RAG
3
Linux开发
2
健康
1
文章数:
65
建站天数:
2485 天
访问量:
访客数: