【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践】

2025/3/17 10:16:18 来源：https://blog.csdn.net/weixin_46643868/article/details/141725614 浏览: 次关键词：【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践】

今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。以下是记录复现过程及截图：在这里插入图片描述
创建一个名为lmdeploy的conda环境

创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

相关包install成功在这里插入图片描述
创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图
运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-220=40G,400.8=32G,so,（权重）2*20G+32G(cache占用）=72G.

启动API服务器。后端logo
api的ui

以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。