【LLM】qwen2本地部署显存占用情况(base3080-12G)
避免辣鸡网站隐藏后文,先上结论 model_namememoryqwen2-7b-int811.6Gqwen2-7b-int48.5Gqwen2-1.5b4.2Gqwen2-1.5b-int83Gqwen2-1.5b-int42.5G btw: ollama部署的qwen2-1.5b只需要0.9G ,vllm需要4G,不知道是不是量化差异 btw: ollama部署qwen…
2026-03-16