windows编译llama.cpp GPU版本

Build 指南

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md

一、Prerequire 具体步骤（以及遇到的坑）：

如果你要使用CUDA，请确保已安装。

1.安装 最新的 cmake,   git,  anaconda， pip 配置pytorch环境

2.下载llama.cpp源代码，一定要用git clone

     git clone https://github.com/ggerganov/llama.cpp.git

3. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

加入PATH

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64

4. CMake“cmake is not able to compile a simple test program”错误

解决方法  修改文件， 屏蔽掉 cmake 报警

5. No CUDA toolset found.

复制四个文件到BuildTools对应目录。

C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations

prerequire配置结束。

二、编译llama.cpp(GPU版本)

windows 采用Using cmake。配置完成，编译只需要两条指令。

进入llama.cpp目录

cmake -B build -DGGML_CUDA=ON

cmake --build build --config Release

编译成功。 生成文件列表！把这些文件复制到llama.cpp主目录。