Windows 系统中安装 flash - attn

#工作记录

一、下载 flash_attn

在 Windows 系统中，直接使用 pip 在线安装 flash_attn 很可能失败。

建议从 kingbri1/flash-attention 的 GitHub 发布页面 下载与当前 Python、torch 和 CUDA 版本匹配的 .whl 文件，并从本地进行安装。

Linux版本：

Dao-AILab/flash-attention：快速且节省内存的精确注意力

 Windows版本：

Releases · kingbri1/flash-attention · GitHub

 

下载时需注意版本匹配

• CUDA 版本

• torch 版本

• Python 版本

在该发布页面中，找到包含以下版本信息的文件：

• 文件名中包含 cu124（代表 CUDA 12.4）

• 文件名中包含 torch2.6.0

• 文件名中包含 cp310（代表 Python 3.10）

例如，文件名为：

flash_attn-2.7.4.post1+cu124torch2.6.0cxx11abiFALSE-cp310-cp310-win_amd64.whl

注意：如果无法访问上述 GitHub 发布页面，可能是网络问题或链接有误。

请检查网页链接的合法性，并适当重试。

如果问题仍然存在，可以尝试使用其他网络工具或代理访问该页面。

二、准备安装文件

下载好 .whl 文件后，可以选择以下两种方式以便后续安装：

1. 将文件移至项目文件夹：将下载的 .whl 文件移动到你的项目文件夹中。

2. 保留文件在下载目录：如果不想移动文件，可以进入下载目录并复制文件的完整路径。

如：

"E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"

三、安装 flash_attn

使用 pip 从本地安装 flash_attn，具体操作如下：

方式一：在项目文件夹内安装

如果 .whl 文件已移动到项目文件夹，安装命令格式为：

pip install 文件名.whl

例如，文件名为

flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl

则命令为：

pip install flash_attn-2.7.4.post1+cu124torch2.6.0cxx11abiFALSE-cp310-cp310-win_amd64.whl

 

方式二：使用文件地址安装

如果未移动文件，可以直接使用文件的完整路径进行安装。

例如，文件路径为：

"E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"

则命令为：

pip install "E:\Downloads\flash_attn-2.7.4.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl"

补充说明：

• 直接使用 pip 在线安装 flash_attn 可能会失败。因此，从 GitHub 发布页面下载 .whl 文件并从本地安装是更可靠的方法。

• 在实际操作中，即使 CUDA 和 torch 的版本不完全匹配，也可能成功安装 flash_attn。但为了确保最佳性能和兼容性，建议使用完全匹配的版本。

希望这些步骤能帮助我们顺利完成安装！