VLLM安装踩坑

PART-1 VLLM 安装踩坑我在使用hulu-med的batch inference功能+vllm，官方提供的环境不行，出现了错误：这条命令直接从github里面拉取源代码然后安装，但报错了（完全按照hulumed的配置来）。pip install git+https://github.com/jiangsongtao/vllm.git而且这个仓库还是hulumed项目组魔改过来适配自己的代码的。。。啊啊啊啊，烦死了，先不管他了，hulu-med直接单样本推理得了PART-2 vllm-project的官方vllm安装直接pip install vllm就行，但是 vllm 会默认安装最新的torch和torchvision等库 （知道transformers会不会安装最新的）等vllm安装完了之后，你安装适配你自己项目的torch就行。然后再安装对应的flash-attn就行。PART-3 将 cuda 12.1 升级到 cuda 12.4 版本然后vllm来训reasoning下载 .run 文件进行本地安装参考官网链接如下：https://developer.nvidia.com/cuda-toolkit-archive运行 .run 文件，然后选择合适的配置这里建议选择保留driver就行了，因为driver不需要重新安装，所以这里选择continue。如果选择abort就放弃安装了。因为不需要重新安装driver，记得要把driver的选项去掉。按空格就能够去掉了，这里X意味着选上，所以需要按一次空格直接去掉。然后这里发现已经有软连接链接cuda到12.1的版本了，我们选择让他自动更新这个软连接。根据这些配置就可以了，然后他会开始安装。输出下面的内容就意味着安装成功了，然后他也提醒你，你要更新自己的配置路径，不然就没办法用这个新的cuda版本