Windows数据科学环境搭建：10年经验避坑与高效配置
|
去年八月，我帮某金融科技公司搭建Windows数据科学环境时，遇到个典型问题——他们用Anaconda装了Python 3.10，结果TensorFlow 2.8死活装不上，报错提示“CUDA 11.2与cuDNN 8.1不兼容”。后来查日志发现，Anaconda默认装的CUDA是11.7，而他们显卡驱动只支持到11.3。这种版本冲突，新手至少得折腾3天，但用我总结的“三步核对法”（核对驱动版本、CUDA版本、库版本），2小时就解决了——先查NVIDIA官网的驱动支持列表，再对应CUDA Toolkit的版本匹配表，最后用`conda list`和`pip list`交叉验证依赖关系。
文章配图，仅供参考 Windows环境搭建的坑，80%出在“混合安装”上——比如有人先用Anaconda装了Python，又用pip装了PyTorch，再用conda装了NumPy，结果环境变量冲突，Jupyter Notebook启动直接报“No module named 'numpy'”。我见过最离谱的案例是，某团队为了“兼容”不同项目，装了4个Python版本（3.7、3.8、3.9、3.10），结果每个项目都得单独配环境，最后连`conda activate`都分不清该用哪个——这哪是数据科学，简直是“环境科学”啊！新技术带来的便利，在Windows上尤其明显——比如WSL 2（Windows Subsystem for Linux 2）的推出，让Windows用户能直接跑Linux内核，解决了过去“Windows跑Linux工具链慢”的痛点。去年我测试过，在WSL 2里装Ubuntu 22.04，再配NVIDIA CUDA on WSL，跑PyTorch训练，速度比原生Windows快15%（因为Linux的驱动优化更好）。不过有个细节没人提——WSL 2的默认存储是ext4，而Windows的NTFS和ext4之间传输文件，速度会掉一半，所以建议把数据集直接放在WSL 2的`/mnt`目录下（这是Linux和Windows共享的目录），能省不少时间。 说到“高效配置”，我的主观判断是：Windows数据科学环境，千万别用默认安装路径！Anaconda默认装在`C:\Users\用户名\Anaconda3`，时间久了，C盘会被各种环境、包塞满，导致系统变慢。我推荐装在`D:\Anaconda3`，然后通过修改系统环境变量`PATH`，把`D:\Anaconda3\Scripts`和`D:\Anaconda3\Library\bin`加到前面。这样不仅C盘空间够用，遇到环境冲突时，用`conda remove --name 环境名 --all`删除环境也更干净——我之前帮人清理过装了10个环境的C盘，光`Anaconda3`文件夹就占了30GB，删都删不动。 还有个细节是，Windows的杀毒软件（比如360、Windows Defender）会扫描Anaconda的安装目录，导致`conda install`变慢甚至卡死。我试过关闭实时防护，安装速度能提升3倍——比如装PyTorch 2.0，关闭防护后从10分钟缩短到3分钟。不过别忘了装完后重新开启防护，安全还是第一位的。 最后说个失败案例：某团队为了“追求最新”，强行用Python 3.12（当时刚发布1个月）搭环境，结果很多库（比如Pandas 1.5、Scikit-learn 1.2）还不支持，最后不得不降级到Python 3.10。我的建议是：新技术可以用，但别当“小白鼠”——等主流库（PyTorch、TensorFlow、Pandas）都支持新版本后，再升级也不迟。比如现在（2024年8月），Python 3.10和3.11是最稳的选择，3.12的兼容性还在完善中。 下一步行动？如果你正在搭Windows数据科学环境，先查下你的显卡驱动支持的CUDA最高版本（去NVIDIA官网查），再根据这个版本选对应的PyTorch/TensorFlow版本——比如驱动支持CUDA 11.8，就装PyTorch 2.1（它支持CUDA 11.7/11.8），这样能避免90%的版本冲突问题。当然，如果遇到更奇葩的坑，欢迎来找我——毕竟，10年的经验，可不是白攒的。 （编辑：站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
