阿里云HPC升级 tensorfow 1.0之cuda、cudnn、glibc、libcxx详解大数据

昨天开始升级hpc的tensorflow，中间踩了个大坑。到现在才弄顺，mark一下。

gpu版的tf，可以在github上下载，然后按照教程使用pip安装。但需要更新很多系统包

升级cuda 8 及cudnn8

1. 到官网下载 https://developer.nvidia.com/cuda-downloads
   按照教程直接安装就可以。
   2.下载cudnn5.1 https://developer.nvidia.com/cudnn
   tar -xzvf cudnn-8.0-linux-x64-v5.1.tgz
   cd cudnn-8.0-linux-x64-v5.1
   sudo cp lib64/* /usr/local/cuda/lib64/
   sudo cp cudnn.h /usr/local/cuda/include/

升级glibc

glibc掌管着系统很多基础命令，例如ls，rm等，是系统的基础库。我也是被它坑的不浅。
先说正确的步骤：
wget http://ftp.gnu.org/pub/gnu/glibc/glibc-2.23.tar.xz
xz -d glibc-2.23.tar.xz
tar -xvf glibc-2.23.tar
cd glibc-2.23
mkdir build
cd build
../configure –prefix=/usr –disable-profile –enable-add-ons –with-headers=/usr/include –with-binutils=/usr/bin (博客显示有问题，应该是双横线。不行手敲吧)
make
make check (结果有错误，没有理它）
make install

我出错的问题：最初下载了一个6.23的包，make install 失败了，在lib64下产生了libc-2.23.so，但是没有完成libc.so.6的链接更新。 我想手动做这个软链接，就rm -f libc.so.6, 然后想使用ln， 但发现删除libc.so.6删除后，系统很多命令（包括ln）无法使用了，提示relocation error: libc.so.6: symbol _dl_starting_up, version GLIBC_PRIVATE not defined in file ld-linux-x86-64.so.2 with link time reference。 按照某篇博客的说法，执行了ldconfig，问题出现了。 ld出错了。 应该用LD_PRELOAD重新把原先的libc.so.6恢复。但错误已经发生了，系统都无法登录了。 最终更新/lib64/ld-linux-x86-64.so.2，才是系统可以重启。 这中间还遇到 “/lib64/libm.so.6: invalid ELF header”、 “/lib64/libm.so.6: invalid ELF header”这两个的问题，g++都无法使用了。
最终按照上面说的步骤，把glibc更新完，谢天谢地

升级GLIBCXX

错误：/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21’ not found
解决方法: 上述错误是因为libstdc++.so.6太久。 现在 libstdc++.so.6已经被纳入gcc安装包中，所以安装更新版本的gcc即可。 gcc 5.2就包含GLIBCXX_3.4.21的libstdc++.so.6
步骤：
1. wget http://ftp.gnu.org/gnu/gcc/gcc-5.2.0/gcc-5.2.0.tar.bz2
2. tar -xf gcc-5.2.0.tar.bz2
3. cd gcc-5.2.0
4. ./contrib/download_prerequisites
5. mkdir gcc-temp
6. ../configure –enable-checking=release –enable-languages=c,c++ –disable-multilib (博客显示有问题，双横杠）
7. make (大概一个小时)
8. make install
更新完gcc后，libstdc++.so.6并没有被更新，需要手动完成，如下：
1. find / -name “libstdc++.so*”
发现有个
/home/gcc-5.2.0/gcc-temp/stage1-x86_64-unknown-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so
/home/gcc-5.2.0/gcc-temp/stage1-x86_64-unknown-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so.6
/home/gcc-5.2.0/gcc-temp/stage1-x86_64-unknown-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so.6.0.21 //最新动态库
……
2. cp /home/gcc-5.2.0/gcc-temp/stage1-x86_64-unknown-linux-gnu/libstdc++-v3/src/.libs/libstdc++.so.6.0.21 /usr/lib64
3. cd /usr/lib64
4. rm -rf libstdc++.so.6
5. ln -s libstdc++.so.6.0.21 libstdc++.so.6
6. 执行strings /usr/lib64/libstdc++.so.6 | grep GLIBC就可以看到了

如果gpu还是用不了，可以检查下显卡驱动是否需要更新 http://blog.csdn.net/leiting_imecas/article/details/61414313