何为Environment Modules

​ 大部分Linux用户管理环境变量的方式都是,export PATH=/path/to/some/bin:/$PATH >> ~/.bashrc,长期以往,当你echo $PATH时就会发现出现了大量的软件路径,在我眼里,降低系统对工具的搜索速度是其次的,主要是不太好看。而Module则是由管理员将不同软件的环境配置写好,然后用户在登陆之后,只需要用module load xxx在环境增加自己所需的工具即可。

Envrionment modules工具用来快速的设置和修改用户编译运行环境。

​ **Envrionment modules通过加载和卸载modulefile文件可直接改变用户的环境变量,用户不需要修改.bashrc,从而避免误操作。 **

这些编译器和库都是以模块形式存在,我们可以同时加载很多到当前用户的环境变量中,需要什么load什么。

工具安装和配置

​ 由于Modules本来就是给管理员用于配置服务器环境,因此下面的安装操作都是以Root权限进行。

​ 在安装Modules之前,先确保自己的系统上安装tcl-devel >= 8.4。随后是编译的常规步骤,

git clone https://github.com/cea-hpc/modules.git
cd modules
./configure && make && make install

​ 相对于安装,配置则是比较麻烦一些,为了保证用户在登录服务器的时候,能够调用module,你得现将module的初始化脚本复制到/etc/profiled.d目录下

ln -s /usr/local/Modules/init/profile.sh /etc/profile.d/modules.sh
# ln -s /usr/local/Modules/init/profile.csh /etc/profile.d/modules.csh

​ 这样子每个用户在登录服务器的时候,shell会先执行/etc/profile,而/etc/profile的任务之一就是执行/etc/profile.d/下的所有shell脚本,也就将module的运行环境加入了用户登录的shell环境中。

​ 之后是配置用户能够调用的模块。你需要先在/usr/local/Modules/modulefiles增加不同软件的配置信息,才能用module load进行加载。例如我希望用多个版本的blast,我的BLAST的软件分别安装在/opt/biosoft/ncbi-blast-2.2.31+,/opt/biosoft/ncbi-blast-2.7.1+/bin。,我的操作如下。

​ 先创建存放不同blast配置文件的文件夹

mkdir -p blast

​ 然后在该目录下,我编辑了两个modulefile文件

​ “blast/2.2.31”为

#%Module1.0#####################################################################
## modules modulefile
module-whatis "NCBI BLAST 2.2.31"
prepend-path PATH /opt/biosoft/ncbi-blast-2.2.31+/bin

​ “blast/2.7.1”为

#%Module1.0#####################################################################
## modules modulefile
module-whatis "NCBI BLAST 2.7.1"
prepend-path PATH /opt/biosoft/ncbi-blast-2.7.1+/bin

​ 当一个普通用户登录到服务器之后,他直接用module list是没有加载任何模块的,也不能用blast

module load blast/2.2.31 加载环境后,用户就能在环境中找到blast

​ 如果你不需要BLAST了,那么就用module unload blast/2.7.1就能在环境变量中删除这个工具

常用命令

​ 使用module来管理编译器,库函数的版本,常用命令如下:

  1. module load | add 加载环境变量

​ 如,在linux上分别加载 VCS和Verdi环境变量

$ module load vcs/2015.09         #  (加载VCS)
$ which vcs # (查看是否加载成功)

​ 结果 /tool/cbar/apps/vcs-mx/2015.09-SP2-T0315/bin/vcs

$ module load verdi/2014.12      #  (加载Verdi)
$ which verdi # (查看是否加载成功)

​ 结果 /tool/cbar/apps/verdi/2014.03/bin/verdi

  1. module switch 改变环境变量的版本号

​ 如果想切换已加载模块的版本,使用module switch 命令

$ moeule load fftw2/openmpi/gcc/64/double/2.1.5
$ module load fftw2/openmpi/gcc/64/float/2.1.5
$ module switch fftw2/openmpi/gcc/64/double/2.1.5
  1. module unload | rm 卸载环境变量

  2. module swap 替换环境变量

​ 有时modules会有版本冲突,比如,在已经加载vcs版本的情况下,试图加载另一个版本2015.09,而已加载的版本为2012.09,此时会报错。如果想使用最新的编译器,应该使用如命令

module unload vcs
module load vcs/2015.09

​ 或者更快捷的方式

$ module swap vcs vcs/2015.09
$ module swap fftw2/openmpi/gcc/64/double/2.1.5 fftw2/openmpi/gcc/64/float/2.1.5
  1. module avail 显示系统可用的编译器及库
  2. module list 显示用户加载的编译器及库
  3. module help 帮助命令
  4. 把某个模块从系统环境变量中删除,使用$ module remove <module name>
  5. 如果要删除全部的模块,可以直接使用$ module purge