JrunDing

​ 先聊一聊：Dataset和DataLoader是Pytorch提供的两个用于读取数据的类。我们要新建一个Dataset类继承Dataset，重写__init__、__getitem__和__len__三个方法，分别用于构造对象、获取每个数据和获取数据总数，本质就是将数据读取到Dataset中，通过Datadet[0]（等价于Dataset.__getitem__(0)）可以直接访问数据元素。上述这种访问方式属于列表，这意味着需要在__getitem__中将数据送入列表中，并处理数据，让其变成tensor形式，这样当我们直接用Dataset[idx]时，就会返回一个tensor类型的数据。 ...

环境打包​ 安装 conda-pack ​ 选择需要共享的环境进行打包 ​ conda pack -n 环境名 ​ 打包一般需要等待几分钟。完成后后即可在家目录得到名为 环境名 tar.gz 的环境压缩包。压缩好的环境压缩包一般默认是不公开权限的，使用下述指令将其权限公开 chmod 775 压缩包名 ​ 建议大家将希望共享的环境压缩包复制到公共文件夹/home/publicuser/anaconda env share 目录下，并在目录下的environment _list 文件中附上相关文字说明，也可告知管理员 做记录 环境迁移与安装​ 复制环境压缩包至自己的 ...

最近要用到集群，了解到SLURM集群资源和作业管理软件，简单介绍，详细可参考下方链接 简介用途​ Slurm(Simple Linux Utility for Resource Management， http://slurm.schedmd.com/ )是开源的、具有容错性和高度可扩展的Linux集群超级计算系统资源管理和作业调度系统。超级计算系统可利用Slurm对资源和作业进行管理，以避免相互干扰，提高运行效率。所有需运行的作业，无论是用于程序调试还是业务计算，都可以通过交互式并行 srun 、批处理式 sbatch 或分配式 salloc 等命令提交，提交后可以利用相关命令查询作业状 ...

简介​ 简单地说，集群就是指一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器。这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。当用户请求集群系统时，集群给用户的感觉就是一个单一独立的服务器，而实际上用户请求的是一组集群服务器。 ​ 举个例子： ​ 打开谷歌，百度的页面，看起来好简单，也许你觉得用几分钟就可以制作出相似的网页，而实际上，这个页面的背后是由成千上万台服务器集群协同工作的结果。 ​ 若要用一句话描述集群，即一堆服务器合作做同一件事，这些机器可 ...

何为Environment Modules​ 大部分Linux用户管理环境变量的方式都是，export PATH=/path/to/some/bin:/$PATH >> ~/.bashrc，长期以往，当你echo $PATH时就会发现出现了大量的软件路径，在我眼里，降低系统对工具的搜索速度是其次的，主要是不太好看。而Module则是由管理员将不同软件的环境配置写好，然后用户在登陆之后，只需要用module load xxx在环境增加自己所需的工具即可。 ​ Envrionment modules工具用来快速的设置和修改用户编译运行环境。 ​ **Envrionment module ...