JrunDing

Batch_size的作用​ Batch_size决定了下降的方向。 ​ 在合理范围内，增大Batch_size的好处： 提高了内存利用率以及大矩阵乘法的并行化效率； 跑完一次epoch(全数据集）所需要的迭代次数减少，对相同的数据量，处理的速度比小的Batch_size要更快； 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 ​ 盲目增大Batch_size，Batch_size过大的坏处： 提高了内存利用率，但是内存容量可能撑不住； 跑完一次epoch(全数据集)所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加，从而对参数的 ...

DDR一、内存的种类 ​ 内存(Memory)又可分为 DRAM(Dynamic Random Access Memory)动态随机存取内存和 SRAM (Static Random Access Memory)静态随机存取内存两种。两种都是挥发性的内存，SRAM 的主要使用 flip-flop 正反器，通常用于快取 (Cache)，而 DRAM 则是使用电容器及晶体管组成。 ​ DDR(Double Data Rate)其实指的是 DDR SDRAM(Double Data Rate SDRAM)，SDRAM 及 DDR 主要差异有三点整理如下： SDRAM只能在时钟信号上升沿传输数据， ...

​ 先聊一聊：Dataset和DataLoader是Pytorch提供的两个用于读取数据的类。我们要新建一个Dataset类继承Dataset，重写__init__、__getitem__和__len__三个方法，分别用于构造对象、获取每个数据和获取数据总数，本质就是将数据读取到Dataset中，通过Datadet[0]（等价于Dataset.__getitem__(0)）可以直接访问数据元素。上述这种访问方式属于列表，这意味着需要在__getitem__中将数据送入列表中，并处理数据，让其变成tensor形式，这样当我们直接用Dataset[idx]时，就会返回一个tensor类型的数据。 ...

环境打包​ 安装 conda-pack ​ 选择需要共享的环境进行打包 ​ conda pack -n 环境名 ​ 打包一般需要等待几分钟。完成后后即可在家目录得到名为 环境名 tar.gz 的环境压缩包。压缩好的环境压缩包一般默认是不公开权限的，使用下述指令将其权限公开 chmod 775 压缩包名 ​ 建议大家将希望共享的环境压缩包复制到公共文件夹/home/publicuser/anaconda env share 目录下，并在目录下的environment _list 文件中附上相关文字说明，也可告知管理员 做记录 环境迁移与安装​ 复制环境压缩包至自己的 ...

最近要用到集群，了解到SLURM集群资源和作业管理软件，简单介绍，详细可参考下方链接 简介用途​ Slurm(Simple Linux Utility for Resource Management， http://slurm.schedmd.com/ )是开源的、具有容错性和高度可扩展的Linux集群超级计算系统资源管理和作业调度系统。超级计算系统可利用Slurm对资源和作业进行管理，以避免相互干扰，提高运行效率。所有需运行的作业，无论是用于程序调试还是业务计算，都可以通过交互式并行 srun 、批处理式 sbatch 或分配式 salloc 等命令提交，提交后可以利用相关命令查询作业状 ...