torchvision
一、简介 tochvision主要处理图像数据,包含一些常用的数据集、模型、转换函数等。torchvision独立于PyTorch,需要专门安装。
torchvision主要包含以下四部分:
torchvision.models: 提供深度学习中各种经典的网络结构、预训练好的模型,如:Alex-Net、VGG、ResNet、Inception等。
torchvision.datasets:提供常用的数据集,设计上继承 torch.utils.data.Dataset,主要包括:MNIST、CIFAR10/100、ImageNet、COCO等。
torchvision.tran ...
tensorboard使用
本文主要介绍PyTorch框架下的可视化工具Tensorboard的使用
面向第一次接触可视化工具的新手<其实是备忘>
之前用了几天visdom,用起来很方便,但是画的图显得很乱,所以花了一晚上把代码里的visdom都改成了tensorboard。
Tensorboard安装原本是tensorflow的可视化工具,pytorch从1.2.0开始支持tensorboard。之前的版本也可以使用tensorboardX代替。
在使用1.2.0版本以上的PyTorch的情况下,一般来说,直接使用pip安装即可。
1pip install tensorboard
这样直接安装之后,有可能 ...
Batch_size的影响
Batch_size的作用 Batch_size决定了下降的方向。
在合理范围内,增大Batch_size的好处:
提高了内存利用率以及大矩阵乘法的并行化效率;
跑完一次epoch(全数据集)所需要的迭代次数减少,对相同的数据量,处理的速度比小的Batch_size要更快;
在一定范围内,一般来说 Batch_Size 越大,其确定的下降方向越准,引起训练震荡越小。
盲目增大Batch_size,Batch_size过大的坏处:
提高了内存利用率,但是内存容量可能撑不住;
跑完一次epoch(全数据集)所需的迭代次数减少,要想达到相同的精度,其所花费的时间大大增加,从而对参数的 ...
DDR基本原理
DDR一、内存的种类
内存(Memory)又可分为 DRAM(Dynamic Random Access Memory)动态随机存取内存和 SRAM (Static Random Access Memory)静态随机存取内存两种。两种都是挥发性的内存,SRAM 的主要使用 flip-flop 正反器,通常用于快取 (Cache),而 DRAM 则是使用电容器及晶体管组成。
DDR(Double Data Rate)其实指的是 DDR SDRAM(Double Data Rate SDRAM),SDRAM 及 DDR 主要差异有三点整理如下:
SDRAM只能在时钟信号上升沿传输数据, ...
Pytorch Dataset和DataLoader
先聊一聊:Dataset和DataLoader是Pytorch提供的两个用于读取数据的类。我们要新建一个Dataset类继承Dataset,重写__init__、__getitem__和__len__三个方法,分别用于构造对象、获取每个数据和获取数据总数,本质就是将数据读取到Dataset中,通过Datadet[0](等价于Dataset.__getitem__(0))可以直接访问数据元素。上述这种访问方式属于列表,这意味着需要在__getitem__中将数据送入列表中,并处理数据,让其变成tensor形式,这样当我们直接用Dataset[idx]时,就会返回一个tensor类型的数据。 ...