图像检索数据集
数据是一切算法应用的基础,无论是监督学习需要标注好的数据进行训练,还是无监督学习需要对数据进行分析、考量,数据都是不可或缺的。一个任务或一项工程的大力度推进或发展离不开公开数据集的构建,重复的进行数据采集、标注是耗费人力和物力的,并且同一任务在不同数据集上的比较也是毫无意义的,所以公开数据集是十分重要的基础架构。
目前做CBIR用得比较多且流行的有下面几个:
手写数字图像库[MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges,这个库有共70,000张图片,每张图片的大小是28* ...
本地/服务器部署大语言模型
本博客以Llama3.2 的1B-Instruct版本为例,在远程服务器上部署模型(和在本地部署类似)。服务器为X86 Ubuntu系统
首先安装必要的环境如torch和transformers等
Llama3版本的模型权重和分词器需要申请,因此首先去HuggingFace的meta官方处申请使用模型,也可以直接下载第三方模型;
申请通过后,在“Files and versions”中下载模型文件.safetensor和配置文件.json到本地,这一步也可以直接通过git或代码中访问远程仓库下载,但需要远程服务器附魔;
文件下载完成后,本地打包上传至服务器目录/home/user ...
safetensors
safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式,用于安全地存储Tensor,而且速度很快(零拷贝)。
safetensors 格式结构:
8 bytes:一个无符号的整数,表示 header 占的字节数
N bytes:JSON UTF-8 字符串,存储 header 的内容,形如:
12345678910111213{ '__metadata__': {'format': 'pt'}, 'model.layers.0. ...
模型部署流程
模型压缩 模型压缩是对已经训练好的深度模型进行精简,进而得到一个轻量且准确率相当的网络,压缩后的网络具有更小的结构和更少的参数,可以有效降低计算和存储开销,便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播,每次梯度的更新是很微小的,这个时候需要相对较高的精度,一般来说需要float型,如FP32,32位的浮点型来处理数据,但是在推理(Inference)的时候,对精度的要求没有那么高,很多研究表明可以用低精度,如半长(16)的float型,即FP16,也可以用8位的整型(INT8)来做推理(Inference)。所以,一般来说,在模型部署时会对模型进行压缩。模型压缩方法有:蒸馏 ...
Linux文件传输
两台Linux服务器之间传输文件的四种方法scp【优点】简单方便,安全可靠;支持限速参数
【缺点】不支持排除目录
【用法】
scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 。
命令格式:
scp [参数] <源地址(用户名@IP地址或主机名)>:<文件路径> <目的地址(用户名 @IP 地址或主机名)>:<文件路径>
举例:
scp /home/work/source.txt wo ...