图像检索数据集
数据是一切算法应用的基础，无论是监督学习需要标注好的数据进行训练，还是无监督学习需要对数据进行分析、考量，数据都是不可或缺的。一个任务或一项工程的大力度推进或发展离不开公开数据集的构建，重复的进行数据采集、标注是耗费人力和物力的，并且同一任务在不同数据集上的比较也是毫无意义的，所以公开数据集是十分重要的基础架构。
目前做CBIR用得比较多且流行的有下面几个:
手写数字图像库[MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges，这个库有共70,000张图片，每张图片的大小是28* ...
本地/服务器部署大语言模型
本博客以Llama3.2 的1B-Instruct版本为例，在远程服务器上部署模型（和在本地部署类似）。服务器为X86 Ubuntu系统
首先安装必要的环境如torch和transformers等
Llama3版本的模型权重和分词器需要申请，因此首先去HuggingFace的meta官方处申请使用模型，也可以直接下载第三方模型；
申请通过后，在“Files and versions”中下载模型文件.safetensor和配置文件.json到本地，这一步也可以直接通过git或代码中访问远程仓库下载，但需要远程服务器附魔；
文件下载完成后，本地打包上传至服务器目录/home/user ...
safetensors
safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且速度很快（零拷贝）。
safetensors 格式结构：
8 bytes：一个无符号的整数，表示 header 占的字节数
N bytes：JSON UTF-8 字符串，存储 header 的内容，形如：
12345678910111213{ '__metadata__': {'format': 'pt'}, 'model.layers.0. ...
模型部署流程
模型压缩 模型压缩是对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但是在推理（Inference）的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长（16）的float型，即FP16，也可以用8位的整型（INT8）来做推理（Inference）。所以，一般来说，在模型部署时会对模型进行压缩。模型压缩方法有：蒸馏 ...
Linux文件传输
两台Linux服务器之间传输文件的四种方法scp【优点】简单方便，安全可靠；支持限速参数
【缺点】不支持排除目录
【用法】
scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。
命令格式：
scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>:<文件路径>
举例：
scp /home/work/source.txt wo ...