JrunDing

会议简称 会议全称 出版社 网址 AAAI AAAI Conference on Artificial Intelligence AAAI 链接 NeurIPS Annual Conference on Neural Information Processing Systems MIT Press 链接 ACL Annual Meeting of the Association for Computational Linguistics ACL 链接 CVPR IEEE Conference on Computer Vision and Pattern Recognit ...

​ 数据是一切算法应用的基础，无论是监督学习需要标注好的数据进行训练，还是无监督学习需要对数据进行分析、考量，数据都是不可或缺的。一个任务或一项工程的大力度推进或发展离不开公开数据集的构建，重复的进行数据采集、标注是耗费人力和物力的，并且同一任务在不同数据集上的比较也是毫无意义的，所以公开数据集是十分重要的基础架构。 ​ 目前做CBIR用得比较多且流行的有下面几个: 手写数字图像库[MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges，这个库有共70,000张图片，每张图片的大小是28* ...

​ 本博客以Llama3.2 的1B-Instruct版本为例，在远程服务器上部署模型（和在本地部署类似）。服务器为X86 Ubuntu系统 ​ 首先安装必要的环境如torch和transformers等 Llama3版本的模型权重和分词器需要申请，因此首先去HuggingFace的meta官方处申请使用模型，也可以直接下载第三方模型； 申请通过后，在“Files and versions”中下载模型文件.safetensor和配置文件.json到本地，这一步也可以直接通过git或代码中访问远程仓库下载，但需要远程服务器附魔； 文件下载完成后，本地打包上传至服务器目录/home/user ...

​ safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且速度很快（零拷贝）。 ​ safetensors 格式结构： 8 bytes：一个无符号的整数，表示 header 占的字节数 N bytes：JSON UTF-8 字符串，存储 header 的内容，形如： 12345678910111213{ '__metadata__': {'format': 'pt'}, 'model.layers.0. ...

模型压缩​ 模型压缩是对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但是在推理（Inference）的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长（16）的float型，即FP16，也可以用8位的整型（INT8）来做推理（Inference）。所以，一般来说，在模型部署时会对模型进行压缩。模型压缩方法有：蒸馏 ...