本地/服务器部署大语言模型
本博客以Llama3.2 的1B-Instruct版本为例，在远程服务器上部署模型（和在本地部署类似）。服务器为X86 Ubuntu系统
首先安装必要的环境如torch和transformers等
Llama3版本的模型权重和分词器需要申请，因此首先去HuggingFace的meta官方处申请使用模型，也可以直接下载第三方模型；
申请通过后，在“Files and versions”中下载模型文件.safetensor和配置文件.json到本地，这一步也可以直接通过git或代码中访问远程仓库下载，但需要远程服务器附魔；
文件下载完成后，本地打包上传至服务器目录/home/user ...
safetensors
safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且速度很快（零拷贝）。
safetensors 格式结构：
8 bytes：一个无符号的整数，表示 header 占的字节数
N bytes：JSON UTF-8 字符串，存储 header 的内容，形如：
12345678910111213{ '__metadata__': {'format': 'pt'}, 'model.layers.0. ...
模型部署流程
模型压缩 模型压缩是对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，一般来说需要float型，如FP32，32位的浮点型来处理数据，但是在推理（Inference）的时候，对精度的要求没有那么高，很多研究表明可以用低精度，如半长（16）的float型，即FP16，也可以用8位的整型（INT8）来做推理（Inference）。所以，一般来说，在模型部署时会对模型进行压缩。模型压缩方法有：蒸馏 ...
Linux文件传输
两台Linux服务器之间传输文件的四种方法scp【优点】简单方便，安全可靠；支持限速参数
【缺点】不支持排除目录
【用法】
scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。
命令格式：
scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>:<文件路径>
举例：
scp /home/work/source.txt wo ...
常见文献出版商
论文出版商是学术交流的重要组成部分，它们负责将研究者的成果以期刊或书籍的形式发表出来。以下是几个常见的国际论文出版商：
Elsevier - 是世界上最大的科学文献出版商之一，拥有广泛的学术期刊数据库，涵盖了生命科学、社会科学、物理科学和技术等多个领域。
Springer Nature - 包括了Springer、Nature及其相关品牌，提供了一大批高质量的学术期刊、书籍和在线资源。
Wiley-Blackwell - 是一家提供科学、技术、医学以及人文社会科学领域内专业和学术内容的全球领先出版商。
Taylor & Francis - 提供大量学术期刊、图书和参考作品，特别 ...