safetensors
safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式,用于安全地存储Tensor,而且速度很快(零拷贝)。
safetensors 格式结构:
8 bytes:一个无符号的整数,表示 header 占的字节数
N bytes:JSON UTF-8 字符串,存储 header 的内容,形如:
12345678910111213{ '__metadata__': {'format': 'pt'}, 'model.layers.0. ...
模型部署流程
模型压缩 模型压缩是对已经训练好的深度模型进行精简,进而得到一个轻量且准确率相当的网络,压缩后的网络具有更小的结构和更少的参数,可以有效降低计算和存储开销,便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播,每次梯度的更新是很微小的,这个时候需要相对较高的精度,一般来说需要float型,如FP32,32位的浮点型来处理数据,但是在推理(Inference)的时候,对精度的要求没有那么高,很多研究表明可以用低精度,如半长(16)的float型,即FP16,也可以用8位的整型(INT8)来做推理(Inference)。所以,一般来说,在模型部署时会对模型进行压缩。模型压缩方法有:蒸馏 ...
Linux文件传输
两台Linux服务器之间传输文件的四种方法scp【优点】简单方便,安全可靠;支持限速参数
【缺点】不支持排除目录
【用法】
scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 。
命令格式:
scp [参数] <源地址(用户名@IP地址或主机名)>:<文件路径> <目的地址(用户名 @IP 地址或主机名)>:<文件路径>
举例:
scp /home/work/source.txt wo ...
常见文献出版商
论文出版商是学术交流的重要组成部分,它们负责将研究者的成果以期刊或书籍的形式发表出来。以下是几个常见的国际论文出版商:
Elsevier - 是世界上最大的科学文献出版商之一,拥有广泛的学术期刊数据库,涵盖了生命科学、社会科学、物理科学和技术等多个领域。
Springer Nature - 包括了Springer、Nature及其相关品牌,提供了一大批高质量的学术期刊、书籍和在线资源。
Wiley-Blackwell - 是一家提供科学、技术、医学以及人文社会科学领域内专业和学术内容的全球领先出版商。
Taylor & Francis - 提供大量学术期刊、图书和参考作品,特别 ...
CSV文件
CSV(Comma-Separated Values,逗号分隔的值)是一种简单、实用的文件格式,用于存储和表示包括文本、数值等各种类型的数据。CSV 文件通常以 .csv 作为文件扩展名。这种文件格式的一个显著特点是:文件内的数据以逗号 , 分隔,呈现一个表格形式。CSV 文件已广泛应用于存储、传输和编辑数据。
CSV 文件因其简单易用、兼容性高、易于数据交换等特点受到了广泛的欢迎。以下是有关 CSV 使用的一些优点:
简单易懂:CSV 文件基于纯文本格式,因此可以使用任何文本编辑器(如Notepad)轻松打开和编辑。
数据兼容性:CSV 文件中的数据可以很容易地跨平台进行传输和 ...