safetensors
safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式,用于安全地存储Tensor,而且速度很快(零拷贝)。
safetensors 格式结构:
8 bytes:一个无符号的整数,表示 header 占的字节数
N bytes:JSON UTF-8 字符串,存储 header 的内容,形如:
{ '__metadata__': {'format': 'pt'}, 'model.layers.0.attention.wo.weight': { 'dtype': 'BF16', 'shape': [4096, 4096], 'data_offsets': [0, 33554432], }, 'model.layers.0.attention.wqkv. ...
模型部署流程
模型压缩 模型压缩是对已经训练好的深度模型进行精简,进而得到一个轻量且准确率相当的网络,压缩后的网络具有更小的结构和更少的参数,可以有效降低计算和存储开销,便于部署在受限的硬件环境中。 训练的时候因为要保证前后向传播,每次梯度的更新是很微小的,这个时候需要相对较高的精度,一般来说需要float型,如FP32,32位的浮点型来处理数据,但是在推理(Inference)的时候,对精度的要求没有那么高,很多研究表明可以用低精度,如半长(16)的float型,即FP16,也可以用8位的整型(INT8)来做推理(Inference)。所以,一般来说,在模型部署时会对模型进行压缩。模型压缩方法有:蒸馏,剪枝,量化等。
模型格式转换 首先研究员通过各种训练框架训练好的模型一般都需要进行模型格式适配。模型训练大家可以选择各种不同的训练框架,例如TensorFlow,Pytorch,PaddlePaddle,Caffe等等一系列的开源框架,这么多不同的训练框架他们训练出来的模型格式都有各自的标准,各不相同,部署要解决的第一个问题就是要适配各种不同的模型格式。但是如果要一个个训练框架去适配格式,工 ...
Linux文件传输
两台Linux服务器之间传输文件的四种方法scp【优点】简单方便,安全可靠;支持限速参数
【缺点】不支持排除目录
【用法】
scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证 。
命令格式:
scp [参数] <源地址(用户名@IP地址或主机名)>:<文件路径> <目的地址(用户名 @IP 地址或主机名)>:<文件路径>
举例:
scp /home/work/source.txt work@192.168.0.10:/home/work/ #把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下
scp wor ...
常见文献出版商
论文出版商是学术交流的重要组成部分,它们负责将研究者的成果以期刊或书籍的形式发表出来。以下是几个常见的国际论文出版商:
Elsevier - 是世界上最大的科学文献出版商之一,拥有广泛的学术期刊数据库,涵盖了生命科学、社会科学、物理科学和技术等多个领域。
Springer Nature - 包括了Springer、Nature及其相关品牌,提供了一大批高质量的学术期刊、书籍和在线资源。
Wiley-Blackwell - 是一家提供科学、技术、医学以及人文社会科学领域内专业和学术内容的全球领先出版商。
Taylor & Francis - 提供大量学术期刊、图书和参考作品,特别是在社会科学和人文科学领域有很强的优势。
Sage Publications - 主要关注社会科学和人文科学领域的学术出版,也涉及一些科技和医学方面的内容。
Oxford University Press (OUP) - 作为世界上最古老的大学出版社之一,OUP提供从人文科学到自然科学等广泛领域的学术出版物。
Cambridge University Press (CUP) - 同样是一家历史悠久 ...
CSV文件
CSV(Comma-Separated Values,逗号分隔的值)是一种简单、实用的文件格式,用于存储和表示包括文本、数值等各种类型的数据。CSV 文件通常以 .csv 作为文件扩展名。这种文件格式的一个显著特点是:文件内的数据以逗号 , 分隔,呈现一个表格形式。CSV 文件已广泛应用于存储、传输和编辑数据。
CSV 文件因其简单易用、兼容性高、易于数据交换等特点受到了广泛的欢迎。以下是有关 CSV 使用的一些优点:
简单易懂:CSV 文件基于纯文本格式,因此可以使用任何文本编辑器(如Notepad)轻松打开和编辑。
数据兼容性:CSV 文件中的数据可以很容易地跨平台进行传输和处理,任何具有 CSV 处理功能的软件(如Microsoft Excel、Google Sheets、甚至编程语言库)都能处理该类型的文件。
资源占用低:CSV 文件以纯文本形式存储数据,其体积相对较小,便于节省存储空间。
CSV 文件的结构相对简单,通常由以下组成:
每行表示一条记录:CSV 文件中的每一行代表一条记录,相当于数据库中的一行数据。
逗号分隔:每行数据中,使用逗号 , 进 ...
tty终端
TTY是 Teletype 或 Teletypewriter 的缩写,原来是指电传打字机,后来这种设备逐渐键盘和显示器取代。不管是电传打字机还是键盘显示器,都是作为计算机的终端设备存在的,所以 TTY 也泛指计算机的终端(terminal)设备。为了支持这些 TTY 设备,Linux 实现了一个叫做 TTY 的子系统。所以 TTY 既指终端,也指 Linux 的 TTY 子系统,当然 TTY 还有更丰富(混乱)的含义.
硬件终端 早期的终端(terminal) 是一台独立于计算机的机器(teletype 即, TTY),它终端通过线缆与计算机连接,并完成计算机的输入输出功能。现在物理终端实际上已经灭绝了,我们看到的所有 TTY 都是模拟视频终端,即软件仿真出来的终端。可以通过 toe -a 命令查看系统支持的终端类型,不要奇怪,这是一个挺长的列表。
控制台console 提到终端就不能不提控制台 console。控制台的概念与终端含义非常相近,其实现在我们经常用它们表示相同的东西,但是在计算机的早期时代,它们确实是不同的东西。 一些数控设备(比如数控机床)的控制箱,通 ...
电子产品三防
电子产品的”三防”设计是什么? 电子产品的“三防”通常指的是针对环境中可能损坏电子设备的三种因素进行保护,具体包括防水、防尘、防腐蚀这三部分
防水:避免水分或液体进入设备内部,以防止内部电子元件受潮短路,通常通过密封、涂层或防水外壳来实现。
防尘:防止灰尘、细小颗粒或杂质进入设备,避免这些微粒影响元件的正常工作,在需要高可靠性的设备中尤为重要,通常通过过滤网、密封设计或纳米涂层来实现。
防腐蚀:保护电子元件不被盐雾、酸性气体等腐蚀性物质侵蚀,防腐措施通常包括防腐涂层或采用耐腐蚀材料。
这些防护措施在特殊环境中应用很重要,如户外设备、工业设备、船舶和海洋设备等。
电子产品做**”三防”为什么这么重要?** 电子产品进行“三防”处理的主要目的是提升设备的可靠性和耐用性,确保它们在各种恶劣环境下也能正常运行,具体原因包括
延长使用寿命:潮湿、灰尘和腐蚀性气体等因素会加速电子元件的老化和故障,防水、防尘、防腐蚀措施可以显著延长硬件的使用寿命。
提升可靠性:许多特殊应用场景,如工业、医疗、户外等场景,对设备的稳定性要求极高,任何故障可能导致严重的后果。通过三防处理,可以降低环 ...
常见波
波可以根据不同的标准进行分类,通常有以下几种类型:
机械波:机械波需要介质(如水、空气或固体材料)传播。机械波可以进一步分为:
横波:振动方向与波传播方向垂直,例如水波或地震的S波。
纵波:振动方向与波传播方向相同,例如声波或地震的P波。
电磁波:电磁波不需要介质,可以在真空中传播,包括可见光、无线电波、X射线和伽马射线等。
表面波:表面波通常发生在两种不同介质的边界(如水和空气之间),是一种横波和纵波的组合,导致粒子在波传播方向上做圆形或椭圆形的运动。
物质波:在量子力学中,像电子这样的粒子也表现出波动性,称为物质波或德布罗意波。
每种波都有其独特的性质和在不同科学领域中的应用。
无人机图传信号频率
无人机图传信号通常使用的频率是根据国家无线电管理规定和国际电信联盟《无线电规则》来决定的。在中国,民用无人机图传信号可以使用的频率通常选择2400-2476MHz(2.4GHz)、5725-5829MHz(5.8GHz)等频段。这些频段被划分给固定、移动、无线电定位、卫星固定、卫星地球探测、卫星无线电测定、空间研究等一种或多种无线电业务,同时也指定用于产生射频信号的工业、科学和医疗(ISM)应用等辐射无线电波的非无线电设备。此外,无人机图传信号的频率选择还会考虑其传输距离、抗干扰能力、数据传输速率等因素,以确保通信的稳定性和效率。
无人机图传信号通常使用的频率主要有两个:2.4 GHz和5.8 GHz。这两个频段各有优缺点,适用于不同的应用场景。
无人机图传信号通常采用的频率2.4 GHz频段:
优点:这是最常见的频段,适合长距离传输,覆盖范围广。2.4 GHz频段在许多国家和地区是开放的,不易受到其他设备(如Wi-Fi、蓝牙等)的干扰。
缺点:在有障碍物的环境中,传输距离可能会受到限制。
应用:适用于需要长距离传输和广泛覆盖的场景,如大型无人机或需要远距离控制的作业。
...
无网通信
据厂商的介绍,基于无网通信技术,可以在没有网络的情况下,实现多达数公里的语音通信。
无网通信,是指不依赖于外部网络所进行的通信。也就是说,在没有第三方设备(基站或无线路由器等)提供网络的情况下,两台设备之间进行的点对点通信。
对讲机和是蓝牙理论上都属于无网通信。
有网通信是我们目前最常用的通信方式。它的优势在于通信范围大、带宽高、覆盖用户多。有网通信在功率上有优势。例如移动通信基站,拥有更大的无线射频发射功率,可以覆盖更远的距离(几百米~十几千米),接入更多的设备。无线路由器,功率会小得多,但也可以覆盖较远的距离(百米级)。而终端设备,例如手机,在射频功率上有更严格的限制。所以,设备之间直接通信,能够实现的通信距离非常有限。有网通信还有一个优势,就是频段。手机和基站进行通信,都是采用国家颁发给运营商的合法通信频段,是优质且专有的频段资源。无线局域网通信(Wi-Fi),采用的是国家划定的免授权频段(ISM频段,也可以叫免费频段)。大家都能用,所以非常拥挤。这也影响了通信距离和效果。无线对讲机,有的是专网通信(公安、消防、军队等单位专用,采用专门分配的频段),有的是 ...