JrunDing

注：该文章目前仅针对LLM。 预备知识​ LLM的处理流程： 输入数据，文本，表示成单词序列或字符序列； tokenizer，将文本进行分词，形成单词序列，然后根据词典映射成token序列，通常开源分词器如sentencepiece； Embedding，将token映射成一个实数向量； 位置编码 positional encoding； Transformer，三种LLM常用的架构，encoder-decoder，prefix-decoder，causal-decoder，后两个为decoder-only，如LLaMA和GPT均为decoder-only； 自回归生成 autoregressive 方式，即逐个生成输出序列中的每个token，解码过程中，每次生成一个token，使用前面已生成的内存作为上下文，来帮助预测下一个token 输出，生成的token通过输出层，通常是线性变换加上softmax，将每个位置的概率分布转为对应token的概率，根据概率，选择最高的token或者作为模型的预测结果。 国外知名LLM 公司 大模型 说明 OpenAI GPT系列， ...

​ ICP上多媒体数据的传输问题，大致分两种： 一种是多媒体文件的直接传输，比如图像文件.jpg，.bpg，视频文件.mp4，.mkv，文本文件.txt和语音文件.mp3等。这种类型的传输比较简单，和图像传输一样，程序里规定一次传输的数据量，然后编码传输即可。 第二种是以直播形式进行的实时视频或者语音传输，这种方式也有两种解决思路。第一种是用程序编码数据然后传输，这种方式比较简单，只需要在python中调用API即可，问题在于比如对于视频传输，每一帧压缩后的数据量不同，那么在SDR上的数据帧很难定义（但也不是完全没办法），总之，这种方式不够灵活。第二种是用多媒体软件自带的推流功能，比如VLC的UDP，RTSP推拉流，这种方式很灵活，但问题在于如何在SDR上每次读取指定字节量的数据。后期如果使用网络实现视频传输，那么只能使用第一种思路。

外差和超外差​ 无线电发射机有两种主要架构——一种是从基带频率直接调制到射频频率（称为外差），而第二种超外差是通过两个调制阶段来实现这种转换：第一个是从基带到中频（IF），第二个是从中频到射频(RF)。 采样率的影响​ SDR中数字处理元件可以实现的采样率，特别是无线电的ADC和DAC的采样率，决定了无线电的实现方式——特别是哪些部分可以实现数字，哪些部分需要模拟电路。这是因为数字处理只能在满足奈奎斯特准则的情况下使用，换句话说，当采样率大于信号中存在的最大频率分量的两倍时，根据用于传输信号的射频频带，有可能实现所有调制和解调的数字化，具体而言，如果满足下面条件：$$f_s＞2f_{rf_{max}}$$，其中$f_s$是ADC和DAC的采样率，frfmax是RF调制信号中存在的最大频率。如果满足上述条件，那么所有的模拟信号处理都可以在数字域中完成，从而实现所谓的直接射频（Direct-RF）或几乎全数字（Almost-All-Digital）无线电架构。 ​ 如果不能满足上式的条件，另一种选择是在数字域中实现基带和中频（IF）之间的调制和解调阶段，而IF和RF之间的转换则通过模 ...

FFmpeg介绍​ FFmpeg 是一个可以处理音视频的软件，功能非常强大，主要包括，编解码转换，封装格式转换，滤镜特效。同时也支持 各种网络协议，支持 RTMP ，RTSP，HLS 等高层协议的推拉流，也支持更底层一点的TCP/UDP 协议推拉流。 ​ 在多平台系统方面，FFmpeg 的兼容性也优势显著，FFmpeg 可以在 windows，Linux，Mac，ios，android 等等操作系统上运行。 ​ 因此，可以说 FFmpeg 是音视频领域的瑞士军刀。在多个公司都有使用，例如 Google 的 chrome 里面就使用了 FFmpeg 的库。还有 Youtube，Facebook，以及国内的各种做音视频产品的公司，只要他做音视频，95% 都会用到 FFmpeg。 ​ 但是截止 2022 年，FFmpeg 还是只有 命令行，没有GUI 图像界面，所以对使用者有一定的门槛。 ​ FFmpeg 是一个开源项目，起始于2000年，截止 2022 年，已经走过 22 年，在这过程中，FFmpeg 社区经历过一次分裂。2011年的时候，一群 FFmpeg 开发者由于 ...

DIV2K​ DIV2K 数据集源自 NTIRE2017 和 NTIRE2018 超分辨率挑战赛，是图像超分辨率中最流行使用的数据集之一。该数据集由 800 幅训练集图片，100 幅验证集图片和 未公开的100 幅测试集图片组成，每张图片具有 2K 分辨率。 ​ DIV2K 数据集可以从其主页下载。 ​ 其中还有以bicubic和unknown方式x2 x4 x8降采样的图像。 Flickr2K​ 数据大小为20G​ HR: 2650 张 png ，包含人物、动物、风景​ Flickr2K_LR_bicubic： X2、X3、X4，目前缺少 X8​ 2650 2K images from Flickr for training DF2K​ DF2K 数据集提出自 Enhanced Deep Residual Networks for Single Image Super-Resolution，是 DIV2K 和 Flickr2K 合并得到的数据集。Flickr2K 数据集包含 2650 张 2K 分辨率的图片。 ​ 可以分别下载 DIV2K 和 Flickr2K ，然 ...

项目ing，在利用卷积神经网络压缩1080p图像时，使用DIV2K数据集，遇到验证集损失低于训练集损失的情况，故记录如下。 原因1：在训练中应用正则化，但在验证/测试中未应用正则化​ 在训练深度神经网络时，经常使用正则化来帮助我们的模型： 获得更高多大验证/测试精度； 理想情况下，为了更好地泛化验证和测试集之外的数据。 ​ 正则化方法通常会牺牲训练准确性来提高验证/测试准确性，在某些情况下，可能会导致验证loss低于训练loss。 ​ 其次，在验证/测试时不应该使用诸如dropout之类的正则化方法。 原因2：训练loss是在每个epoch中测量的，而验证loss是在每个epoch后测量的​ 在整个epoch中，训练loss将不断的输出，但是仅在当前epoch完成后，才根据验证集计算验证指标。 ​ 这意味着，平均而言，训练loss要提前半个epoch来衡量。 原因3：验证集可能比训练集更容易​ 验证loss低于训练loss的最终最常见原因是由于数据本身分布的问题。 ​ 考虑如何获取验证集： 可以保证验证集是从与训练集相同的 ...

Title Journal/Magazine Reference Abbreviation *denotes past acronyms/abbreviations of journals Access, IEEE ACCESS IEEE Access Aerospace and Electronics Systems Magazine, IEEE MAES IEEE Aerosp. Electron. Syst. Mag. Aerospace and Electronic Systems, IEEE Transactions on TAES TANE* TANE* TAS* TMIL* TAE* IEEE Trans. Aerosp. Electron. Syst. (1965-present) IEEE Trans. Aerosp. Navig. Electron.* (1963-1965) IEEE Trans. Aeronaut. Navig. Electron.* (1953-1955)IEEE Trans. Aero ...

重点介绍常用的图像文件格式 首先明确，无论是视频还是图像，编解码器/编解码算法和图像/视频的格式是不同的概念，也不是一一对应的，即一个图像文件格式通常可以使用多种编解码算法进行编码，同时一个编解码算法也可以用于多种不同的图像文件格式。例如，JPEG格式的图像可以使用不同版本的JPEG编解码器进行编码和解码，而同一种JPEG编解码器也可以用于处理其他格式的图像数据，比如在HEIF容器中的JPEG图像。 常用的图像文件格式​ 位图 JPEG（.jpg、.jpeg）：一种常见的有损压缩格式，适合用于存储照片和其他图像。 PNG（.png）：一种无损压缩格式，支持透明度，并且通常用于网络图像和图形设计中。 GIF（.gif）：一种支持动画的格式，适合用于简单的动画和图标。 BMP（.bmp）：一种不压缩的图像格式，适合用于存储位图图像。 TIFF（.tiff、.tif）：一种多用途的图像格式，支持多种压缩算法和颜色模式，适合用于印刷和出版。 WebP（.webp）：由Google开发的一种图像格式，可以提供比JPEG更好的压缩率，适合用于网络图像。 BPG（Be ...

本篇主要介绍常用的视频文件格式，并对mp4和mkv进行对比。 常用视频文件格式​ 常用的视频文件格式包括： MP4（MPEG-4 Part 14）：最常见的视频文件格式之一，支持音频、视频和字幕等多种数据流。 AVI（Audio Video Interleave）：是由微软公司开发的一种音频和视频文件格式，支持多种编解码器。 MOV：是由苹果公司开发的一种视频文件格式，通常用于存储电影或其他视频文件，支持多种编解码器。 WMV（Windows Media Video）：是微软开发的一种视频文件格式，适用于 Windows 平台。 FLV（Flash Video）：是 Adobe 公司开发的一种视频文件格式，常用于网络视频播放。 MKV（Matroska Video）：是一种开放的多媒体容器格式，可以包含多个音频、视频、字幕和元数据轨道。 WebM：是一种开放、免费的多媒体文件格式，通常用于网络视频，支持高质量的 VP8 和 VP9 视频编码。 3GP/3G2：是一种用于在移动设备上播放的视频文件格式，通常用于手机视频。 MP4对比MKV​ MP4 由 Moving ...

通信系统分类通信业务​ 根据通信业务的类型不同,通信系统可以分为电报通信系统、电话通信系统、数据通信系统、图像通信系统等。 调制方式​ 根据信道中传输的信号是否经过调制,可将通信系统分为基带传输系统和带通传输系统。基带传输是将未经调制的信号直接传送,如市内电话、有线广播;带通传输是对各种信号调制后传输的总称。 连续波： 模拟调制：AM、DSB、SSB、VSB、FM、PM 数字调制：ASK、FSK、PSK、DPSK、QPSK、QAM、MSK 脉冲序列： 脉冲模拟调制：PAM、PDM、PPM 脉冲数字调制：PCM、DM、DPCM、ADPCM 信号特征​ 按照信道中所传输的是模拟信号还是数字信号,把通信系统分成模拟通信系统和数字通信系统。 传输媒质​ 按传输媒质,通信系统可分为有线通信系统和无线通信系统两大类。有线通信是用导线(如同轴电缆、光导纤维等)作为传输媒质完成通信的,如有线电视、海底电缆通信等。无线通信则是依靠电磁波在空间传播来传递消息，如短波电离层传播、卫星中继等。 工作频段​ 按通信设备的工作频率或波长不同,分为长波通信、中波通信、短波通信、远红外线通信 ...