JrunDing

背景​ 深度学习的每一个组件都需要我们理解其原理，只有掌握了基础知识，我们才能不断的优化模型和进行算法创新。本篇文章总结了 26 种激活函数，有些是非常经典的以至于原始论文无从参考，如果愿意深入研究的话可以自行搜索相关论文，至于有参考文献的，我这里都附上该函数的出处。原文链接：[Visualising Activation Functions in Neural Networks](https://dashee87.github.io/data science/deep learning/visualising-activation-functions-in-neural-networks/) ，本文在原文的基础之上做了翻译和总结，并加上详细解释，以方便日后自己使用。 激活函数简介为什么神经网络需要激活函数​ 当我们不用激活函数时，权重和偏差只会进行 线性变换。线性方程很简单，但解决复杂问题的能力有限。没有激活函数的神经网络实质上只是一个 线性回归模型。激活函数对输入进行非线性变换，使其能够学习和执行更复杂的任务。我们希望我们的神经网络能够处理 复杂任务， ...

queue 模块即队列，特别适合处理信息在多个线程间安全交换的多线程程序中。下面我们对 queue 模块进行一个详细的使用介绍 queue 模块定义的类和异常​ queue 模块定义了以下四种不同类型的队列，它们之间的区别在于数据入队列之后出队列的顺序不同 queue.Queue(maxsize=0)​ 先进先出(First In First Out: FIFO)队列，最早进入队列的数据拥有出队列的优先权，就像看电影入场时排队一样，排在队伍前头的优先进入电影院 ​ 入参 maxsize 是一个整数，用于设置队列的最大长度。一旦队列达到上限，插入数据将会被阻塞，直到有数据出队列之后才可以继续插入。如果 maxsize 设置为小于或等于零，则队列的长度没有限制 ​ 示例如下： import queueq = queue.Queue() # 创建 Queue 队列for i in range(3): q.put(i) # 在队列中依次插入0、1、2元素for i in range(3): print(q.get()) # 依次从队列中取出插入的元素，数据元素输 ...

简介​ 熟悉Python的人理应都听过GIL(Global Interpreter Lock，全局解释器锁) ，大概也知道它就是造成Python多线程并发其实是「伪并行」的核心原因，但依旧很多人没有深入其中，所以HackPython尝试以上、下两篇文章来阐释GIL，分别从其表现现象、对应源码以及Python对GIL改进等方面进行讨论 Python多线程的伪并行​ Python中可以使用「threading」模块来创建并使用多线程，为了直观比较，先试一下一个没有使用多线程的代码 ，如下： import time def add(n): sum = 0 while sum <= n: sum +=1 print(f'sum:{sum}')if __name__ =='__main__': start = time.time() add(500000000) print('run time: %s'%str(time.time()- start) ...

之前了解过BIOS相关内容，也重装过系统，拆过笔记本，装过硬件，今天对这方面知识进行详细记录 软件安利​ diskgenius：查看磁盘分区情况 ​ ghost：备份磁盘 ​ WEPE：纯洁pe系统制作软件 ​ Rufus：烧写镜像 Lenovo y7000p为例介绍BIOS（Boot）​ BIOS是计算机开机执行的第一个程序，用于开机硬件自检，并引导启动操作系统 ​ information：这个界面是对电脑的一些介绍，包括​ SYS MEMORY、HARD DISK、SSD、CPU、 ETC……​ UUID number：通用唯一识别码​ OA3 KEY ID ：主板密钥 ​ configuration：这个界面是对电脑的设置，包括​ SYS TIME、SYS DATE、WIRELESS LAN ETC……​ Graphic Device ：discrete graphics 独立显卡 ​ SECURITY：这个界面是安全相关的，包括​ PASSWORD、SECURE BOOT ETC……​ CSM：ENABLE=兼容 UEFI AND BIOS​ DISABL ...

CPU​ CPU(Central Processing Unit)是中央处理单元 ​ 物理CPU，物理CPU内核，逻辑CPU ​ 一个物理CPU可以有1个或者多个物理内核 ​ 一个物理内核可以作为1个或者2个逻辑CPU 物理CPU​ 物理CPU就是计算机上实际安装的CPU，物理CPU数就是主板上实际插入的CPU数量 ​ 在Linux上查看/proc/cpuinfo，其中的physical id就是每个物理CPU的id，有几个不同的physical id就有几个物理CPU 物理CPU内核​ 每颗物理CPU可以有1个或者多个物理内核，通常每颗物理CPU的内核数都是固定的 ​ 单核CPU就是有1个物理内核，双核CPU就是有2个物理内核 ​ 在Linux上查看/proc/cpuinfo，其中的core id就是每颗物理CPU的物理内核id，有几个不同的core id就有几个物理内核 ​ 总的CPU物理内核数 = 物理CPU数 * 每颗物理CPU的内核数 逻辑CPU​ 操作系统可以使用逻辑CPU来模拟真实CPU ​ 在没有多核处理器的时候，一 ...

近几年，随着深度学习指数级发展，深度学习的框架使用在人工智能领域也起着举足轻重的作用，这其中包括Tensoflow、Pytorch、Keras、Caffe等等 ​ 那么面对这些框架，究竟使用哪个呢？ ​ 答：其实，这几个框架都有各自的优点，大家了解后可以根据自己的情况进行选择；下面我们就来看看吧！！（本文纯属是唠唠嗑的，想直接知道自己适合使用哪种框架的，可以直接滑倒文末看结论 ） Tensoflow​ TensorFlow由Google智能机器研究部门Google Brain团队研发的；TensorFlow编程接口支持Python和C++。随着1.0版本的公布，相继支持了Java、Go、R和Haskell API的alpha版本。 ​ 在2017年，Tensorflow独占鳌头，处于深度学习框架的领先地位；但截至目前已经和Pytorch不争上下。 ​ Tensorflow目前主要在工业级领域处于领先地位。 Pytorch​ Pytorch目前是由Facebook人工智能学院提供支持服务的。 ​ Pytorch目前主要在学术研究方向领域处于领先地位。 ​ 其优点在于：PyTorch可 ...

python中的struct主要是用来处理C结构数据的，读入时先转换为Python的字符串类型，然后再转换为Python的结构化类型，比如元组(tuple)啥的~。一般输入的渠道来源于文件或者网络的二进制流。 ​ struct模块中最重要的三个函数是pack(), unpack(), calcsize() # 按照给定的格式(fmt)，把数据封装成字符串(实际上是类似于c结构体的字节流)pack(fmt, v1, v2, ...)# 按照给定的格式(fmt)解析字节流string，返回解析出来的tupleunpack(fmt, string) # 计算给定的格式(fmt)占用多少字节的内存calcsize(fmt) ​ 上述fmt中，支持的格式为： FORMAT C TYPE PYTHON TYPE STANDARD SIZE NOTES x pad byte no value c char string of length 1 1 b signed char integer 1 (3) B unsigned char integer ...

语法.gitignore语法： 以”#”号开头表示注释；以斜杠“/”开头表示目录；以星号“*”通配多个字符；以问号“?”通配单个字符以方括号“[]”包含单个字符的匹配列表；以叹号“!”表示不忽略(跟踪)匹配到的文件或目录； ​ git 对于 .ignore 配置文件是按行从上到下进行规则匹配的，意味着如果前面的规则匹配的范围更大，则后面的规则将不会生效； ​ 注：/在文件夹名前，表示根目录下的某个文件夹，/test/表示忽略根目录下的/test/目录的全部内容，而test/表示忽略文件夹test下的全部内容，不管是根目录下的/test/，还是某个子目录下的test文件夹，比如：/child/test，都会被忽略 用法​ 下面演示下gitignore规则的常用用法 *.txt ，*.xls 表示过滤某种类型的文件target/ ：表示过滤这个文件夹下的所有文件/test/a.txt ，/test/b.xls 表示指定过滤某个文件下具体文件!*.java , !/dir/test/ ...

最基本的三维图是由(x, y, z)三维坐标点构成的线图与散点图，可以用ax.plot3D和ax.scatter3D函数来创建，默认情况下，散点会自动改变透明度，以在平面上呈现出立体感 三维的线图和散点图#绘制三角螺旋线from mpl_toolkits import mplot3d%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npax = plt.axes(projection='3d')#三维线的数据zline = np.linspace(0, 15, 1000)xline = np.sin(zline)yline = np.cos(zline)ax.plot3D(xline, yline, zline, 'gray')# 三维散点的数据zdata = 15 * np.random.random(100)xdata = np.sin(zdata) + 0.1 * np.random.randn(100)ydata = np.cos(zdata) + 0.1 ...

简单来讲，装饰器就是为了不修改原函数内容，在原函数（内函数）基础上增添新的功能（外函数）。通常是在函数内定义函数，内部为内函数，外部为外函数，先执行内函数，后执行外函数。通常用语法糖@function的形式作为外函数装饰内函数。 装饰器的定义​ 装饰器 ，英文称之为decorator。 ​ 我们开发Python代码，会经常碰到装饰器。 ​ Python中装饰器通常用来装饰函数、或者类的方法。 ​ 通常被装饰后的函数， 会在原有的函数基础上，增加一点功能。 ​ 比如 前面我们在学习到类里面的静态方法，就是使用了staticmethod 这个装饰器，被装饰的方法 就增加了一层含义，表示这个方法是个静态方法。 ​ 通常装饰器本身是也一个函数。 那么装饰器是怎么装饰另外的函数的呢？ ​ 假设你进入一个公司，领导要求你在老代码的基础上继续开发。 ​ 假设代码里面有好多函数，都是返回时间的，比如像下面这样。 import timedef getXXXTime(): print() return time.strftime('%Y_%m_%d %H:%M:%S', ...