LSTM（RNN）

基础介绍

LSTM比普通rnn多出了三个控制器：输入控制，输出控制和忘记控制

神经网络：由对人体的神经对于外来信号接收的模拟，外来信号要达到一定程度才能使神经元达到兴奋状态。加权求和

深度神经网络：中间有很多层的隐藏层，这些隐藏层通常都是很简单的运算，但是叠加起来是很复杂的。从一个input经过很多层的隐藏层运算得到output，但是无法进行有关时间序列的运算，时间序列（每两个数据之间有时序性的）

RNN：输入序列，输出的也是一个序列，并且每个点的信息都会传递给下一个节点，具有记忆性并且信息参数共享。加权求和包括每个节点的输入数据，同时也要包含上个点得出的信息，同样可以增加时间序列上的深度增加，也可以在神经网络的结构上深度增加。RNN可以在双向上变身（时间序列和神经网络结构）由于序列很长，反向传播时会出现梯度消失或者梯度爆炸。

上一个节点的输出和这个节点的输入加权求和

LSTM：可以记住较长的序列

根据输入和上一个节点的输入判断自身这一个节点对整体是否有价值
根据上一节点的output和这一节点的input来算出这一个节点的output
自身这一个的input来判断自身是否有价值，有价值的话就加入自身，如果没有价值就将上一个节点的数据传递下去，也可以按照一定权重传递，根据自身的数据进行判断，并决定权重
根据3得到输出的数据具体是怎样的

LSTM有了选择忘记的功能，有一个权重传递，判断数据对于整体的关联性，有一个自我衡量的机制，对于大量的无用数据的记忆可能会对之前的关键性数据造成遗忘。

一些改进的设计

GRU

解决的问题

一对多：输入不是sequnce，输出的是sequence

输入一张图片，输出一句话

多对一：输入的是sequence，输出的不是sequence

多对多：输入的是sequence，输出的也是sequence

语音翻译，输入的是一段序列，输出的也是一段序列。

例子

多对多

输入手写，输出转为字母，由于具有序列性可以产生语义之间的联系，得到符合常理的结果，而不是仅仅根据手写的形式得到结果（这是一个多对多的形式）
语音识别，输入一段话，每一段小小的语音是input，每一个字就是output，使用LSTM可以根据前后的小的语音段得到具体的字
视频概括，看完整个视频后，对整个视频进行理解，根据理解的视频作为input，逐字逐句的生成人们说的一句话

多对一

视频概括，同样是得到了具体的output，每一个节点都得到了具体的output，但是我们只需要最后一个节点的结果，得到最终的output，也就是多对一

一对多

录入了所有的莎士比亚的文章，我们输入一段自己的词，不断地predict一个词语加一个词语，就可以得到一整首诗

知网

web of Science

主成分分析 Minkowaski 空间距离偏相关分析因子分析

主成分分析

描述对象和对应变量之间的关系

对象可以任意增加个数，而变量个数的增加与位数有关，最多画到三维图，四个维度的话无法画出具体的图像。

对于变量都求出平均值，再将平均值移到原点，然后你和一条直线，使直线进来拟合数据。如何判断拟合的好坏。

拟合直线方法：使各点到直线距离最小。

各点到直线的投影点与原点之间的距离记作d，各个d的平方和最大时，这条线有最大的平方和，这条线叫做主成分1

各点到最佳拟合线的平方和叫做pc1的特征值，它的平方根叫做奇异值，

主成分2就是与主成分1垂直的线。

最后再将其旋转即可，使pc1pc2分别水平和垂直就可以了。

差异由特征值再除以样本数减一即可，总差异是两者差异相加，pc1的差异除以总差异，就是pc1的差异率。

姜启源数学建模

减速带问题的建模过程：

简化的合理的假设，利用了问题的内在规律

利用问题的蕴含的内在规律（时间距离速度加速度的内在关系）

根据测试数据估计模型的参数（加速度和减速度）

数学模型

对于一个现实对象，为了一个特定的目的

根据其内在规律，做出必要的简化设置

运用适当的数学工具，得到的一个数学结构

数学建模

建立数学模型的过程

基本方法

机理分析：对客观事物特性的认识找内部机理的熟练关系（建立结构）

测试分析：对量测数据的统计分析找与数学拟合的数学模型由大量的数据作为基础进行所用的数学模型测试，如果拟合的号，数学模型成立（确定模型参数）

基本步骤

模型准备模型假设模型构成模型求解模型分析模型检验模型应用

模型检验可以对模型假设进行检验，看是否要进行假设的改变。

椅子放稳模型

光盘容量问题

光盘数据容量与线密度和信道间距，机械形式有关

激光必须聚焦才能识别信道上的信息

光的衍射试激光束形成园装光斑

光斑越小，信道间距越小，线密度越大

光斑的大小与激光波长成正比

机械形式：

恒定的线速度（各圈螺旋线上的数据的线密度不变，容量取决于线密度和信道间距）
恒定的角速度（每圈的数据的量是一样多的）

恒定的线速度存储比恒定的角速度的更多，但恒定的角速度的操作方式更简单。连续存储的用恒定的线速度的是可以的，要读取光盘的不同区域的文件用恒定角速度更好

恒定线速度

假设上每个信道都近似看作一个圆，严格的话需要要用到线积分，不用线积分看作同心圆可以全部直接累加（1）

环形区域的面积除以信道间距就是信道的长度。（2)

同心圆的平均周长乘圈数也是信道长度。（3）

以上都是求信道总长度的方法。

面积越大，数据容量显然越大

恒定角速度

短板效应，用最内圈的线密度，再乘以信道长度

信道长度就是内圈的周长乘以圈数。

由于只能是最小的内径的有效，在外圈给定的情况下，内圈有一个半径使存储量最大。

问题评述

准备工作充足：背景资料，数据的教研

用用同心圆代替螺旋线，简化模型的建立和求解（要算线积分：比较复杂）

误差不会超过0.02%

核军备竞赛

核威慑：在自己遭受毁灭性打击后，仍然能够毁灭对方

假设一枚导弹只能毁灭一枚导弹，以不同导弹尽可能打击对方不同的核基地，以双方核导弹数量描述核军备的大小。假设摧毁一个基地的可能为一个常熟（取决于对方的精度，和自己的防御能力）

用曲线来描述甲方有x枚导弹，乙方最少需要f(x)枚导弹（乙安全线）

乙方有y枚导弹，甲方所需的导弹数g（y）枚导弹。（甲安全线）

介于安全线之间时双方都觉得安全，甲乙的交点P为理想状态下双方都安全的点

双层玻璃的功效

首先要明确热量的损失与哪些因素有关，双层玻璃的厚度都为d，中间空气的厚度为l，室内的温度时T1室外的温度为T2，与单层玻璃厚度为2d的损失相比较。

考虑的是单位时间内流逝的热量，散热过程是热量传导问题，窗户关严，对流可忽略假设合理并近似成立；T1T2不变，处于稳态；材料均匀，热传导系数不变。

利用物理规律建模：Q单位时间单位面积所传到的热量，与dataT温差，d材料的厚度，k热传导的系数。Q=k*dataT/d

玻璃的热传导系数在10的-3次方量级，空气的热传导系数在10的-4次方量级。

、

大创笔记