经验分布函数是统计学中一个与样本经验测度有关的分布函数。该累积分布函数是在所有n个数据点上都跳跃1/n的阶跃函数。对被测变量的某个值而言，该值的分布函数值表示所有观测样本中小于或等于该值的样本所占的比例。经验分布函数是对用于生成样本的累积分布函数的估计。

改善深层神经网络：训练-开发-测试集划分、偏差与方差-Bias vs Variance、正则化、归一化输入、梯度消失和梯度爆炸、梯度检查；优化算法：mini-batch、指数加权平均……

shell速查手册

Keras 是一个Python深度学习框架，可以方便地定义和训练几乎所有类型地深度学习模型。Keras最开始是为研究人员开发的，其目的在于快速实验。

Tensorflow中模型保存有着关键作用，无论是隔段时间保存以防止突发状况，还是保存训练完毕的模型以供使用，都需要使用tensorflow中的模型保存功能。有时候，可能也需要用到训练好的模型（迁移学习，预学习），并在这个基础上再次训练（fine tuning）。这时候我们需要掌握如何操作这些模型数据。

`x.shape`和`x.get_shape()`都是返回TensorShape类型对象，而`tf.shape(x)`返回的是Tensor类型对象。具体来说`tf.shape()`返回的是tensor，想要获取tensor具体的shape结果需要`sess.run`才行。

在有些机器学习程序中我们想要指定某些操作执行的依赖关系，这时我们可以使用tf.control_dependencies()来实现。 control_dependencies(control_inputs)返回一个控制依赖的上下文管理器，使用with关键字可以让在这个上下文环境中的操作都在control_inputs 执行。

1.X的感觉和过去用的ns3很像，默认方式是先要定义一个静态结构，然后训练操作流程时独立的。这样运行效率比较高，但是调试起来费劲。最直观的一点，就是一些在函数中预先定义静态结构“彷佛”是不执……

人工智能，深度学习，机器学习……不管你在从事什么工作，都需要了解这些概念。否则的话，三年之内你就会变成一只恐龙。 —— 马克·库班。库班的这句话，乍听起来有些偏激，但是“话糙理不糙”，我们现在正处于一场由大数据和超算引发的改革洪流之中。

原文链接：<https://blog.csdn.net/liuchunming033/article/details/48498061>Python不会自动调用父类的constructor，你得亲自专门调用它。有两种常用方法：……