神经网络训练的训练技巧(三)

介绍完基本的概念和技巧以后，本节我们讨论一下一些常见的评估标准和常见的优化策略

机器学习评估标准

True Positive（TP）：正类预测为正类 True Negtive（TN）：负类预测为负类 False Positive（FP）：负类预测为正类（误报） False Negative（FN）：正类预测为负类（漏报）

精确率（precision）：针对预测结果而言的，它表示的是预测为正的样本中有多少是对的

P = TP/（TP+FP）

准确率（accuracy）：针对所有结果，预测正确的有多少

ACC = （TP+TN）/（TP+TN+FP+FN）

召回率（recall）：针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确的

R = TP/（TP+FN）

正交化

有了上面对预测结果的评估的方式，我们可以针对各种情况进行优化，但是有时候我们在算法的优化过程中可能会牵一发而动全身，所以我们需要我们机器学习算法流程需要满足正交化。

1.在训练过程中表现要足够好。如果不够好，可以用更深的神经网络或者更多的神经元；或者替换优化算法。

2.在验证集中表现不够好，可以使用正则化或使用大一点的训练集。

3.在测试集中表现不够好，可以使用大一点的验证集。

4.在生产环境中表现不好，测试集不正确或者损失函数有问题。

机器学习策略

为了提高模型的表现，我们可以采用如下的方法:

1.收集更多的数据

2.使数据多样性更加丰富

3.加长训练时长，让梯度下降迭代次数更多

4.用Adam代替梯度下降

5.尝试更大、更小的网络

6.尝试dropout

7.尝试L2正则化

举一个非常形象的例子，就像下图的老式电视机，每一个旋钮都有自己的作用。

他们的作用都很单一，但是我们可以根据目前电视的情况去调整响应的按钮，经过一系列的调整，最终获取清晰的画面。

深度学习的过程也是类似，我们有很多的旋钮，根据每次训练完的表现，调整响应的”旋钮”，达到一个相对”清晰”的结果。