在scikit-learn中可视化交叉验证行为¶

选择正确的交叉验证对象是正确拟合模型的关键部分。有很多方法可以将数据分为训练集和测试集，从而避免模型过度拟合，例如标准化测试集中的组数等。

本示例将几个常见的scikit学习对象的行为可视化以进行比较。

from sklearn.model_selection import (TimeSeriesSplit, KFold, ShuffleSplit,
                                     StratifiedKFold, GroupShuffleSplit,
                                     GroupKFold, StratifiedShuffleSplit)
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.patches import Patch
np.random.seed(1338)
cmap_data = plt.cm.Paired
cmap_cv = plt.cm.coolwarm
n_splits = 4

可视化我们的数据

首先，我们必须了解数据的结构。它包含100个随机生成的输入数据点，数据点之间标签被不均匀地划分为三类，同时我们均匀划分了10个“组”。

正如我们将看到的，一些交叉验证对象对带有标签的数据执行特定的操作，另一些对分组数据的处理方式有所不同，而另一些则不使用此信息。

首先，我们将可视化数据。

# 生成类别/组数据
n_points = 100
X = np.random.randn(100, 10)

percentiles_classes = [.1, .3, .6]
y = np.hstack([[ii] * int(100 * perc)
               for ii, perc in enumerate(percentiles_classes)])

# 间隔均匀的组重复一次
groups = np.hstack([[ii] * 10 for ii in range(10)])


def visualize_groups(classes, groups, name):
    # 可视化数据集组
    fig, ax = plt.subplots()
    ax.scatter(range(len(groups)),  [.5] * len(groups), c=groups, marker='_',
               lw=50, cmap=cmap_data)
    ax.scatter(range(len(groups)),  [3.5] * len(groups), c=classes, marker='_',
               lw=50, cmap=cmap_data)
    ax.set(ylim=[-1, 5], yticks=[.5, 3.5],
           yticklabels=['Data\ngroup', 'Data\nclass'], xlabel="Sample index")


visualize_groups(y, groups, 'no groups')

定义一个函数以可视化交叉验证行为

我们将定义一个函数，使我们可以可视化每个交叉验证对象的行为。 我们将对数据进行4次拆分。在每个分组中，我们将为训练集（蓝色）和测试集（红色）可视化选择的索引。

def plot_cv_indices(cv, X, y, group, ax, n_splits, lw=10):
    """为交叉验证对象的索引创建样本图."""

    # 为每个交叉验证分组生成训练/测试可视化图像
    for ii, (tr, tt) in enumerate(cv.split(X=X, y=y, groups=group)):
        # 与训练/测试组一起填写索引
        indices = np.array([np.nan] * len(X))
        indices[tt] = 1
        indices[tr] = 0

        # 可视化结果
        ax.scatter(range(len(indices)), [ii + .5] * len(indices),
                   c=indices, marker='_', lw=lw, cmap=cmap_cv,
                   vmin=-.2, vmax=1.2)

    # 将数据的分组情况和标签情况放入图像
    ax.scatter(range(len(X)), [ii + 1.5] * len(X),
               c=y, marker='_', lw=lw, cmap=cmap_data)

    ax.scatter(range(len(X)), [ii + 2.5] * len(X),
               c=group, marker='_', lw=lw, cmap=cmap_data)

    # 调整格式
    yticklabels = list(range(n_splits)) + ['class', 'group']
    ax.set(yticks=np.arange(n_splits+2) + .5, yticklabels=yticklabels,
           xlabel='Sample index', ylabel="CV iteration",
           ylim=[n_splits+2.2, -.2], xlim=[0, 100])
    ax.set_title('{}'.format(type(cv).__name__), fontsize=15)
    return ax

现在看看K折交叉验证对象可视化后效果如何：

fig, ax = plt.subplots()
cv = KFold(n_splits)
plot_cv_indices(cv, X, y, groups, ax, n_splits)

输出：

<matplotlib.axes._subplots.AxesSubplot object at 0x7f96064f9190>

如您所见，默认情况下，K折交叉验证迭代器不考虑数据点类或组。我们可以像这样使用StratifiedKFold来改变它。

fig, ax = plt.subplots()
cv = StratifiedKFold(n_splits)
plot_cv_indices(cv, X, y, groups, ax, n_splits)

<matplotlib.axes._subplots.AxesSubplot object at 0x7f96042325b0>

在这种情况下，交叉验证在每个CV划分中保留相同的类比例。 接下来，我们将可视化许多CV迭代器的行为。

可视化许多CV对象的交叉验证索引

让我们直观地比较许多scikit-learn交叉验证对象的交叉验证行为。下面，我们将循环浏览几个常见的交叉验证对象，以可视化每个对象的行为。

注意有些交叉验证如何使用组/类信息，而有些交叉验证则不使用。

cvs = [KFold, GroupKFold, ShuffleSplit, StratifiedKFold,
       GroupShuffleSplit, StratifiedShuffleSplit,
       TimeSeriesSplit]

for cv in cvs:
    this_cv = cv(n_splits=n_splits)
    fig, ax = plt.subplots(figsize=(6, 3))
    plot_cv_indices(this_cv, X, y, groups, ax, n_splits)

    ax.legend([Patch(color=cmap_cv(.8)), Patch(color=cmap_cv(.02))],
              ['Testing set', 'Training set'], loc=(1.02, .8))
    # Make the legend fit
    plt.tight_layout()
    fig.subplots_adjust(right=.7)
plt.show()

脚本的总运行时间：（0分钟0.937秒）