Python scikit-learn 1.3 聚类实战：3种算法对比与欧洲语言数据集应用

Python scikit-learn 1.3 聚类实战：3种算法对比与欧洲语言数据集应用

聚类分析是机器学习中无监督学习的重要分支，它能帮助我们发现数据中隐藏的自然分组。本文将带你用Python的scikit-learn 1.3版本，实战三种主流聚类算法：系统聚类、K-Means和AgglomerativeClustering，并应用于一个有趣的欧洲语言数据集。

1. 环境准备与数据加载

在开始之前，确保你已经安装了以下Python库：

pip install scikit-learn==1.3.0 pandas matplotlib seaborn numpy

我们将使用一个特殊的欧洲语言距离矩阵作为示例数据。这个数据集记录了6种欧洲语言（英语、挪威语、德语、法语、西班牙语、意大利语）之间的"距离"，这个距离是基于数字1-10的拼写差异计算的。

import numpy as np import pandas as pd from scipy.spatial.distance import squareform # 语言缩写：E(英语), N(挪威语), G(德语), Fr(法语), S(西班牙语), I(意大利语) languages = ['E', 'N', 'G', 'Fr', 'S', 'I'] # 距离矩阵（下三角） dist_matrix = np.array([ [0], # E [2, 0], # N [6, 6, 0], # G [6, 6, 2, 0], # Fr [6, 6, 6, 6, 0], # S [6, 6, 6, 6, 2, 0] # I ]) # 转换为完整的对称距离矩阵 full_dist_matrix = squareform(dist_matrix)

2. 三种聚类算法原理与实现

2.1 系统聚类（Hierarchical Clustering）

系统聚类通过连续合并或分裂簇来构建树状图（dendrogram）。scikit-learn中的AgglomerativeClustering实现了这种方法。

核心参数解析：

from sklearn.cluster import AgglomerativeClustering import matplotlib.pyplot as plt from scipy.cluster.hierarchy import dendrogram # 系统聚类实现 def plot_dendrogram(model, **kwargs): counts = np.zeros(model.children_.shape[0]) n_samples = len(model.labels_) for i, merge in enumerate(model.children_): current_count = 0 for child_idx in merge: if child_idx < n_samples: current_count += 1 else: current_count += counts[child_idx - n_samples] counts[i] = current_count linkage_matrix = np.column_stack([model.children_, model.distances_, counts]).astype(float) dendrogram(linkage_matrix, **kwargs) model = AgglomerativeClustering(distance_threshold=0, n_clusters=None, affinity='precomputed', linkage='complete') model = model.fit(full_dist_matrix) plt.figure(figsize=(10, 6)) plt.title('欧洲语言谱系聚类图') plot_dendrogram(model, labels=languages, orientation='right') plt.show()

2.2 K-Means聚类

K-Means是最著名的动态聚类算法，虽然通常用于欧式空间数据，但我们可以通过多维缩放(MDS)将距离矩阵转换为适合K-Means的形式。

from sklearn.manifold import MDS from sklearn.cluster import KMeans # 将距离矩阵转换为2维坐标 mds = MDS(n_components=2, dissimilarity='precomputed', random_state=42) coordinates = mds.fit_transform(full_dist_matrix) # K-Means聚类 kmeans = KMeans(n_clusters=3, random_state=42) kmeans_labels = kmeans.fit_predict(coordinates) # 可视化 plt.figure(figsize=(8, 6)) plt.scatter(coordinates[:, 0], coordinates[:, 1], c=kmeans_labels, cmap='viridis') for i, lang in enumerate(languages): plt.annotate(lang, (coordinates[i, 0], coordinates[i, 1])) plt.title('K-Means聚类结果') plt.show()

2.3 有序约束聚类（AgglomerativeClustering模拟）

虽然scikit-learn没有直接实现有序聚类，但我们可以通过调整AgglomerativeClustering的参数来模拟类似效果。

# 使用AgglomerativeClustering模拟有序约束 ordered_model = AgglomerativeClustering(n_clusters=3, affinity='precomputed', linkage='single') ordered_labels = ordered_model.fit_predict(full_dist_matrix) # 结果展示 result_df = pd.DataFrame({ 'Language': languages, 'SystemCluster': model.labels_, 'KMeans': kmeans_labels, 'OrderedLike': ordered_labels }) print(result_df)

3. 算法对比与结果分析

让我们从几个关键维度比较这三种算法：

1. 计算复杂度对比

2. 我们的语言数据集结果

from sklearn.metrics import silhouette_score # 计算轮廓系数（仅适用于K-Means和有序约束） kmeans_score = silhouette_score(coordinates, kmeans_labels) ordered_score = silhouette_score(coordinates, ordered_labels) print(f"K-Means轮廓系数: {kmeans_score:.3f}") print(f"有序约束轮廓系数: {ordered_score:.3f}")

3. 实际应用建议

• 当数据有明确的距离/相似性定义时，系统聚类是首选
• 对于大型数据集，K-Means更高效
• 当数据有潜在的顺序关系时，可尝试单链接(single linkage)的层次聚类

4. 高级技巧与优化

4.1 最佳簇数确定

对于K-Means，我们可以使用肘部法则和轮廓分析：

from sklearn.metrics import silhouette_samples # 肘部法则 inertia = [] for k in range(2, 6): kmeans = KMeans(n_clusters=k, random_state=42) kmeans.fit(coordinates) inertia.append(kmeans.inertia_) plt.figure(figsize=(8, 4)) plt.plot(range(2, 6), inertia, 'bo-') plt.xlabel('簇数') plt.ylabel('SSE') plt.title('肘部法则') plt.show()

4.2 距离度量选择

当使用层次聚类时，链接策略的选择至关重要：

• 完全链接(complete): 适合发现紧凑的、大小相近的簇
• 单链接(single): 能发现非凸形状的簇，但对噪声敏感
• 平均链接(average): 平衡了上述两种方法的优缺点

4.3 特征工程技巧

对于距离矩阵数据，可以考虑：

1. 多维缩放(MDS) - 如我们前面所用
2. t-SNE - 更适合可视化
3. 等距映射(Isomap) - 保留全局几何结构

from sklearn.manifold import TSNE tsne = TSNE(n_components=2, metric='precomputed', random_state=42) tsne_coords = tsne.fit_transform(full_dist_matrix) plt.figure(figsize=(8, 6)) plt.scatter(tsne_coords[:, 0], tsne_coords[:, 1], c=kmeans_labels, cmap='viridis') for i, lang in enumerate(languages): plt.annotate(lang, (tsne_coords[i, 0], tsne_coords[i, 1])) plt.title('t-SNE可视化') plt.show()

在实际项目中，我发现t-SNE虽然能产生漂亮的可视化效果，但随机性较强，不适合直接用于聚类。而MDS虽然计算成本较高，但结果更稳定可靠。