利用 Pearson 和 Spearman 相关系数探索变量之间的关系

引言

在数据分析的广阔领域中，相关系数扮演着不可或缺的角色，它量化了两个或多个变量之间关系的强度和方向。统计学中常用的相关系数主要有 Pearson 相关系数和 Spearman 相关系数，它们各自针对不同类型的数据和关系模式。本文将深入探究这两种相关系数，从公式推导到实际应用，全面解析它们的原理、适用场景和局限性。

Pearson 相关系数：线性相关性的度量

Pearson 相关系数（记为 r）是一种用来衡量两个变量之间线性相关程度的统计量。它的值介于 -1 到 1 之间，其中：

• r = -1 表示完全负相关（即随着一个变量的增加，另一个变量呈线性下降趋势）
• r = 0 表示没有线性相关
• r = 1 表示完全正相关（即随着一个变量的增加，另一个变量呈线性上升趋势）

公式推导

Pearson 相关系数的公式为：

r = (Σ(x - x̄)(y - ȳ)) / (√Σ(x - x̄)^2 * √Σ(y - ȳ)^2)

其中：

• x 和 y 分别是变量 X 和 Y 的原始数据
• x̄ 和 ȳ 分别是变量 X 和 Y 的平均值
• Σ 表示求和

适用场景

Pearson 相关系数适用于衡量两个连续变量之间的线性相关程度。它假设数据呈正态分布，并且具有线性关系模式。

Spearman 相关系数：非线性相关性的度量

Spearman 相关系数（记为 ρ）是一种非参数相关系数，用于衡量两个变量之间的单调相关程度（即变量之间存在单向趋势，但可能是非线性的）。它的值也介于 -1 到 1 之间，与 Pearson 相关系数的解释类似。

公式推导

Spearman 相关系数的公式为：

ρ = (Σ(Rx - Ry)^2) / (n(n^2 - 1))

其中：

• Rx 和 Ry 是变量 X 和 Y 的秩（将原始数据从小到大排序后获得的数字）
• n 是样本量

适用场景

Spearman 相关系数适用于衡量两个变量之间任何类型的单调相关程度，无论数据分布如何。它常用于数据不呈正态分布或存在异常值的情况。

比较 Pearson 和 Spearman 相关系数

特征	Pearson 相关系数	Spearman 相关系数
数据类型	连续变量	任何类型变量
关系模式	线性	单调（线性或非线性）
数据分布	正态分布	无要求
稳健性	对异常值敏感	对异常值稳健

选择合适的相关系数

选择合适的相关系数取决于数据的类型、分布和变量之间的预期关系模式。如果数据呈正态分布且存在线性关系，则 Pearson 相关系数是最佳选择。否则，Spearman 相关系数更适合衡量非线性或单调关系。

应用实例

例 1（Pearson 相关系数）

一项研究调查了年龄和血压之间的关系。数据呈正态分布，线性关系模式明显。使用 Pearson 相关系数计算得出的 r 值为 0.75，表明年龄与血压之间存在强烈的正相关。

例 2（Spearman 相关系数）

另一项研究探讨了城市人口与犯罪率之间的关系。数据分布不呈正态，且关系模式可能是单调的。使用 Spearman 相关系数计算得出的 ρ 值为 -0.55，表明城市人口与犯罪率之间存在中度的负相关。

结论

Pearson 相关系数和 Spearman 相关系数是统计学中衡量变量之间相关性的重要工具。通过了解它们的原理、适用场景和局限性，数据分析师和研究人员可以根据特定数据和研究目标选择合适的方法，准确评估变量之间的关系。无论是线性还是非线性，单调还是复杂，这些相关系数都为深入理解数据关联模式提供了宝贵的见解。