相关系数和决定系数的关系

前言

本文主要证明对于线性回归而言，决定系数为样本相关系数的平方，因此从线性回归模型，决定系数和相关系数三个方面进行论述

线性回归模型

设一元线性回归模型为

$$y = a + bx + \epsilon$$

其中残差项$\epsilon$是独立同分布于$N(0, \sigma^2)$。假设有n组来自于总体的样本点 $(x_i, y_i)$

$i=1,2,…,n$。利用最小二乘法，我们的目标是使得$ SSE = \sum_{i=1}^n(y_i-a-bx_i)^2 $达到最小，那么对$a$和$b$分别求偏导

$$\begin{cases} \begin{aligned} \frac{\partial{SSE}}{\partial{a}} &= -2\sum_{i=1}^n(y_i-a-bx_i) \\ \frac{\partial{SSE}}{\partial{b}} &= -2\sum_{i=1}^n(y_i-a-bx_i)x_i \end{aligned}\tag{1.1} \end{cases}$$

令(1.1)中的两个式子分别为零，可以得到

$$\begin{cases} \begin{aligned} \hat{a} &= \bar{y} - \hat{b}\bar{x} \\ \hat{b} &= \frac{\sum_{i=1}^nx_iy_i-n\bar{x}\bar{y}}{\sum_{i=1}^nx_i^2-n\bar{x}^2} \end{aligned}\tag{1.2} \end{cases}$$

同时有

$$\begin{cases} \sum_{i=1}^n(y_i-\hat{y}_i)=0\\ \sum_{i=1}^n(y_i-\hat{y}_i)x_i=0 \tag{1.3} \end{cases}$$

其中$\bar{y}= \frac{1}{n}\sum_{i=1}^ny_i$，$\hat{y_i}=\hat{a} + \hat{b}x_i$， $i=1,2,…,n$

​ 根据(1.2)式，可以得到

$$\begin{aligned} \frac{1}{n}\sum_{i=1}^n\hat{y}_i &= \frac{1}{n}\sum_{i=1}^n(\hat{a}+\hat{b}x_i)\\ &=\hat{a} + \hat{b}\bar{x}\\ &=\bar{y} - \hat{b}\bar{x} + \hat{b}\bar{x}\\ &=\bar{y} \end{aligned}$$

因此可以得到

$$\sum_{i=1}^ny_i=\sum_{i=1}^n\hat{y_i} \tag{1.4}$$

其中 $i=1,2,…,n$

决定系数

定义

​ 决定系数（coefficient of determination，记为$R^2$），在统计学中用于度量因变量的变异中可由自变量解释部分所占的比例。通常用来评估线性回归模型的拟合优度

表达式

​ 我们分别设总平方和，回归平方和和残差平方和分别为

$$\begin{aligned}SST &= \sum_{i=1}^n(y_i-\bar{y})^2 \\SSR &= \sum_{i=1}^n(\hat{y}_i-\bar{y})^2 \\SSE &= \sum_{i=1}^n(y_i - \hat{y}_i)^2 \end{aligned}$$

并且它们满足

$$SST = SSR + SSE$$

由此，决定系数可定义为

$$R^2=1 - \frac{SSE}{SST}= \frac{SSR}{SST}$$

相关系数

定义

皮尔逊相关系数（Pearson’s r）是两个变量之间的协方差和标准差的商，它是衡量两个变量之间相关性的度量

表达式

总体相关系数

$$\rho_{X,Y}=\frac{cov(X,Y)}{var(X)var(Y)}=\frac{E(XY)-E(X)E(Y)}{\sigma_X\sigma_Y}$$

样本相关系数

$$\begin{aligned} r_{X,Y} &=\frac{\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})(\hat{Y}_i-\bar{Y})}{\sqrt{\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2}\sqrt{\frac{1}{n}\sum_{i=1}^n(\hat{Y}_i-\bar{Y})^2}}\\ &=\frac{\sum_{i=1}^n(X_i-\bar{X})(\hat{Y}_i-\bar{Y})}{\sqrt{\sum_{i=1}^n(X_i-\bar{X})^2}\sqrt{\sum_{i=1}^n(\hat{Y}_i-\bar{Y})^2}} \end{aligned}$$

二者关系证明

求证：$r_{y,\hat{y}}^2=R^2$

证明：

​ 根据相关系数的定义我们可以得到

$$\begin{aligned} r_{y,\hat{y}}=&=\frac{\frac{1}{n}\sum_{i=1}^n(y_i-\bar{y})(\hat{y}_i-\bar{y})}{\sqrt{\frac{1}{n}\sum_{i=1}^n(y_i-\bar{y})^2}\sqrt{\frac{1}{n}\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}} \\ &=\frac{\sum_{i=1}^n(y_i-\hat{y}_i+\hat{y}_i-\bar{y})(\hat{y}_i-\bar{y})}{\sqrt{\sum_{i=1}^n(y_i-\bar{y})^2}\sqrt{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}}\\ &=\frac{\sum_{i=1}^n(y_i-\hat{y}_i)(\hat{y}_i-\bar{y}) + \sum_{i=1}^n(\hat{y}_i-\bar{y})^2}{\sqrt{\sum_{i=1}^n(y_i-\bar{y})^2}\sqrt{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}}\\ \end{aligned}\tag{1.5}$$

根据(1.3)和(1.4)式，我们可以得到

$$\begin{aligned} \sum_{i=1}^n(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})&=\sum_{i=1}^n(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})\\ & = \sum_{i=1}^n(y_i-\hat{y}_i)\hat{y}_i - \bar{y}\sum_{i=1}^n(y_i-\hat{y}_i)\\ & = \hat{a}\sum_{i=1}^n(y_i-\hat{y}_i)+\hat{b}\sum_{i=1}^n(y_i-\hat{y}_i)x_i - \bar{y}\sum_{i=1}^n(y_i-\hat{y}_i)\\ & = 0 + 0 + 0\\ & = 0 \end{aligned}$$

因此(1.5)可以被写成

$$\begin{aligned} r_{y,\hat{y}}&=\frac{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}{\sqrt{\sum_{i=1}^n(y_i-\bar{y})^2}\sqrt{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2}}\\ &=\frac{SSR}{\sqrt{SST}\sqrt{SSR}}\\ &=\frac{\sqrt{SSR^2}}{\sqrt{SST\cdot SSR}}\\ &=\sqrt{\frac{SSR}{SST}}\\ &=\sqrt{R^2} \end{aligned}\tag{1.6}$$

即$r_{y,\hat{y}}^2 = R^2$，证毕