Determinatiecoëfficiënt

In de statistiek is een determinatiecoëfficiënt, veelal aangeduid met ${\displaystyle R^{2}}$, een maat voor het deel van de variabiliteit dat wordt verklaard door het statistisch model. Er bestaan verschillende definities voor een determinatiecoëfficiënt. In het geval van lineaire regressie is er een eenduidige definitie. Bij enkelvoudige lineaire regressie is de determinatiecoëfficiënt gelijk aan het kwadraat van de multipele correlatiecoëfficiënt.

Lineaire regressie

Bij enkelvoudige lineaire regressie gaat men uit van het model dat de waarnemingen ${\displaystyle (x_{i},y_{i})}$ afkomstig zijn van stochastische variabelen die voldoen aan:

${\displaystyle Y_{i}=\alpha +\beta x_{i}+U_{i}}$

De schattingen van de parameters ${\displaystyle \alpha }$ en ${\displaystyle \beta }$ zijn ${\displaystyle a}$ en ${\displaystyle b}$, waarmee als benadering voor ${\displaystyle y_{i}}$ berekend wordt:

${\displaystyle {\hat {y}}_{i}=a+bx_{i}}$

Als gevolg van de gebruikte kleinste-kwadratenmethode geldt:

${\displaystyle \sum {\hat {y}}_{i}=\sum y_{i}}$

en

${\displaystyle \sum (y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}=0}$

Het totaal ${\displaystyle SST}$ (Sum of Squares Total) van de kwadratische afwijkingen van het gemiddelde:

${\displaystyle SST=\sum (y_{i}-{\overline {y}})^{2}}$

kan voor een deel ${\displaystyle SSE}$ (Sum of Squares Explained)

${\displaystyle SSE=\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}$

verklaard worden als gevolg van de regressie. De rest, ${\displaystyle SSR}$ (Sum of Squares Residual), is het gevolg van storing:

${\displaystyle SST=\sum (y_{i}-{\overline {y}})^{2}=\sum (y_{i}-{\hat {y}}_{i}+{\hat {y}}_{i}-{\overline {y}})^{2}=}$

${\displaystyle =\sum ({\hat {y}}_{i}-{\overline {y}})^{2}+2\sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\hat {y}}_{i})+\sum (y_{i}-{\hat {y}}_{i})^{2}=}$

Omdat de middelste som gelijk is aan 0:

${\displaystyle =\sum ({\hat {y}}_{i}-{\overline {y}})^{2}+\sum (y_{i}-{\hat {y}}_{i})^{2}=SSE+SSR}$

De determinatiecoëfficiënt is gedefinieerd als:

${\displaystyle R^{2}={\frac {SSE}{SST}}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}=1-{\frac {SSR}{SST}}=1-{\frac {\sum (y_{i}-{\hat {y}}_{i})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}}$

De correlatiecoëfficiënt tussen ${\displaystyle {\hat {y}}}$ en ${\displaystyle y}$ is:

${\displaystyle r_{{\hat {y}},y}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\overline {y}})}{\sqrt {SSE\cdot SST}}}}$

Nu is

${\displaystyle \sum (y_{i}-{\hat {y}}_{i}){\hat {y}}_{i}=0}$,

dus

${\displaystyle \sum y_{i}{\hat {y}}_{i}=\sum {\hat {y}}_{i}^{2}}$,

zodat

${\displaystyle \sum ({\hat {y}}_{i}-{\overline {y}})(y_{i}-{\overline {y}})=\sum (y_{i}-{\overline {y}})^{2}=SSE}$

Daaruit volgt

${\displaystyle r_{{\hat {y}},y}={\frac {SSE}{\sqrt {SSE\cdot SST}}}=R}$