Idea de distribución condicional

La recta de regresión

La (co) variación general de Y respecto a X se puede expresar en una ecuación de la recta = modelo de regresión

Para obtener la “mejor recta” se utiliza la estimación de mínimos cuadrados (EMC, o OLS – Ordinary Least Squares), que minimiza la suma de los cuadrados de las distancias entre las observaciones y la recta en el eje vertical

Componentes de la ecuación de la recta de regresión

$$\widehat{Y}=b_{0} +b_{1}X$$

Donde

• $\widehat{Y}$ es el valor estimado de $Y$

• $b_{0}$ es el intercepto de la recta (el valor de Y cuando X es 0)

• $b_{1}$ es el coeficiente de regresión, que nos dice cuánto aumenta Y por cada punto que aumenta X

Estimación de los coeficientes de la ecuación por mínimos cuadrados ordinarios

$$b_{1}=\frac{Cov(XY)}{VarX}$$

$$b_{1}=\frac{\frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})} {n-1}}{\frac{\sum_{i=1}^{n}(x_i - \bar{x})(x_i - \bar{x})} {n-1}}$$

Y simplificando

$$b_{1}=\frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})} {\sum_{i=1}^{n}(x_i - \bar{x})(x_i - \bar{x})}$$

Luego despejando el valor de $b_{0}$

$$b_{0}=\bar{Y}-b_{1}\bar{X}$$

Resumiendo: Modelo de regresión (simple)

• Se estima mediante el método de mínimos cuadrados ordinarios (OLS)

• Permite estimar el valor de una variable ( $\widehat{Y}$ ) a partir del valor conocido de otra variable ( $X$ )

• La estimación se expresa en el coeficiente de regresión $b_{1}$, también llamado "beta" o pendiente

• Este coeficiente se interpreta de la siguiente manera: Por cada unidad que aumenta X, Y aumenta en $b_{1}$ unidades

Modelos y pendientes

Pregunta

Si tenemos

• Y = ingreso al egresar de la universidad

• X = puntaje PSU

$$Ingreso=200.000+400(puntajePSU)$$

1 - ¿Cuál es el valor estimado de Ingreso para un puntaje PSU de 500?

• 400.000

2 - ¿Cuál es el valor estimado de Ingreso para un puntaje (hipotético) de PSU=0?

• 200.000

Bondad de Ajuste: suma de cuadrados y R2

¿Qué tan bueno es nuestro modelo?

Observados, estimados & residuos

El ajuste se relaciona con la diferencia entre los puntajes observados ( $Y$ ) y el puntaje estimado ( $\widehat{Y}$ )

Ajuste y Residuos

##    id juegos puntos estimado residuo
## 1   1      0      2      2.5    -0.5
## 2   2      0      3      2.5     0.5
## 3   3      1      2      3.0    -1.0
## 4   4      1      3      3.0     0.0
## 5   5      1      4      3.0     1.0
## 6   6      2      2      3.5    -1.5
## 7   7      2      3      3.5    -0.5
## 8   8      2      4      3.5     0.5
## 9   9      2      5      3.5     1.5
## 10 10      3      2      4.0    -2.0
## 11 11      3      3      4.0    -1.0
## 12 12      3      4      4.0     0.0
## 13 13      3      5      4.0     1.0
## 14 14      3      6      4.0     2.0
## 15 15      4      3      4.5    -1.5
## 16 16      4      4      4.5    -0.5
## 17 17      4      5      4.5     0.5
## 18 18      4      6      4.5     1.5
## 19 19      5      4      5.0    -1.0
## 20 20      5      5      5.0     0.0
## 21 21      5      6      5.0     1.0
## 22 22      6      5      5.5    -0.5
## 23 23      6      6      5.5     0.5

Descomposición de Y

- Tres piezas de información relevante:

$Y$ = Valor observado de Y

$\widehat{Y}$ = estimación de Y a partir de X

$\bar{Y}$ = promedio de Y

Descomponiendo Y

$$Y=\bar{Y}+(Y-\widehat{Y})+(\widehat{Y}-\bar{Y})$$

$$\Sigma(y_i - \bar{y})^2=\Sigma (\bar{y}-\hat{y}_i)^2 + \Sigma(y_i-\hat{y}_i)^2$$

Descomponiendo Y

Conceptualmente:

$$SS_{tot}=SS_{reg} + SS_{error}$$

Varianza explicada

Por lo tanto:

$$SS_{tot}=SS_{reg} + SS_{error}$$

$$\frac{SS_{tot}}{SS_{tot}}=\frac{SS_{reg}}{SS_{tot}} + \frac{SS_{error}}{SS_{tot}}$$

$$1=\frac{SS_{reg}}{SS_{tot}}+\frac{SS_{error}}{SS_{tot}}$$

$$\frac{SS_{reg}}{SS_{tot}}= 1- \frac{SS_{error}}{SS_{tot}}=R^2$$

¿Qué quiere decir esto?

Varianza explicada I

• Parte de la variación de Y (ej: ingreso) se asocia a la variación de X (ej: educación)

Varianza explicada II

• Un porcentaje de la variación de Y puede ser asociado a la variación de X: $R^2$

Volviendo al ejemplo: Puntos en partido

##    id juegos puntos estimado residuo
## 1   1      0      2      2.5    -0.5
## 2   2      0      3      2.5     0.5
## 3   3      1      2      3.0    -1.0
## 4   4      1      3      3.0     0.0
## 5   5      1      4      3.0     1.0
## 6   6      2      2      3.5    -1.5
## 7   7      2      3      3.5    -0.5
## 8   8      2      4      3.5     0.5
## 9   9      2      5      3.5     1.5
## 10 10      3      2      4.0    -2.0
## 11 11      3      3      4.0    -1.0
## 12 12      3      4      4.0     0.0
## 13 13      3      5      4.0     1.0
## 14 14      3      6      4.0     2.0
## 15 15      4      3      4.5    -1.5
## 16 16      4      4      4.5    -0.5
## 17 17      4      5      4.5     0.5
## 18 18      4      6      4.5     1.5
## 19 19      5      4      5.0    -1.0
## 20 20      5      5      5.0     0.0
## 21 21      5      6      5.0     1.0
## 22 22      6      5      5.5    -0.5
## 23 23      6      6      5.5     0.5

ss_tot<- sum((datos$puntos-
          mean(datos$puntos))^2); ss_tot

## [1] 42

ss_reg<- sum((datos$estimado -
          mean(datos$puntos))^2); ss_reg

## [1] 17

ss_reg/ss_tot

## [1] 0.4047619

#Directamente desde el modelo estimado
summary(lm(puntos~juegos,
  data=datos))$r.squared

## [1] 0.4047619

Equivalencias en regresión y correlación

cor(datos$juegos,datos$puntos)

## [1] 0.636209

(cor(datos$juegos,datos$puntos))^2

## [1] 0.4047619

Equivalencias en regresión y correlación

attach(datos)
Xpuntos_Z=(puntos-(mean(puntos)))/sd(puntos)
Yjuegos_Z=(juegos-(mean(juegos)))/sd(juegos)
lm(Yjuegos_Z ~ Xpuntos_Z)$coefficients

## (Intercept)   Xpuntos_Z 
##    0.000000    0.636209

Diferencias en regresión y correlación

cor(juegos,puntos)

## [1] 0.636209

cor(puntos,juegos)

## [1] 0.636209

lm(puntos~juegos)$coefficients

## (Intercept)      juegos 
##         2.5         0.5

lm(juegos~puntos)$coefficients

## (Intercept)      puntos 
##  -0.2380952   0.8095238

Diferencias en regresión y correlación

Diferencias en regresión y correlación