Para explicar todo el temario de la asignatura de AED sigo el manual: Introducción al Análisis Exploratorio de Datos. Aplicaciones con R y datos reales.

Tabla de doble entrada: si algún par (\(x_i,y_j\)) se repite.

Como las distribuciones marginales son distribuciones de frecuencias unidimensionales, podemos calcular todas las medidas estudiadas en el tema 1.

Obtener la distribución de Y condicionada a que X toma el valor \(x_i\).

Como las distribuciones condicionadas son distribuciones de frecuencias unidimensionales, podemos calcular todas las medidas estudiadas en el tema 1.

Diagrama de dispersión: se representan los puntos (\(x_i,y_j\)) en un sistema de ejes cartesianos.

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name           grob
## 1 1 (1-1,1-1) arrange gtable[layout]
## 2 2 (1-1,2-2) arrange gtable[layout]

Preguntas que hemos de tratar de responder:

• ¿Observamos algún tipo de forma funcional que relacione las variables?
  
• Supongamos que hay una relación lineal, ¿la nube de puntos es ascendente o es descendente?
  
• La nube de puntos, ¿se ajusta mucho o poco a una recta?

Situación 1. \(S_{XY}>0\). Cuanto mayores/menores son los valores de X respecto a su media, mayores/menores son los valores de Y respecto a su media.
Situación 2. \(S_{XY}<0\). Cuanto mayores/menores son los valores de X respecto a su media, menores/mayores son los valores de Y respecto de su media.

Covarianza: mide el sentido (dirección) de la relación lineal entre dos variables.

Coeficiente de correlación lineal (de Pearson)(\(r_{XY}\)): se obtiene al dividir la covarianza por el producto de las desviaciones típicas.
\[{r_{XY}} = {r_{YX}} = \frac{{{S_{XY}}}}{{{S_X} \cdot {S_Y}}}\]

• Es adimensional.
• Es invariable a transformaciones lineales de las variables.
• Está acotado: \(-1 \leqslant r_{XY}\leqslant1\)

Resumen:

• \(r_{XY} = 1\) existe una relación lineal perfecta positiva entre las variables
  
• \(r_{XY} = -1\) existe una relación lineal perfecta negativa entre las variables
  
• \(|r_{XY}|\) cuanto mayor sea \(r_{XY}\), mayor será la relación lineal entre las variables

Al analizar conjuntamente 2 variables nos podemos plantear cuestiones como:

• ¿Existe algún tipo de relación entre las variables?
  
• ¿Podemos tratar de explicar el comportamiento de una de las variables utilizando información de la otra?
  
• ¿Los valores que toma una variable influyen en la distribución de los valores de la otra?

Dependencia funcional i dependencia estadística:

Relación entre las variables es perfecta: relació funcional. Los valores de una variable determinan exactamente los valores de la otra.

Teorema de caracterización: Dos variables X e Y son estadísticamente independientes si y solo si:
\[\frac{{{n_{ij}}}}{n} = \frac{{{n_{i \bullet }}}}{n} \cdot \frac{{{n_{ \bullet j}}}}{n} \qquad \forall i,j\]

Atención!! Error frecuente: hay que comprobarlo para todo (\(\forall (i,j)\))

Hasta ahora hemos visto:

• Cómo detectar la existencia de dependencia estadística entre dos variables o si eran independientes.
  
• Cómo medir el sentido e intensidad de la relación (lineal).

En lo que resta de tema vamos a ver:

• Suponiendo la existencia de relación (dependencia estadística) entre las variables objeto de estudio, estimar la forma o estructura de dicha relación.

• Teoría de la Regresión: Trata de explicar el comportamiento de una variable (v. dependiente) en función de otra (v. independiente)

• Utilidad del análisis de regresión: Predicción (Pronóstico)

Diagrama de dispersión: nos ayuda a determinar la naturaleza de la relación entre 2 variables:

Como directivo de ventas de una gran empresa está interesado en analizar la relación entre el número de personas que integran un equipo de ventas (fuerza de ventas) y el volumen de ventas (en millones €).

Forma funcional que relaciona las variables: RECTA

Análisis de Regresión: permite pasar de una dependencia estadística a una dependencia funcional.

Regresión Y/X

La recta que mejor se ajuste a nuestra nube de puntos será aquella en la que los errores (residuos) sean mínimos.

(OPCIONAL) \[Min\sum\limits_{i = 1}^n {e_i^2} = Min\sum\limits_{i = 1}^n {{{\left( {{y_i} - \left( {a + b{x_i}} \right)} \right)}^2}} \] Derivando… \[\begin{gathered} \frac{{\partial \varphi }}{{\partial a}} = \sum\limits_{i = 1}^n {2 \cdot \left[ {{y_i} - \left( {a + b{x_i}} \right)} \right]} \cdot \left( { - 1} \right) = 0 \hfill \\ \frac{{\partial \varphi }}{{\partial b}} = \sum\limits_{i = 1}^n {2 \cdot \left[ {{y_i} - \left( {a + b{x_i}} \right)} \right]} \cdot \left( { - {x_i}} \right) = 0 \hfill \\ \end{gathered} \]

Si sustituimos \(a\) i \(b\) en la recta: \(Y^*=a + b X\)

\[{Y^*} = \left( {\bar y - b\bar x} \right) + bX\]

Resolviendo…

\[{Y^*} = \bar y + \frac{{{S_{XY}}}}{{S_X^2}}\left( {X - \bar x} \right)\]

Interpretación…

A mano… (Atención: en Y/X se divide \(S_{XY}\) entre la \(S_x^2\))

y con la recta de regresión…

\[b \cdot b' = \frac{{{S_{XY}}}}{{S_X^2}} \cdot \frac{{{S_{XY}}}}{{S_Y^2}} = \frac{{S_{XY}^2}}{{S_X^2 \cdot S_Y^2}} = {\left( {\frac{{{S_{XY}}}}{{{S_X} \cdot {S_Y}}}} \right)^2} = r_{XY}^2\]

\[{r_{XY}} = \pm \sqrt {b \cdot b'} \]

• Regresión: Tratamos de explicar el comportamiento de una variable en función de la información disponible de otra.
  

• Utilidad: Generar predicciones/pronóstico.

• Hay que considerar el intervalo relevante de la variable independiente.

  • Predecir un valor \(Y^*\) a partir de un valor \(X=x_0\)
    • Es posible interpolar dentro del rango de valores de X.
      
    • No se debe extrapolar hacia fuera del intervalo relevante.

Regresión: Intento de emplear la información proporcionada por una variable independiente (X) para explicar el comportamiento de una variable dependiente (Y).

Bondad del ajuste, Fiabilidad del ajuste, Calidad del ajuste,…

• Varianza residual (o de los errores)
  
• Coeficiente de determinación

El grado de bondad del ajuste podemos deducirlo de la observación de las diferencias o residuos entre los valores observados y los valores estimados mediante la regresión.

\(Y^*=a + bX\)

Resultados importantes a considerar:
\({{\bar y}^*} = a + b\bar x = \left( {\bar y - b\bar x} \right) + b\bar x \quad \to\) \(\quad {{\bar y}^*} = \bar y\)

\(S_{{y^*}}^2 = {b^2}S_X^2 = \frac{{S_{XY}^2}}{{S_X^2}} = \frac{{r_{XY}^2S_X^2S_Y^2}}{{S_X^2}} \quad \to\) \(\quad S_{{y^*}}^2 = r_{XY}^2 \cdot S_Y^2\)

\(SCT=SCE + SCR\)

\(S_Y^2 = S_E^2 + S_{{Y^*}}^2\)

• \(S_E^2 = S_Y^2 \cdot \left( {1 - r_{XY}^2} \right)\)
  
• \(S_{{Y^*}}^2 = r_{XY}^2 \cdot S_Y^2\)

El coeficiente de determinación (\(R^2\)):

• Es adimensional.
  
• Está acotado: \(0 \leqslant {R^2} \leqslant 1\)
  • Si \(R^2\) = 1, el ajuste es óptimo: \(\quad S_{{Y^*}}^2 = S_Y^2 \quad S_E^2 = 0\)
    
  • Si \(R^2\) = 0, el ajuste es pésimo: \(\quad S_E^2 = S_Y^2\)

Regresión parabólica: \(Y^*=a + bX + cX^2 \to\) MCO
Regresión potencial: \(Y^*=aX^b \to\) MCO linealizando
Regresión exponencial: \(Y^*=a b^X \to\) MCO linealizando