Regressione Lineare è un approccio lineare a  modellare la relazione  tra una variabile dipendente e una o più variabili indipendenti.
La regressione lineare semplice è un approccio per prevedere una risposta quantitativa Y sulla base di una singola variabile predittiva X. Si presuppone che ci sia circa  una relazione lineare  tra X e Y.  
In più regressione lineare  più di una variabile predittore  vengono utilizzati per prevedere la variabile di risposta.
La qualità di un fit di regressione lineare è tipicamente valutata utilizzando due quantità   correlate: il  errore standard residuo (RSE)  e la  statistica al quadrato R.
RSE è l'importo medio che la risposta  devierà  dalla true   regressione.
Una volta addestrato il modello, possiamo stimare la qualità di adattamento utilizzando il  Mean Square Error.
Errore di test previsto  = Bias + Varianza + errore irriducibile
Tra  Bias  e  Varianza, se cerchiamo di diminuire uno modificando la flessibilità del modello, l'altro aumenta.