Machine learning: un'introduzione all'errore quadratico medio e alle linee di regressione

introduzione

Questo articolo tratterà il metodo statistico dell'errore quadratico medio e descriverò la relazione di questo metodo con la retta di regressione .

L'esempio è costituito da punti sull'asse cartesiano. Definiremo una funzione matematica che ci darà la retta che passa meglio tra tutti i punti sull'asse cartesiano.

E in questo modo impareremo la connessione tra questi due metodi e come il risultato della loro connessione appare insieme.

Spiegazione generale

Questa è la definizione di Wikipedia:

In statistica, l'errore quadratico medio (MSE) di uno stimatore (di una procedura per stimare una quantità non osservata) misura la media dei quadrati degli errori, cioè la differenza quadratica media tra i valori stimati e ciò che è stimato. MSE è una funzione di rischio, corrispondente al valore atteso della perdita di errore al quadrato. Il fatto che MSE sia quasi sempre strettamente positivo (e non zero) è dovuto alla casualità o perché lo stimatore non tiene conto delle informazioni che potrebbero produrre una stima più accurata.

La struttura dell'articolo

  • Fatti un'idea dell'idea, visualizzazione del grafico, equazione dell'errore quadratico medio.
  • La parte matematica che contiene manipolazioni algebriche e una derivata di funzioni a due variabili per trovare un minimo. Questa sezione è per coloro che vogliono capire come ottenere le formule matematiche in seguito, puoi saltarla se non ti interessa.
  • Una spiegazione delle formule matematiche che abbiamo ricevuto e il ruolo di ciascuna variabile nella formula.
  • Esempi

Fatti un'idea dell'idea

Supponiamo di avere sette punti e il nostro obiettivo è trovare una linea che riduca al minimo le distanze al quadrato da questi diversi punti.

Proviamo a capirlo.

Faccio un esempio e traccerò una linea tra i punti. Naturalmente, il mio disegno non è il migliore, ma è solo a scopo dimostrativo.

Potresti chiederti, cos'è questo grafico?

  • i punti viola sono i punti sul grafico. Ogni punto ha una coordinata x e una coordinata y.
  • La linea blu è la nostra linea di previsione. Questa è una linea che attraversa tutti i punti e li calza nel migliore dei modi. Questa riga contiene i punti previsti.
  • La linea rossa tra ogni punto viola e la linea di previsione sono gli errori. Ogni errore è la distanza dal punto al punto previsto.

Dovresti ricordare questa equazione dei tuoi giorni di scuola, y = Mx + B , dove M è la pendenza della linea e B è l'intercetta y della linea.

Vogliamo trovare M (pendenza) e B (intercetta y) che minimizzino l'errore al quadrato!

Definiamo un'equazione matematica che ci fornirà l'errore quadratico medio per tutti i nostri punti.

Analizziamo cosa significa effettivamente questa equazione.

  • In matematica, il carattere che sembra strano E è chiamato sommatoria (sigma greco). È la somma di una sequenza di numeri, da i = 1 a n. Immaginiamo questo come un array di punti, dove passiamo attraverso tutti i punti, dal primo (i = 1) all'ultimo (i = n).
  • Per ogni punto, prendiamo la coordinata y del punto e la coordinata y. La coordinata y è il nostro punto viola. Il punto y si trova sulla linea che abbiamo creato. Sottraiamo il valore della coordinata y dal valore della coordinata y e calcoliamo il quadrato del risultato.
  • La terza parte consiste nel prendere la somma di tutti i valori (y-y ') ² e dividerla per n, che darà la media.

Il nostro obiettivo è ridurre al minimo questa media, che ci fornirà la migliore linea che attraversa tutti i punti.

Dal concetto alle equazioni matematiche

Questa parte è per le persone che vogliono capire come siamo arrivati ​​alle equazioni matematiche . Puoi passare alla parte successiva se lo desideri.

Come sapete, l'equazione della retta è y = mx + b, dove m è la pendenza eb è l'intercetta y.

Prendiamo ogni punto del grafico e faremo il nostro calcolo (y-y ') ².

Ma cos'è y 'e come lo calcoliamo? Non lo abbiamo come parte dei dati.

Ma sappiamo che, per calcolare y ', dobbiamo usare la nostra equazione di retta, y = mx + b, e inserire la x nell'equazione.

Da qui otteniamo la seguente equazione:

Riscriviamo questa espressione per semplificarla.

Cominciamo aprendo tutte le parentesi nell'equazione. Ho colorato la differenza tra le equazioni per renderla più facile da capire.

Ora, applichiamo un'altra manipolazione. Prenderemo ogni parte e la metteremo insieme. Prenderemo tutte le y, e (-2ymx) e così via, e le metteremo tutte fianco a fianco.

A questo punto stiamo iniziando a creare confusione, quindi prendiamo la media di tutti i valori al quadrato per y, xy, x, x².

Definiamo, per ciascuno, un nuovo carattere che rappresenterà la media di tutti i valori al quadrato.

Vediamo un esempio, prendiamo tutti i valori y e li dividiamo per n poiché è la media e chiamiamolo y (HeadLine).

Se moltiplichiamo entrambi i lati dell'equazione per n otteniamo:

Il che ci porterà alla seguente equazione:

Se guardiamo a ciò che abbiamo, possiamo vedere che abbiamo una superficie 3D. Sembra un bicchiere, che sale bruscamente verso l'alto.

Vogliamo trovare M e B che minimizzano la funzione. Faremo una derivata parziale rispetto a M e una derivata parziale rispetto a B.

Poiché stiamo cercando un punto minimo, prenderemo le derivate parziali e faremo il confronto con 0.

Prendiamo le due equazioni che abbiamo ricevuto, isolando la variabile b da entrambe e quindi sottraendo l'equazione superiore dall'equazione inferiore.

Sottraiamo la prima equazione dalla seconda

Liberiamoci dei denominatori dall'equazione.

Ed eccoci, questa è l'equazione per trovare M, prendiamola e annotiamo l'equazione B.

Equazioni per pendenza e intercetta y

Forniamo le equazioni matematiche che ci aiuteranno a trovare la pendenza e l'intercetta y richieste.

Quindi probabilmente stai pensando a te stesso, che diamine sono quelle strane equazioni?

In realtà sono semplici da capire, quindi parliamo un po 'di loro.

Ora che abbiamo capito le nostre equazioni, è tempo di mettere insieme tutte le cose e mostrare alcuni esempi.

Esempi

Un grande grazie alla Khan Academy per gli esempi.

Esempio 1

Prendiamo 3 punti, (1,2), (2,1), (4,3).

Troviamo M e B per l'equazione y = mx + b.

Dopo aver calcolato le parti rilevanti per la nostra equazione M e B, inseriamo quei valori all'interno delle equazioni e otteniamo la pendenza e l'intercetta y.

Prendiamo questi risultati e inseriamoli nell'equazione della retta y = mx + b.

Ora disegniamo la linea e vediamo come la linea passa attraverso le linee in modo tale da ridurre al minimo le distanze al quadrato.

Esempio n. 2

Prendiamo 4 punti, (-2, -3), (-1, -1), (1,2), (4,3).

Troviamo M e B per l'equazione y = mx + b.

Come prima, inseriamo questi valori nelle nostre equazioni per trovare M e B.

Prendiamo questi risultati e impostiamoli all'interno dell'equazione della linea y = mx + b.

Ora disegniamo la linea e vediamo come la linea passa attraverso le linee in modo tale da ridurre al minimo le distanze al quadrato.

In conclusione

Come puoi vedere, l'intera idea è semplice. Dobbiamo solo capire le parti principali e come lavoriamo con esse.

È possibile lavorare con le formule per trovare la linea su un altro grafico ed eseguire un semplice calcolo e ottenere i risultati per la pendenza e l'intercetta y.

Tutto qui, semplice eh? ?

Ogni commento e tutti i feedback sono i benvenuti: se necessario, correggerò l'articolo.

Sentiti libero di contattarmi direttamente su LinkedIn - Clicca qui.