Approccio meccanico statistico allo studio delle Macchine di Boltzmann Ristrette

La Macchina di Boltzmann Ristretta (RBM) è una rete neurale a due strati utilizzata principalmente nell'apprendimento non supervisionato. La sua capacità nel rappresentare complesse relazioni insite nei dati attraverso distribuzioni di tipo Boltzmann Gibbs la rende un oggetto particolarmente interessante per un approfondimento teoretico in ambito fisico matematico. In questa tesi vengono presentati due ambiti di applicazione della meccanica statistica all'apprendimento automatico. 1) La similarità della RBM a unità binarie con il modello di Ising permette di sfruttare un'espansione alle alte temperature per approssimare l'energia libera, termine presente nel gradiente della likelihoood e difficile da trattare numericamente. I risultati ottenuti con questa tecnica sul dataset MNIST sono paragonabili a quelli ottenuti dalla Contrastive Divergence, che utilizza invece metodi di Monte Carlo. 2) L'equivalenza statistica della variante ibrida di RBM con il modello di Hopfield permette di studiare la taglia del training set necessaria per l'apprendimento attraverso l'analisi del problema inverso, in cui i ruoli di spin e pattern sono invertiti. Viene quindi presentato un metodo basato sulla teoria di Gauge che permette di derivare il diagramma di fase del modello di Hopfield duale sulla linea di Nishimori in funzione della temperatura e del rapporto tra numero di campioni e dimensione del sistema.