Università di Foggia

Dipartimento di Scienze Biomediche

Prof. Crescenzio Gallo

c.gallo@unifg.it

Reti neurali artificiali con Mathematica

Programmiamo una rete neurale

Lezione 6

Introduzione

Al fine di rendere le cose più semplici per il lavoro futuro, trasformiamo quello che abbiamo fatto nelle precedenti sezioni in un semplice programma Mathematica che possiamo chiamare in un solo passaggio (o due) in modo da poter testare idee diverse senza dover passare attraverso tutto questo noioso calcolo manuale. Stiamo per trasformare il codice scritto in recedenza in piccoli programmi.

Routine

Stiamo per utilizzare questa struttura di base come una piattaforma per alcune future aggiunte nelle sezioni successive. Per ora, inizieremo attraverso la creazione di quello che abbiamo già fatto nella forma di un programma che renderà più facile iterare e testare con Mathematica.

Utilità

Per prima cosa, definiamo alcune funzioni di utilità che useremo nel nostro processore principale a rete neurale: la funzione sigmoidea non lineare , ed una funzione per scegliere casualmente un elemento da una lista, chooseRandom. Utilizzeremo la prima per condizionare l'uscita dei neuroni artificiali, e la seconda per selezionare i candidati per il training (NB: potremmo semplicemente scorrere gli elementi del training set, ma è più divertente lasciare che il non determinismo prenda il sopravvento).

Cominciamo con alcune definizioni:

setupNN

Qui definiamo una funzione di 'setup' che crea le due matrici dei pesi and . Ricordiamo che esse sono i principali 'ingredienti' dell'algoritmo di backpropagation discusso nella sezione precedente. Per costruire queste matrici abbiamo bisogno della dimensione dei vettori di ingresso e uscita così come il numero di unità nascoste.

La routine setupNN prende tre parametri, la dimensionalità degli strati di ingresso, nascosti e di uscita, rispettivamente, e restituisce due matrici. È possibile assegnare il risultato a una sola variabile per passare il tutto alla funzione di addestramento.

Quindi, per impostare una rete con 5 neuroni di input, 10 neuroni nascosti e 3 di uscita:

Questa è la matrice 5×10 dei pesi tra le unità di input e quelle nascoste:

e questi sono i pesi (10×3) tra le unità nascoste e di output:

Per ora, questo semplice stato basterà per i nostri bisogni immediati. Nelle sezioni successive aggiungeremo funzionalità alla nostra rete che richiederanno ulteriori informazioni di stato. Per rendere le cose più facili, le aggiungeremo semplicemente alla struttura di stato esistente.

trainNN

Ecco il grosso dell'algoritmo di addestramento backpropagation. La routine trainNN prende un training set e un insieme di pesi e itera l'algoritmo standard di addesramento backpropagation 1000 volte con un tasso di apprendimento η di 0.5. È possibile modificare le iterazioni e il tasso di apprendimento fornendo i parametri appropriati nei rispettivi argomenti.

trainNN restituisce una lista di due elementi dopo l'addestramento: un elenco di errori (al quadrato), uno per ogni iterazione, e la matrice finale dei pesi (NB: si potrebbe modificare il programma in modo da restituire sia l'errore che la matrice dei pesi ad ogni iterazione. Questo può essere utile quando si desidera confrontare le prestazioni dell'addestramento della rete).

È istruttivo separare l'errore complessivo e farne il grafico per vedere quanto bene la rete sta imparando. Quindi, se si ritiene che la stessa ha bisogno di più addestramento, si estraggono le matrici dei pesi e le si passano di nuovo a trainNN per un'altra sessione.

Osserviamo anche che abbiamo fatto alcuni piccoli cambiamenti per gestire le unità di bias (distorsione) introdotte in precedenza. In questo caso, l'algoritmo di training si accorge al volo se vi sono unità di bias osservando la forma delle matrici dei pesi.

Infine, abbiamo bisogno di un modo per passare un dato vettore di input attraverso le matrici dei pesi per ottenere l'output desiderato. feedForward prende un vettore di input e le matrici dei pesi e restituisce il vettore di output.

Queste routine sono la sintesi programmatica del codice precedentemente sviluppato. Le utilizzeremo come base per il lavoro futuro, modificandole all'occorrenza.

Test

Dovremmo provare le routine sviluppate per assicurarci di ottenere i risultati sperati. Eseguiamo il test delle lettere T-C.

Test T-C

Ricordiamo dalla lezione 5 che questa rete, una volta addestrata, può distinguere tra una 'T' e una 'C'. Per completezza, assicuriamoci che il tutto funzioni ancora nella nuova versione:

Per prima cosa, impostiamo lo stato. Questa rete ha 9 input e 1 output, e utilizzeremo 5 unità nello strato nascosto come nell'esempio precedente:

Ora addestriamo la rete passandole il training set ts e i pesi ws. Di default la rete eseguirà 1000 iterazioni con η=0.5. Il risultato dell'addestramento è una tabella di errori (chiamata εTable) e il set finale dei pesi ws.

Ecco un grafico degli errori in funzione del tempo:

Sembra piuttosto buono. Infatti sembra che si ottengano errori accettabili dopo 7-800 iterazioni.

Controlliamo gli input (ricordiamo che 0.9=T e 0.1=C). I primi quattro input sono delle T, gli altri quattro delle C.

Bene. Verifichiamo ora la stabilità della rete in presenza di rumore. Prima una T 'danneggiata':

Inseriamola nella rete:

Abbiamo ottenuto un valore molto vicino a 0.9, il valore atteso per una 'T'.

E se esaminiamo una C 'distorta'?

Ache la 'C' distorta è stata riconosciuta. Successo in presenza di rumore!

Salvare lo stato

Una valida caratteristica di questo approccio modulare è la possibilità di salvare lo stato e addestrare la rete ancora un po' più tardi (o con un training set alternativo, etc.). La matrice dei pesi ws può essere scritta in un file:

e può essere successivamente recuperata:

Possono essere forniti nuovi dati:

o la rete puà essere ancora un po' più addestrata:

Ulteriori prove

Facciamo qualche ulteriore esperimento con più o meno rumore. Qual è il limite?

Ad esempio, aggiungiamo questo rumore:

Aggiungiamo un po' di rumore dall'intervallo [-0.1,0.1]:

La rete riconosce questo tipo di lettera? Quanto rumore possiamo ancora aggiungere?

Noterete che l'unità di output è binaria. Cioè, dice che abbiamo una cosa o un'altra. È possibile aggiungere un'altra lettera per il training set (ad esempio, una 'X'), dargli un valore di riconoscimento (ad esempio 0.5) e addestrare la rete. Che cosa succede ora? Quante lettere pensiamo sia possibile far riconoscere alla rete (dato il vincolo di 3×3 pixel, ovviamente)? Quanto ancora fino a quando avremo bisogno di aggiungere ulteriori unità di output?

Immagini più grandi

Siamo un po' più creativi. Le T e le C sono divertenti, ma che dire del riconoscimento di immagini di tipo più sofisticato? Vediamo se possiamo ottenere una semplice rete per riconoscere la differenza tra le immagini di persone. Dopo tutto, noi esseri umani siamo molto bravi a farlo, e ci sono tipi di danno cerebrale (prosopagnosia), che suggeriscono che abbiamo alcuni meccanismi speciali nel nostro cervello per riconoscere i volti.

Questo processo è alquanto simile al problema T-C. Abbiamo bisogno di qualche materiale per addestrare la rete. Utilizzeremo Mathematica per importare diverse immagini del musicista jazz Sun Ra e diverse immagini di altri musicisti. Addestreremo la rete (si spera) per discriminare tra i vari personaggi.

Il codice seguente carica le immagini che utilizzeremo per addestrare il modello. Utilizziamo il comando Mathematica Import che restituisce un oggetto Graphics. Il primo elemento di tale oggetto contiene i dati raster dell'immagine (i valori dei 190×190 pixel), e nel primo elemento della struttura dati raster ci sono i data veri e propri, ciò cui siamo interessati per alimentare l'algoritmo di apprendimento.

Le variabili dsunra e dnosunra contengono i dati delle immagini (livelli di grigio), 4 ciascuna:

Eccellente, le prime quattro sono il nostro eroe e la parte inferiore contiene altri musicisti. Useremo queste immagini per l'addestramento e quindi proveremo altre immagini per vedere come la nostra rete ha imparato.

La seguente funzione controlla la distribuzione dei livelli di grigio nei pixel di un'immagine:

Verifichiamolo per la prima immagine:

Per costruire il training set abbiamo bisogno di una semplice lista di valori di input e di output per ciascuna immagine. Continueremo ad utilizzare il range (0,1) per tutti i valori. Ciò significa che avremo bisogno di 'appiattire' mediante la funzione Flatten i dati di input per farne un'unica lista, e dividere per 255 poichè i dati dell'immagine sono nell'intervallo [0,255]:

Imposteremo una rete con 100 unità nascoste (un numero dettato esclusivamente dall'esperienza):

E ora diamo il via all'addestramento (che dura un bel po'):

Salviamo l'informazione di stato in modo da poterla riutilizzare in seguito:

Possiamo rileggerla in qualsiasi momento:

Diamo un'occhiata agli errori:

Potremo migliorare in seguito l'errore. Controlliamo ora la capacità previsionale della rete:

che sembra funzionare (ricordiamo che 0.9 è "Sun Ra" e 0.1 è "qualcos'altro").

Ora la parte difficile. Leggiamo qualche altra immagine e classifichiamole:

Ora incrociamo le dita － vediamo se la rete individua le differenze:

I risultati non sono molto soddisfacenti: evidentemente la rete deve ancora apprendere, è stata addestrata con troppo pochi esempi! Infatti, mentre ha quasi del tutto riconosciuto la seconda immagine, ha dedotto in maniera errata che Freud è un musicista jazz (!); inoltre, la rete è confusa sull'immagine del pollo (la quarta) e su quella di Marvin Minsky (la sesta). I risultati per la prima e la terza rappresentano dei falsi negativi.

Risulta chiaro che il training set è un po' disperso: abbiamo forse bisogno di più prototipi del nostro musicista. Inoltre, dovremmo anche provare a far riconoscere immagini ruotate o trasposte per valutare la capacità di riconoscimento della rete.

Approfondimenti

Potremmo modificare il training set per fargli usare anche immagini ruotate e riflesse.

Cosa succede se si aggiungono queste immagini al training set?

E cosa succede se riduciamo l'immagine ad un quarto, facciamo la media dei valori nei quattro quadranti e passiamo questa informazione alla rete? Sarà sufficiente questa informazione 'impoverita' per riconoscere la differenza tra i due tipi di immagini?

N.B. Il comando Reverse è necessario per rimettere le immagini nell'orientamento giusto...

Bibliografia

   [1]  Freeman, JA. 1994, Simulating Neural Networks with Mathematica, Addison-Wesley, Reading MA.

   [2]   Pratt, W. 1978, Digital Image Processing, John Wiley & Sons, New York.

Appendice

Utilità

Imposto la directory corrente:

Disattivo i warnings

Created with Wolfram Mathematica 7.0