Formulazione del Criterio

Prima di presentare la procedura proposta per stimare il numero di neuroni dello strato intermedio, è necessario definire formalmente i termini del problema. Il criterio, sul quale si basa la procedura proposta, è quello di individuare una base definita nello spazio delle funzioni derivabili su un compatto di , rispetto alla norma di L 2 . Infatti, da Barron, 1993, esiste un vettore

tale che si ha

dove c f è una costante positiva che dipende dalla funzione f(.). Tale risultato giustifica, da un punto di vista funzionale, la
capacità di approssimatore universale delle reti neurali. Quando n è finito tale norma si trasforma nella misura dell'errore quadratico medio, cioè

Si può dimostrare (Giordano e Perna, ,1998) che per ogni vettore dei pesi

che risolvono la (3) si ha

dove h K è una costante positiva che dipende dalla misura del compatto K su cui la funzione f(.) è definita e s 2 è la varianza del WN del modello (1).
Allora esiste un vettore

tale che

Questa uguaglianza va intesa nel senso della norma in L 2 . Quando m tende all'infinito il contributo di un termine aggiuntivo

tende ad essere infinitesimo. Allora, fissando una costante d>0, il problema è quello di trovare un m 0 tale che

In effetti tale contributo può essere formulato in modo equivalente scrivendo che

La costante d non è necessariamente fissata esplicitamente. Essa può essere definita dal limite di tolleranza delle librerie
numeriche in relazione al calcolo del rango di una matrice. Tale limite è legato ad un fattore fisso che è rappresentato dal formato delle variabili in doppia precisione usato nelle più famose librerie numeriche ed implementate in pacchetti come S-plus, Matlab, ecc. Definito questo criterio il problema è quello di verificare la sua concreta applicazione in ambito stocastico.

Siano gli stimatori, dalla (3), di .

Definizione 1 Sia la probabilità che siano
linearmente indipendenti , fissato n e m.

Quindi, fissato n e m, si può determinare una stima di

Dato che tale stima dipende dai valori iniziali non è certamente unica. Effettuando q stime indipenden , con b=1,.,q, uno stimatore per è

(4)

dove #B è il numero delle volte che

sono linearmente indipendenti. Tuttavia, per applicare concretamente un tale stimatore bisogna tener conto della costante d definita sopra.

Prof.. Francesco Giordano