Download or read book Networks of neural cliques written by Philippe Gripon and published by . This book was released on 2011 with total page 122 pages. Available in PDF, EPUB and Kindle. Book excerpt: Nous proposons et développons un modèle original de mémoires associatives s'appuyant sur des réseaux de neurones codés. Les mémoires associatives sont des dispositifs capables d'apprendre des messages binaires puis de les reproduire à partir de fractions de leurs contenus. L'état de l'art est le réseau proposé par Hopfield, dont la diversité de mémorisation - le nombre de messages qu'il peut mémoriser - est inférieure à n/(2log(n)) où n est le nombre de neurones dans le réseau. Notre travail a consisté à tirer parti des techniques de codage et de décodage correcteur d'erreur, plus précisément celle des codes distribués, affn d'accroître considérablement les performances des mémoires associatives. Pour ce faire, nous avons introduit des codes originaux dont les mots de code sont portés par des cliques neurales. Nous montrons que, combinées à des codes locaux parcimonieux, ces cliques neurales offrent une diversité d'apprentissage qui évolue comme le carré du nombre de neurones. Les gains observés viennent de l'utilisation de la parcimonie à plusieurs échelles : d'une part les messages appris sont de longueur bien inférieure à n, d'autre part ils n'utilisent qu'une partie du matériel disponible, que ce soit au niveau des neurones ou de leurs connexions. L'apprentissage est donc localisé, au contraire des réseaux de Hopfield. De plus, ces mémoires bénéficient d'une effcacité - rapport du nombre de bits appris au nombre de bits utilisés - presque maximale. Elles se présentent donc comme une alternative intéressante aux mémoires indexées classiques. Au delà de l'aspect quantitatif, le modèle que nous proposons offre une plausibilité biologique fortement accrue par rapport au modèle de Hopfield. Les concepts de cliques neurales, de winner take all, ou encore de synchronisation temporelle que ce modèle exploite rejoignent les observations récentes rapportées par la littérature neurobiologique. Par ailleurs, elles pourraient ouvrir la voie à la conception de machines cognitives capables de croiser des informations pour en produire de nouvelles car les cliques neurales sont recouvrantes, par leurs sommets ou par leurs arêtes.