top of page

Federated Learning Aggregation basierend auf Gewichtsverteilungsanalyse

Oct 4, 2023

Föderiertes Lernen verbessern: Gewichtsverteilungsanalyse für bessere Aggregation nutzen

Föderiertes Lernen wurde kürzlich als Lösung für das Problem vorgeschlagen, private oder vertrauliche Daten zum Trainieren eines zentralen Deep-Modells zu verwenden, ohne die lokalen Daten auszutauschen. Beim föderierten Lernen werden lokale Modelle auf der Clientseite mithilfe der verfügbaren Daten trainiert, während ein Server für die Aggregation der Gewichte dieser Modelle zu einem globalen Modell verantwortlich ist. Der traditionelle Ansatz der Gewichtsmittelung berücksichtigt jedoch nicht die Bedeutung der unterschiedlichen Gewichte für die Leistung eines Modells. Zu diesem Zweck schlägt diese Arbeit eine neuartige Methode zur Gewichtsaggregation für föderiertes Lernen vor, die die statistische Distanz der Parameter jedes Clients von der Gauß-Verteilung schätzt und den Beitrag jedes Clients zum globalen Modell entsprechend gewichtet, sodass die wichtigsten Informationen erhalten bleiben und verbessert werden. Um ein genaues globales Modell zu erstellen, wird eine komplexe gewichtete Mittelung der Parameter der Clientmodelle auf Schichtebene durchgeführt, wobei die Parameter, die der Gauß-Verteilung folgen, als minderwertig angesehen werden. Die vorgeschlagene Methode kann sowohl auf Faltungs- als auch auf lineare Schichten angewendet werden und basiert auf der Annahme, dass Parameter, die einer Gauß-Verteilung folgen, die Ausgabe eines Modells nicht wesentlich beeinflussen. Experimente mit verschiedenen Netzwerkarchitekturen und ein Vergleich mit einer Vielzahl modernster Ansätze anhand dreier bekannter Bildklassifizierungsdatensätze demonstrieren die Überlegenheit der vorgeschlagenen Methode zur Gewichtsaggregation beim föderalen Lernen.


Lesen Sie die vollständige Veröffentlichung: https://www.researchgate.net/publication/374440973_Federated_Learning_Aggregation_based_on_Weight_Distribution_Analysis




bottom of page