Architectural Constraints of Normalizing Flows

Wir betrachten Normalizing Flows, eine Klasse von Methoden, die neuronale Netzwerke nutzen, um Wahrscheinlichkeitsverteilungen darzustellen, die effizientes Sampling und Dichteschätzung ermöglichen. Der Schwerpunkt dieser Arbeit liegt auf der Entwicklung von flexiblen Normalizing Flows, die problemlos auf beliebige Probleme anwendbar sind. Daher untersuchen wir zunächst die Eigenschaften bestehender Architekturen theoretisch. Wir stellen fest, dass volumenerhaltende Flows eine verzerrte Dichte lernen und entwickeln eine Lösung dafür. Wir verbessern existierende Universalitätsgarantien für coupling-basierte Flows, indem wir die Universalität von wohlkonditionierten affinen Coupling Flows bestätigen. Außerdem stellen wir fest, dass letztere im Vergleich zu Gaussianization Flows günstig mit der Dimension skalieren. Anschließend heben wir die architektonischen Beschränkungen existierender Normalizing Flows auf, indem wir Free-Form Flows einführen. Dieses Framework ermöglicht es, beliebige neuronale Netzwerkarchitekturen als Normalizing Flows zu trainieren. Das ermöglicht erstmals unter anderem kostengünstige rotationsequivariante Normalizing Flows, Normalizing Flows auf beliebigen Riemannschen Mannigfaltigkeiten und injektive Flows basierend auf Autoencodern. Free-Form Flows sind erheblich flexibler in der Anpassung an neue Probleme, zeigen vergleichbare oder bessere Performanz als bestehende Normalizing Flows und sind wettbewerbsfähig mit Methoden mit iterativer Inferenz wie Diffusionsmodellen und Flow Matching.