Partielle Neuronale Netzwerke

Klassische Neuronale Netzwerke

Die Informationsverarbeitung erfolgt über verborgene Schichten (Hidden Layer) und eine Ausgabeschicht (Output Layer). Innerhalb der Neuronen werden gewichtete lineare Funktionen berechnet und deren Ergebnisse über eine Aktivierungsfunktion (z. B. Sigmoid) an die nächste Schicht weitergegeben.

Der Ansatz: Partielle Differentialgleichungen (PDEs)

In einer komplexen Welt, in der kaum etwas linear abläuft: Warum beschränken wir uns auf gewichtete lineare Transformationen und starre Aktivierungsfunktionen? Wir vereinen diese Konzepte und postulieren, dass die Berechnungen innerhalb der Neuronen durch nicht-lineare partielle Differentialgleichungen (PDEs) beschrieben werden sollten. Das Gesamtkonstrukt wird so zu einem Netzwerk gekoppelter partieller Differentialgleichungssysteme.

Die Befürchtung, dieser Ansatz sei rechentechnisch zu komplex, lässt sich entkräften: Je nach Anwendungsbereich sind partielle Differentialgleichungen mathematisch hervorragend erforscht, sodass direkt auf bestehende Lösungsmethoden zurückgegriffen werden kann. Reduziert man den nicht-linearen Fall wieder auf den Spezialfall der Linearität, geht das PNN nahtlos in ein konventionelles neuronales Netzwerk über.

1. Die klassische 2-2-1 Netzstruktur

Zur Demonstration betrachten wir ein einfaches Netzwerk mit zwei Eingabe-Knoten, zwei Neuronen in der verborgenen Schicht und einem Ausgabe-Neuron:

2. Äquivalente PDE-Formulierung

Diese Berechnungen lassen sich 1:1 in ein äquivalentes System partieller Differentialgleichungen überführen. Wir betrachten drei ungekoppelte PDE-Systeme für die jeweiligen Neuronen:

Durch Setzen von \(\mathbf{m}_1 = \begin{pmatrix} w_1 \\ w_2 \end{pmatrix}\) und der Anfangsbedingung \(u_0 = b_1\) entspricht die exakte Lösung der Funktion \(u(x_1, x_2) = w_1 x_1 + w_2 x_2 + b_1\). Wir ersetzen somit die Rechten Seiten der PDEs durch die neuronalen Gewichte. Das Training des Netzwerks entspricht dem Lösen dieser Differentialgleichungen.

3. Dynamische Erweiterungen: Zeitabhängigkeit

In biologischen Gehirnen verläuft Informationsverarbeitung nicht augenblicklich – Denken benötigt Zeit. Wir führen explizit eine Zeitvariable \(t\) ein. Bei einer nicht-trivialen Zeitabhängigkeit (\(\frac{\partial u}{\partial t} = c_0 \neq 0\)) nimmt die Lösung eine dynamische Form an:

Durch Anpassung der Parameter \(c_0\) und \(c_1\) lässt sich die Berechnungsgeschwindigkeit einzelner Neuronen gezielt beschleunigen oder verlangsamen. Dies erlaubt die Nachbildung realer neurobiologischer Signallaufzeiten.

4. Hierarchische Planung, Kopplung & Wellenfunktions-Kollaps

Durch die Kopplung über Interaktionsparameter (\(\alpha, \beta, \gamma, \delta\)) können biologische Dendriten und komplexe neuronale Ensembles realistisch modelliert werden. Physikalische Prinzipien wie Entropielösungen sichern dabei die Wohlgestelltheit des mathematischen Systems.

Biologische Verzögerungsdynamik und Zeitverzögerung

In der Neurobiologie ist gut dokumentiert, dass Neuronen eingehende Informationen nicht augenblicklich verarbeiten. Stattdessen integrieren sie eingehende elektrische Signale über die Zeit in ihr Membranpotenzial. Erst wenn dieses Membranpotenzial einen kritischen Schwellenwert überschreitet, feuert die Zelle ein Aktionspotenzial (Spike). Folglich spielt die zeitliche Dimension eine entscheidende Rolle: Sowohl das Timing als auch die Ankunftsreihenfolge eingehender Signale beeinflussen die neuronale Aktivierung direkt.

Inspiriert durch diesen biologischen Mechanismus können wir nicht nur zeitabhängige und gekoppelte partielle neuronale Netzwerke aufbauen, sondern auch explizite Zeitverzögerungen (\(\tau\)) integrieren. Das Einbetten von Verzögerungen in partielle Differentialgleichungen – was zu partiellen Verzögerungs-Differentialgleichungen (Delay PDEs) führt – ist ein etabliertes Konzept in der mathematischen Modellierung und tritt in realen biologischen und physikalischen Systemen häufig auf.

In dieser Formulierung repräsentiert der Parameter \(\tau\) die charakteristische zeitliche Verzögerung (Lag). Während \(\tau\) analytisch abgeleitet oder auf Basis domänenspezifischer PDE-Dynamiken fixiert werden kann, lässt er sich auch als kontinuierlicher, lernbarer Parameter behandeln.

Lernbare und adaptive Aktivierungsfunktionen in PNNs

An dieser Stelle betonen wir, dass die zugrundeliegende partielle Differentialgleichung für die Aktivierungsfunktion nicht a priori festgelegt sein muss. Stattdessen kann das Netzwerk sein Aktivierungsverhalten während der Optimierung dynamisch anpassen oder im Laufe der Zeit eine völlig neue Aktivierungsfunktion erlernen, um das zugrundeliegende System besser zu beschreiben.

In diesem Aufbau fungiert \(\alpha \in [0, 1]\) als lernbarer Interpolationsparameter, und \(\Theta(u)\) repräsentiert die Heaviside-Sprungfunktion – deren direkte Integration die Rectified Linear Unit (ReLU) ergibt, da \(\int \Theta(u) \, du = \max(0, u) = \text{ReLU}(u)\). Durch Optimierung bestimmt das Netzwerk adaptiv, welche Aktivierungscharakteristika für das System am besten geeignet sind. Speziell reduziert sich die Aktivierungsableitung bei \(\alpha = 0\) strikt auf die Standard-Sigmoid-Formulierung, während \(\alpha = 1\) die Dynamik zu einer ReLU-ähnlichen Antwort verschiebt. Während des Trainings kann das Framework kontinuierlich verfeinern oder fließend zwischen diesen Funktionsformen übergehen.

Anmerkungen zu Neural ODEs und Physics-Informed Neural Networks

An dieser Stelle möchten wir einige Anmerkungen zu den Feldern der Neural Ordinary Differential Equations (Neural ODEs) und Physics-Informed Neural Networks (PINNs) machen. Im Allgemeinen adressieren diese Frameworks keine partiellen neuronalen Netzwerke; bestimmte Neural ODEs oder PINNs können jedoch als spezielle, degenerierte Fälle innerhalb dieser breiteren Theorie betrachtet werden. Partielle Neuronale Netzwerke stellen eine höherwertige Generalisierung standardmäßiger neuronaler Architekturen dar.

Allgemeine Partielle Neuronale Netzwerke (PNN)

Mathematische Formulierung

Sei \(\Omega \subset \mathbb{R}^d\) ein räumliches Gebiet und \(T > 0\) der Zeithorizont. Wir betrachten ein Netzwerk mit \(L\) verborgenen Schichten, wobei die Schicht \(l \in \{1, \dots, L\}\) genau \(N_l\) Neuronen enthält, repräsentiert durch den Zustandsvektor \(\mathbf{u}^{(l)}(x, t) = \bigl(u_1^{(l)}(x, t), \dots, u_{N_l}^{(l)}(x, t)\bigr)^T \in \mathbb{R}^{N_l}\).

Wir definieren ein Partielles Neuronales Netzwerk als ein System gekoppelter, nicht-linearer partieller Differentialgleichungen beliebiger Ordnung \(k \in \mathbb{N}\). Das allgemeine System für Schicht \(l\) lautet:

Wobei:

• \(\mathcal{L}_{\psi}^{(l)}, \mathcal{L}_{x}^{(l)}, \mathcal{L}_{t}^{(l)}\) beliebige nicht-lineare Differentialoperatoren bezeichnen, die auf räumliche und zeitliche Ableitungen bis zu den Ordnungen \(k_1, k_2 \in \mathbb{N}\) wirken.
• \(D_x^{\alpha}, D_x^{\beta}, D_x^{\gamma}\) räumliche Multiindex-Ableitungsoperatoren repräsentieren (z. B. \(D_x^\alpha = \frac{\partial^{|\alpha|}}{\partial x_1^{\alpha_1} \dots \partial x_d^{\alpha_d}}\)).
• \(\mathcal{B}\) den Randoperator bezeichnet, der Dirichlet-, Neumann- oder Robin-Bedingungen auf dem räumlichen Rand \(\partial\Omega\) auferlegt.
• \(\mathbf{F}^{(l)}, \mathbf{M}^{(l)}, \mathbf{H}^{(l)}\) beliebige nicht-lineare Kopplungsoperatoren sind, die Aktivierungszustände unterer Schichten und Inter-Neuronen-Interaktionen auf die Zielschicht abbilden.

Beispiel: 2-Schicht-System (\(L=2\))

Um diese Architektur zu veranschaulichen, betrachten wir ein 2-Schicht-Netzwerk mit \(N_1 = 2\) Neuronen (\(u_1, u_2\)) in der ersten verborgenen Schicht und \(N_2 = 1\) Neuron (\(v_1\)) in der zweiten verborgenen Schicht:

Man sollte sich nicht von der analytischen Komplexität oder der potenziellen Nicht-Lösbarkeit dieser hochgradig nicht-linearen PDE-Systeme abschrecken lassen. In der Praxis stehen Expertenwissen, spezialisierte analytische Frameworks (wie schwache Lösungen, Viskositätslösungen und Entropieformulierungen) sowie fortschrittliche numerische Löser (z. B. adaptive Finite-Elemente-Methoden oder neuronale PDE-Diskretiereungen) zur Verfügung. Diese etablierten mathematischen Werkzeuge ermöglichen es uns, solche komplexen Systeme in der Praxis effektiv zu handhaben, zu analysieren und rasch zu lösen.

Formulierung in Differentialform

Darüber hinaus möchten wir hervorheben, dass es in Mathematik und Physik gängige Praxis ist, Grundgleichungen direkt in Differentialform aus physikalischen Gesetzen oder Erhaltungssätzen abzuleiten. Beispielsweise kann ein partielles neuronales Netzwerk die Systemdynamik innerhalb eines Neurons kompakt in Differentialnotation ausdrücken:

Der Hauptvorteil dieser Differentialen Formulierung liegt in ihrer direkten Kompatibilität mit Bereichen wie der Finanzmodellierung oder der quantitativen Aktienmarktanalyse. In diesen Feldern sind stochastische Prozesse und Differentialdarstellungen – wie das Black-Scholes-Modell (\(dS_t = \mu S_t \, dt + \sigma S_t \, dW_t\)) – fest etabliert. Die Verwendung dieser Notation macht zugrundeliegende strukturelle Zusammenhänge sowie domänenspezifische physikalische oder ökonomische Annahmen sofort transparent und interpretierbar.

Diese Differentiale Formulierung muss vom KI-Forscher speziell für die Zielanwendung identifiziert oder abgeleitet werden. Die Auswahl der geeigneten Grundgleichungen stellt sicher, dass das Modell den Datensatz nicht nur mit maximaler Präzision – oder im Idealfall mit vollständiger Vorhersagegenauigkeit – beschreibt und Baseline-Modelle übertrifft, sondern auch hochgradig zuverlässige Prognosen erstellt. Es ist erwähnenswert, dass nicht jedes einzelne Neuron eine einzigartige Grundgleichung benötigt; vielmehr können bestimmte fundamentale Prinzipien und PDEs die Gesamtdynamik über ganze Gruppen oder Schichten von Neuronen hinweg beschreiben.

Ein primäres Ziel unserer Forschungsinitiative besteht darin, Domänengrenzen zu überbrücken, indem Wissenschaftler aus verschiedenen Disziplinen zusammengebracht werden, um die geeigneten PDEs für verschiedene Anwendungen zu identifizieren und zu formulieren. Wir haben diesen Prozess bereits mit dem Start eines speziellen Modells eingeleitet, das auf die Finanzmarktmodellierung und Aktienkursverläufe zugeschnitten ist. Obwohl diese Arbeit ein aktives Feld laufender Forschung bleibt – was zusätzliche Integrationen erfordert, wie etwa den konzeptionellen Einschluss eines domänenspezifischen DNA-Modells –, repräsentiert sie eine prägende Richtung für unser breiteres Forschungsframework.

Numerische Methoden und gekrümmte Differentiale

Je nach dem spezifischen Problem, das modelliert oder untersucht wird, können die partiellen Differentialgleichungen, die einzelne Neuronen steuern, hochkomplex und analytisch unlösbar werden. Um zu verhindern, dass man sich bei der Suche nach geschlossenen analytischen Lösungen festfährt – und um zu vermeiden, dass das Lösen von Gleichungen zu einem eigenständigen Studienfeld wird –, kann man numerische Methoden nutzen. Durch die Diskretisierung der PDEs sowohl im Raum als auch in der Zeit werden die kontinuierlichen Differentialoperatoren in finite Approximationen umgewandelt.

Diese numerische Diskretisierung bietet einen klaren Vorteil: Ähnlich wie das Erzwingen expliziter Zeitintervalle kann man diskrete Rechenschritte definieren. Die Anzahl der numerischen Schritte – die die zugewiesene Ausführungszeit für ein bestimmtes Neuron repräsentiert – kann dann direkt als trainierbarer Parameter (Gewicht) innerhalb des Systems eingeführt werden, was die Vorhersagegenauigkeit weiter erhöht.

Es ist erwähnenswert, dass fundamentale Ableitungen, wie in früheren Arbeiten eingeführt, auch mittels gekrümmter Differentiale formuliert werden können. Anstatt die Ableitung einer differenzierbaren Funktion \(f\) rein durch die klassische Sekantensteigungsformel zu betrachten,

kann man gekrümmte Ableitungen betrachten, wie zum Beispiel:

Solche fundamentalen Umformulierungen ermöglichen energie-konsistente Diskretisierungen. Nebenbei bemerkt bezeichnet der Autor diese Klasse von gekrümmten Differentialen als das Infinitesimal Fundamentum, welches darauf abzielt, die klassische Differentialrechnung von Newton und Leibniz zu verallgemeinern.

Exkurs: Finanzen / Aktienkurse – Das DNA-Modell als erste PNN-Anwendung

Eine der ersten Implementierungen eines partiellen neuronalen Netzwerks innerhalb der Finanzmodellierung ist das sogenannte DNA-Modell, das entwickelt wurde, um Aktienkursverläufe zu charakterisieren und letztendlich vorherzusagen. Ohne auf Details der Low-Level-Implementierung einzugehen, skizzieren wir hier das grundlegende Konzept, um eine direkte Anwendung des PNN-Frameworks zu demonstrieren.

Das neuronale Netzwerk ist so strukturiert, dass es die Psychologie eines hypothetischen Master-Players modelliert – eine übergeordnete Entität, deren aggregierte Entscheidungen letztendlich die Marktpreise antreiben. Innerhalb dieses Netzwerks werden Teilregionen zugewiesen, um Käufer- und Verkäuferdynamiken zu repräsentieren, die Preisbewegungen basierend auf ihrem relativen Aktivitätsniveau diktieren. Wenn beispielsweise der Vermögenspreis einen hohen Schwellenwert erreicht, steigt die Aktivierung innerhalb der Verkäufer-Teilgruppe aufgrund aufkeimender Verlustaversion, was dazu führt, dass das Netzwerk ein Verkaufssignal ausgibt.

Da die zugrundeliegenden partiellen Differentialgleichungen nicht notwendigerweise auf Standard-Echtwert-Zuständen operieren, werden die Zustandsübergänge über qualitative Deskriptoren ausgedrückt – in diesem Fall strukturiert als symbolische DNA-Elemente. Dies führt zu einem qualitativen partiellen neuronalen Netzwerk, das über diskreten symbolischen Sequenzen operiert. Unabhängig vom internen topologischen Design berechnet das Netzwerk letztendlich eine Wahrscheinlichkeitsverteilung über sich abzeichnende DNA-Elemente, die zukünftige Preistrends steuern.

Der Übergang von konventionellen neuronalen Netzwerken zu partiellen neuronalen Netzwerken (PNNs) stellt einen fundamentalen Paradigmenwechsel dar. Das vollständige Potenzial dieses Frameworks lässt sich jedoch nur durch den Aufbau einer multidisziplinären Forschungsgemeinschaft ausschöpfen: Wir benötigen Experten aus Physik, quantitativer Finanzwirtschaft, computergestützter Neurowissenschaft und den Ingenieurwissenschaften, um domänenspezifische partielle Differentialgleichungen zu formulieren, die die neuronalen Dynamiken in ihren jeweiligen Fachbereichen steuern.

Anstatt Deep Learning als domänenunabhängige Black Box zu behandeln, betten PNNs domänenspezifische physikalische, biologische oder ökonomische Gesetzmäßigkeiten direkt in die Netzwerkarchitektur ein. Jedes Neuron – oder jede Schicht von Neuronen – wird von seinen eigenen spezialisierten Dynamiken und anpassbaren Aktivierungsmechanismen angetrieben. Obwohl dies die mathematische Komplexität drastisch erhöht, ist es genau diese strukturelle Tiefe, die überlegene Interpretierbarkeit, physikalische Konsistenz und hohe Vorhersagegenauigkeit ermöglicht.

Übersicht domänenspezifischer PDEs für die PNN-Integration

Um zu veranschaulichen, wie PNNs branchenübergreifend angewendet werden können, fassen die folgenden Tabellen zentrale Grundgleichungen aus Medizin, Kognitionswissenschaft, Physik, Finanzwesen und Verteidigung zusammen und zeigen deren Rolle als funktionale Bausteine für spezialisierte Neuronen auf.

Zentrale Zielanwendungen

Zusammenfassend erfordert die Entwicklung partieller neuronaler Netzwerke, mathematische Strenge zu umarmen, anstatt sie zu vermeiden. Indem wir individuelle Problemstellungen aus der Praxis mit ihren wahren zugrundeliegenden partiellen Differentialgleichungen verknüpfen, eröffnen wir einen neuen Horizont für die KI-Forschung – einen, der Machine Learning nahtlos mit den fundamentalen Gleichungen der Natur- und Angewandten Wissenschaften verschmilzt.

Anmerkungen zu Großen Sprachmodellen (LLMs)

Derzeitige Large Language Models (LLMs) sind extrem rechenintensiv und benötigen immense Datenmengen, um optimale Ergebnisse zu erzielen. Mit PNNs werden signifikant weniger Daten benötigt, um ein Problem präzise zu beschreiben. Vorteile wie ein geringerer Rechenaufwand führen zu direkten Energieeinsparungen, während lernbare Aktivierungsfunktionen eine höhere Genauigkeit liefern und dazu beitragen, Halluzinationen in LLMs zu verhindern.

Obwohl man annehmen könnte, dass die Einführung Partieller Neuronaler Netzwerke zusätzliche Parameter hinzufügt und den Rechenaufwand erhöht, trifft dies in der Praxis nicht zu: Dank der überlegenen mathematischen Modellierung bleiben die Fehlerraten durchgehend niedrig, sodass das Netzwerk mit minimalen Daten schneller zu optimalen Gewichten konvergiert.

Darüber hinaus bietet die Fähigkeit, gekoppelte Neuronen zu modellieren, ein mächtiges Werkzeug, um nur die für ein bestimmtes Problem notwendigen Teile des neuronalen Netzwerks zu berechnen – wodurch Berechnungen des gesamten Netzwerks vermieden werden, ähnlich wie bei der hierarchischen Planung.

Ein weiterer wichtiger Vorteil von PNNs liegt in ihrer Flexibilität und Selbstlernfähigkeit bei minimalen neuen Daten. Wenn das Netzwerk neuen Eingaben ausgesetzt wird, können sich die strukturellen Lösungen der partiellen Differentialgleichungen im System vollständig anpassen, was zu noch höheren Genauigkeiten führt.

Zusätzlich ist das PNN-Modell so konzipiert, dass es einen nahtlosen Übergang zu Quantencomputern ermöglicht, sodass LLM-Architekturen der nächsten Generation auf Quantensystemen mit noch höherer Effizienz arbeiten können.