| Zusammenfassung: | This thesis deals with mean field games theory, a game theoretic model for dynamic games with a continuum of players. The main feature of these games is that agents do not observe the behaviour of all other agents individually, but only the distribution thereof. This simplification makes models of intertemporal interactions of many players more tractable, which leads to several economic applicatio... This thesis deals with mean field games theory, a game theoretic model for dynamic games with a continuum of players. The main feature of these games is that agents do not observe the behaviour of all other agents individually, but only the distribution thereof. This simplification makes models of intertemporal interactions of many players more tractable, which leads to several economic applications. In particular, examples with finite state and action space have been considered in the literature. However, there are, except for the existence of dynamic mean field equilibria, no general results for these types of models. This thesis investigates existence, computation, stability and explanatory power of stationary equilibria in mean field games with finite state and action space. We work in the model introduced in Doncel et al. (2016a), but consider a new (and instructive) probabilistic formulation. More precisely, the individual agents control a Markov chain with transition rates that depend on the population distribution and maximize their expected discounted reward over an infinite time horizon.
In the first part of the thesis we analyse stationary mean field equilibria: We start by proving existence of stationary equilibria in mixed strategies under a continuity assumption. Thereafter, we present several tools in order to compute all stationary mean field equilibria. We show that optimal stationary strategies are convex combinations of deterministic stationary strategies choosing an action that maximizes the right-hand side of the optimality equation of an associated Markov decision process. We provide a cut criterion to reduce the set of possible stationary points of the dynamics. Moreover, under an irreducibility assumption we can reduce the problem of finding all stationary mean field equilibria to finding all fixed points of a set-valued map. We also illustrate the application of the results in three toy examples. Concluding the analysis of stationary equilibria, we investigate under which conditions stationary equilibria are stable against slight model perturbations and under which conditions this is not the case. This is a classical question in game theory and has not been considered for mean field games so far. Since this question is closely related to the question whether fixed points are essential, we do not obtain full characterizations, but similar results as for essential fixed points. In particular, we show that the set of all games with only essential stationary equilibria is (topologically) generic.
In the second part of the thesis we consider the question in how far stationary equilibria explain dynamic behaviour of agents in our mean field game model. Indeed, the computation of dynamic mean field equilibria is for infinite time horizon not clear and for finite time horizon rather involved and, moreover, most of the time only numerically tractable. Thus, it is questionable that agents can perform these computations. Therefore, we follow the lines of learning theory in games and introduce a sensible decision mechanism for partially rational agents that under suitable conditions converges towards stationary equilibria. More precisely, we introduce a myopic adjustment process in which agents assume that the population distribution will stay constant over time and choose their best response to it, if the population distribution changes the agents re-evaluate their decision. We prove that the process converges locally to stationary equilibria with a deterministic equilibrium strategy that is the unique optimal strategy for the equilibrium distribution under certain conditions regarding the population dynamics. Furthermore, we provide a set of assumptions that ensures that the process converges (almost) globally towards stationary mean field equilibria. More precisely, we show that the process converges towards a stationary equilibrium with a deterministic equilibrium strategy or that it stays in a set, where several stationary strategies are simultaneously optimal and for which we can often prove convergence towards stationary equilibria in mixed strategies.
Additionally, this thesis contributes to the theory of continuous time nonlinear Markov chains with finite state space. We prove existence of such a process given a Lipschitz continuous nonlinear generator and provide examples illustrating that the limit behaviour is more complex than for standard time-homogeneous Markov chains. Furthermore, we provide a sufficient criterion for the existence of a unique stationary distribution and we provide for small state spaces a sufficient criterion for strong ergodicity of the process.
Diese Arbeit beschäftigt sich mit Mean Field Games, einem spieltheoretischen Modell für zeitdynamische Spiele mit einem Kontinuum an Agenten. Das zentrale Charakteristikum dieser Spiele besteht darin, dass Agenten nicht das individuelle Verhalten der anderen Agenten beobachten können, sondern nur dessen Verteilung. Diese Vereinfachung führt dazu, dass Modelle intertemporaler Interaktionen vieler A... Diese Arbeit beschäftigt sich mit Mean Field Games, einem spieltheoretischen Modell für zeitdynamische Spiele mit einem Kontinuum an Agenten. Das zentrale Charakteristikum dieser Spiele besteht darin, dass Agenten nicht das individuelle Verhalten der anderen Agenten beobachten können, sondern nur dessen Verteilung. Diese Vereinfachung führt dazu, dass Modelle intertemporaler Interaktionen vieler Agenten handhabbar werden, was sie für ökonomische Anwendungen nutzbar macht. Insbesondere wurden hierfür Modelle mit endlichem Zustands- und Aktionsraum genutzt. Jedoch gibt es (fast) keine allgemeinen Resultate für solche Modelle. Diese Arbeit untersucht stationäre Gleichgewichte von Mean Field Games mit endlichem Zustands- und Aktionsraum. Dabei werden folgende vier Einzelfaktoren näher betrachtet: Existenz, Berechnung, Stabilität sowie das Potential stationärer Gleichgewichte das dynamische Verhalten von Agenten zu erklären. Wir arbeiten mit dem in Doncel et al. (2016a) eingeführten Modell in einer neuen (und aufschlussreichen) probabilistischen Formulierung. In diesem Modell kontrollieren die Agenten jeweils eine Markov-Kette mit Übergangsraten, die von der Populationsverteilung abhängen, und maximieren ihren erwarteten abdiskontierten Gesamtgewinn über einen unendlichen Zeithorizont.
Im ersten Teil der Arbeit analysieren wir stationäre Mean Field Gleichgewichte: Zuerst zeigen wir die Existenz von stationären Gleichgewichten in gemischten Strategien unter einer Stetigkeitsannahme. Danach stellen wir mehrere Werkzeuge vor, um alle stationären Gleichgewichte zu berechnen. Wir zeigen dabei dass alle optimalen stationären Strategien Konvexkombinationen deterministischer stationärer Strategien sind, die eine Aktion wählen, welche die rechte Seite der Optimalitätsgleichung eines zugehörigen Markov-Entscheidungsprozesses maximiert. Außerdem leiten wir ein Schnittkriterium zur Reduktion der Menge der möglichen stationären Punkte der Dynamik her. Des Weiteren können wir unter einer Irreduzibilitätsannahme die Aufgabe, alle stationären Gleichgewichte zu finden, auf das Bestimmen aller Fixpunkte einer mengenwertigen Abbildung reduzieren. Im Anschluss veranschaulichen wir die Anwendung der Resultate in drei Beispielen. Danach untersuchen wir, unter welchen Bedingungen stationäre Gleichgewichte bezüglich leichter Modellstörungen stabil sind. Dies ist eine klassische Frage in der Spieltheorie, die für Mean Field Games noch nicht betrachtet wurde. Da diese Frage eng mit der Frage, ob Fixpunkte essentiell sind, verbunden ist, erhalten wir keine vollständigen Charakterisierungen, sondern ähnliche Resultate wie in jenem Fall. Insbesondere zeigen wir dass die Menge aller Spiele mit ausschließlich essentiellen stationären Gleichgewichten (topologisch) generisch ist.
Im zweiten Teil der Arbeit beschäftigen wir uns mit der Frage, inwiefern stationäre Gleichgewichte das dynamische Verhalten von Agenten in unserem Mean Field Game erklären. Dieses ist dadurch motiviert dass die Berechnung von dynamischen Gleichgewichten schwierig ist und es daher fraglich ist ob ein Agent dynamische Gleichgewichte berechnen kann. Analog zur der Theorie des Lernens in Spielen führen wir sodann einen realitätsnahen Entscheidungsmechanismus für partiell rationale Agenten ein, der unter geeigneten Bedingungen gegen stationäre Gleichgewichte konvergiert. Im Detail betrachten wir einen myopischen Anpassungsprozess, in dem die Agenten davon ausgehen, dass sich die Verteilung der anderen Agenten nicht ändert und daher immer die für diese Situation beste Antwort als Strategie wählen. Ändert sich die Verteilung der anderen Agenten, passen sie ihre Strategie an. Wir beweisen, unter bestimmten Voraussetzungen, dass der Prozess lokal gegen stationäre Gleichgewichte mit einer deterministischen Gleichgewichtsstrategie, die ferner die einzige optimale Strategie für die Gleichgewichtsverteilung ist, konvergiert. Darüber hinaus zeigen wir, dass der Prozess unter bestimmten Annahmen (fast) global gegen stationäre Gleichgewichte konvergiert. Genauer zeigen wir, dass der Prozess gegen ein stationäres Gleichgewicht mit einer deterministischen Gleichgewichtsstrategie konvergiert oder er in einer Menge bleibt, in der mehrere stationären Strategien gleichzeitig optimal sind und in der wir oft die Konvergenz gegen ein stationäres Gleichgewicht mit einer gemischten Gleichgewichtsstrategie zeigen können.
Ergänzend trägt die Arbeit zur Theorie der zeitstetigen nichtlinearen Markov-Ketten mit endlichem Zustandsraum bei. Im Detail zeigen wir die Existenz eines solchen Prozesses gegeben eines Lipschitz-stetigen nichtlinearen Generators und präsentieren Beispiele, die illustrieren, dass das Grenzverhalten komplexer ist als bei klassischen zeithomogenen Markov-Ketten. Ferner beweisen wir ein hinreichendes Kriterium für die Existenz einer eindeutigen stationären Verteilung sowie ein hinreichendes Kriterium für starke Ergodizität bei kleinem Zustandsraum. |
