Discrimination in Algorithmic Decision Making: From Principles to Measures and Mechanisms

Abstract

The rise of algorithmic decision making in a variety of applications has also raised concerns about its potential for discrimination against certain social groups. However, incorporating nondiscrimination goals into the design of algorithmic decision making systems (or, classifiers) has proven to be quite challenging. These challenges arise mainly due to the computational complexities involved in the process, and the inadequacy of existing measures to computationally capture discrimination in various situations. The goal of this thesis is to tackle these problems. First, with the aim of incorporating existing measures of discrimination (namely, disparate treatment and disparate impact) into the design of well-known classifiers, we introduce a mechanism of decision boundary covariance, that can be included in the formulation of any convex boundary-based classifier in the form of convex constraints. Second, we propose alternative measures of discrimination. Our first proposed measure, disparate mistreatment, is useful in situations when unbiased ground truth training data is available. The other two measures, preferred treatment and preferred impact, are useful in situations when feature and class distributions of different social groups are significantly different, and can additionally help reduce the cost of nondiscrimination (as compared to the existing measures). We also design mechanisms to incorporate these new measures into the design of convex boundary-based classifiers.

Die Vielzahl der Anwendungen, die Algorithmen immer stärker an Entscheidungsprozessen beteiligen, wächst stetig. Dadurch werden Bedenken über die potenzielle Diskriminierung bestimmter gesellschaftlicher Gruppen aufgeworfen. Die Aufnahme von Nichtdiskriminierungszielsetzungen bei der Gestaltung algorithmischer Entscheidungs- bzw. Klassifizierungssysteme hat sich jedoch als grosse Herausforderung herausgestellt. Zum einen sind die nötigen Berechnungen komplex und zum anderen sind die existierenden Metriken unzureichend, um Diskriminierung in bestimmten Situationen rechnerisch zu erfassen. Das Ziel dieser Arbeit ist es, diese Problematik anzugehen. Als erstes stellen wir einen Decision Boundary-basierten Kovarianzmechanismus vor, der genutzt werden kann, um existierende Diskriminierungsmetriken (also Disparate Treatment und Disparate Impact) beim Entwurf von gängigen Klassifizierungsalgorithmen einzusetzen. Der Ansatz kann für jeden konvexen Boundary-basierten Klassifizierungsalgorithmus in Form konvexer Constraints formuliert werden. Als nächstes definieren wir neue Diskriminierungsmetriken. Unsere erste Metrik namens Disparate Mistreatment kommt in Situationen zum Einsatz, in denen die Referenzdaten nicht zugunsten einer sozialen Gruppe verzerrt sind. Die übrigen beiden Metriken namens Preferred Treatment und Preferred Impact sind für Situationen konzipiert, in denen die Feature- und Klassenverteilungen unterschiedlicher sozialer Gruppen stark voneinander abweichen. Sie können dabei helfen, die Kosten von Nichtdiskriminierung im Vergleich zu bestehenden Metriken zu reduzieren. Wir zeigen ebenfalls, wie diese neuen Metriken in konvexen Boundary-basierten Klassifizierungsalgorithmen genutzt werden können.