Extending game-based anti-phishing education using personalization : design and implementation of a framework for personalized learning game content in anti-phishing learning games

Röpke, René; Lucke, Ulrike; Schroeder, Ulrik

doi:10.18154/RWTH-2023-04991

Extending game-based anti-phishing education using personalization : design and implementation of a framework for personalized learning game content in anti-phishing learning games

Röpke, René^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von René Christian Röpke, M.Sc.

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Schroeder, Ulrik (Thesis advisor)^RWTH* ; Lucke, Ulrike (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2023-04-12

Online
DOI: 10.18154/RWTH-2023-04991
URL: https://publications.rwth-aachen.de/record/957824/files/957824.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
anti-phishing education (frei) ; game-based learning (frei) ; learning games (frei) ; personalization (frei) ; phishing urls (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Phishing stellt eine unmittelbare und weitreichende Bedrohung für Internetnutzer auf der ganzen Welt dar, bei der Angreifer durch Täuschung ihre Opfer dazu verleiten, Informationen preiszugeben. Aktuelle Berichte berichten über eine Vielzahl von Phishing-Angriffen, und bislang konnten die technischen Lösungen die Bedrohung nicht vollständig aufhalten. Als komplementärer Ansatz wird die Schulung der Nutzerinnen und Nutzer mit Hilfe von Anti-Phishing-Lernspielen untersucht, um diese zu sensibilisieren und ihnen die notwendigen Kenntnisse und Fähigkeiten zu vermitteln, Phishing-Angriffe zu erkennen und sich davor zu schützen. Eine gängige Spielmechanik in existierenden Spielen fordert von Lernenden, dass sie URLs in einem binären Entscheidungsschema entweder als legitim oder als Phishing klassifizieren. Hierbei kann ein Problem auftreten, wenn die Lernenden den Dienst einer gegebenen URL nicht kennen und mangels Referenz nicht in der Lage sind, die URL zu klassifizieren. So können die Lernenden auf Raten ausweichen, was das Übungspotenzial des Spiels schmälert, da Lernende keine Verknüpfung zwischen richtigen Klassifizierungen und dem angewandten Wissen schaffen können. Darüber hinaus sind die Möglichkeiten für Feedback begrenzt, da die binäre Entscheidungsmechanik keinen Einblick in die Entscheidungsprozesse und möglichen Fehlvorstellungen der Lernenden gibt. In dieser Dissertation werden die Limitationen für Feedback sowie das Problem der Klassifizierung unbekannter URLs in Anti-Phishing-Lernspielen wie folgt adressiert: Zunächst wird ein Überblick über existierende Lernspiele erarbeitet, der Einblicke in deren Design und die behandelten Lerninhalte gibt. Die Erkenntnisse dienen der Gestaltung und Implementierung von zwei neuen Spielprototypen. Hier erweitert das erste Spiel die zuvor erwähnte binäre Entscheidungsmechanik und verlangt von den Lernenden, URLs in eine von mehreren Kategorien einzuordnen, je nachdem, welche Manipulationstechnik auf einen bestimmten Teil der URL angewendet wurde. Beim zweiten Spiel müssen Lernende verschiedene Manipulationstechniken anwenden und mithilfe einer Puzzlemechanik ihre eigenen bösartigen URLs erstellen. Als nächstes werden die Möglichkeiten zur Personalisierung von Anti-Phishing-Lernspielen betrachtet und eine Personalisierung-Pipeline entwickelt. Durch die Berücksichtigung der Bekanntheit der Lernenden mit unterschiedlichen Diensten und der dynamischen Erstellung von gutartigen und Phishing URLs kann der Inhalt von Anti-Phishing-Lernspielen personalisiert werden. Um die neuen Spielprototypen sowie den Einsatz der Personalisierungs-Pipeline zu evaluieren, werden zwei vergleichende Nutzerstudien in einem Between-Group-Design mit Prä-, Post- und Langzeittests durchgeführt. In der ersten Nutzerstudie mit 133 Teilnehmern werden beide Spiele bewertet und mit einer Referenzimplementierung verglichen. Während die Testpersonen der neuen Spiele nicht signifikant besser abschnitten als die Kontrollgruppe, zeigen die Ergebnisse für alle Spiele signifikante Verbesserungen in der Leistung und im Selbstvertrauen der Testpersonen zwischen Vor- und Nachtest sowie auffällige Unterschiede bei der Klassifizierung von URLs unbekannter und bekannter Dienste. In der zweiten Nutzerstudie mit 49 Testpersonen wird die Personalisierungs-Pipeline in eines der Spiele integriert, um dessen personalisierte und nicht-personalisierte Version zu vergleichen. In diesem Fall ermöglicht die Personalisierung die Steuerung der Bekanntheit der Dienste und gibt Aufschluss darüber, wie URLs von unbekannten Diensten im Spiel gehandhabt werden. Obwohl die Testpersonen des personalisierten Spiels nicht besser abschnitten als die Teilnehmer der nichtpersonalisierten Version, bietet die Auswertung des Spielverhaltens Einblicke in die Entscheidungsprozesse der Lernenden und mögliche Probleme oder Fehlvorstellungen. Darüber hinaus zeigen die Ergebnisse einer Langzeitevaluation aller Spielprototypen und -versionen, dass das Wissen erhalten bleibt, da die Testpersonen immer noch deutlich besser abschneiden als im Prätest. Insgesamt stellt diese Dissertation erste Ansätze und Forschungsergebnisse im Bereich der personalisierten Anti-Phishing-Lernspiele vor. Zukünftige Arbeiten könnten die Neugestaltung von Anti-Phishing-Lernspielen umfassen, um weitere Möglichkeiten der Personalisierung einzubeziehen und um zu verstehen, wie die Lernereigenschaften in Anti-Phishing Lernspielen berücksichtigt werden können.

Phishing poses an imminent and wide-ranging threat to Internet users worldwide, in which attackers use methods of deception to lure victims into disclosing information. Recent reports state high numbers of phishing incidents and, so far, technical solutions fail to stop the threat completely. As a complementary approach, user education using anti-phishing learning games has been explored to raise awareness and teach the necessary knowledge and skills to detect and protect against phishing attacks. A common game mechanic used in existing games requires learners to classify URLs as either legitimate or phishing in a binary decision scheme. Here, a problem can occur if learners do not know the service of a given URL and are unable to classify the URL due to a lack of reference. As such, learners may revert to guessing which may weaken the game’s potential for practice, since learners cannot relate between correct classifications and the applied knowledge. Furthermore, the possibilities for feedback are limited since the binary decision mechanic does not provide any insights into learners’ decision processes and possible misconceptions. In this dissertation, the limitations for feedback as well as the problem with classifying unknown URLs in anti-phishing learning games are addressed as follows: First, a review of existing learning games provides insights into their design and covered learning content. Its results are used in guiding the design and implementation of two new game prototypes. Here, the first game extends the before-mentioned binary decision mechanic and requires learners to sort URLs into one of many categories, depending on which manipulation technique was applied to a distinct part of the URL. The second game requires learners to apply different manipulation techniques and create their own malicious URLs using a puzzle mechanic. Next, the means of personalization for anti-phishing learning games are explored and a personalization pipeline is developed. By considering the learners’ familiarity with different services and dynamically creating benign and phishing URLs, the content of anti-phishing learning games can be personalized. To evaluate the new game prototypes as well as the application of the personalization pipeline, two comparative user studies are conducted in a between-group design with pre-, post- and longitudinal testing. In the first user study with 133 participants, both games are evaluated and compared to a baseline implementation. While participants of the new games did not perform significantly better than the control group, results show significant improvements in the participants’ performance and confidence between pre- and post-tests for all games, as well as notable differences when classifying URLs of unknown and known services. In the second user study with 49 participants, the personalization pipeline is integrated into one of the games, in order to compare its personalized and nonpersonalized version. Here, personalization enables the control of service familiarity and allows insights into how URLs of unknown services are handled within the game. While participants of the personalized game did not outperform the participants of its non-personalized version, the evaluation of in-game behavior provides insights into learners’ decision processes and possible problems or misconceptions. Furthermore, results of a longitudinal evaluation of all games and versions show that knowledge is retained since the participants perform still significantly better than in the pre-test. In all, this dissertation presents first approaches and research results in the domain of personalized anti-phishing learning games. Future work may entail redesigning anti-phishing learning games to incorporate further means of personalization and to understand how learner characteristics can be utilized in anti-phishing learning games.

OpenAccess:
PDF
(additional files)