Probabilistic evaluation of process model matching techniques


Kuss, Elena ; Leopold, Henrik ; Aa, Han van der ; Stuckenschmidt, Heiner ; Reijers, Hajo A.


[img]
Vorschau
PDF
KussER16.pdf - Veröffentlichte Version

Download (432kB)

DOI: https://doi.org/10.1007/978-3-319-46397-1_22
URL: https://madoc.bib.uni-mannheim.de/41112
Weitere URL: http://link.springer.com/chapter/10.1007/978-3-319...
URN: urn:nbn:de:bsz:180-madoc-411127
Dokumenttyp: Konferenzveröffentlichung
Erscheinungsjahr: 2016
Buchtitel: Conceptual modeling : 35th international conference, ER 2016, Gifu, Japan, November 14-17, 2016 : proceedings
Titel einer Zeitschrift oder einer Reihe: Lecture Notes in Computer Science
Band/Volume: 9974
Seitenbereich: 279-292
Veranstaltungsdatum: November 14-17, 2016
Herausgeber: Comyn-Wattiau, Isabelle
Ort der Veröffentlichung: Berlin [u.a.]
Verlag: Springer
ISBN: 978-3-319-46396-4 , 978-3-319-46397-1
ISSN: 0302-9743 , 1611-3349
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Fachgebiet: 004 Informatik
Freie Schlagwörter (Englisch): Process Model Matching , Non-binary Evaluation , Matching Performance Assessment
Abstract: Process model matching refers to the automatic identification of corresponding activities between two process models. It represents the basis for many advanced process model analysis techniques such as the identification of similar process parts or process model search. A central problem is how to evaluate the performance of process model matching techniques. Often, not even humans can agree on a set of correct correspondences. Current evaluation methods, however, require a binary gold standard, which clearly defines which correspondences are correct. The disadvantage of this evaluation method is that it does not take the true complexity of the matching problem into account and does not fairly assess the capabilities of a matching technique. In this paper, we propose a novel evaluation method for process model matching techniques. In particular, we build on the assessment of multiple annotators to define probabilistic notions of precision and recall. We use the dataset and the results of the Process Model Matching Contest 2015 to assess and compare our evaluation method. We found that our probabilistic evaluation method assigns different ranks to the matching techniques from the contest and allows to gain more detailed insights into their performance.




Dieser Eintrag ist Teil der Universitätsbibliographie.

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.




Metadaten-Export


Zitation


+ Suche Autoren in

+ Download-Statistik

Downloads im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen