Multimodale Analyse von Nachrichtenartikeln

URL: https://labs.tib.eu/newsanalytics

Dieses Tool dient zur multimodalen Analyse von Nachrichtenartikeln und bewertet die Wahrscheinlichkeit des intermodalen Auftretens von Entitäten in Text- und Bildinformationen. Es nutzt Verfahren der natürlichen Sprachverarbeitung um Personen, Orte und Events aus Nachrichtentexten zu extrahieren. Durch eine Websuche werden automatisch geeignete Bilder für die im Text genannten Entitäten von Microsoft Bing heruntergeladen und anschließend mit dem Nachrichtenbild verglichen. In diesem Zusammenhang werden aktuelle Verfahren aus dem Bereich des maschinellen Sehens zur Extrahierung von visuellen Informationen angewendet, welche schließlich zur Bewertung des intermodalen Auftretens der Entitäten genutzt werden. Das Tool ermöglicht Nutzer*innen das Auftreten von Personen, Orten und Events in Nachrichtentext und -bild zu bewerten um somit Nachrichtenmeldungen hinsichtlich intermodaler Beziehungen zu analysieren und in Ausnahmefällen sogar Falschinformationen zu erkennen.

Das Tool basiert auf der Publikation:

Eric Müller-Budack, Jonas Theiner, Sebastian Diering, Maximilian Idahl, und Ralph Ewerth. 2020. Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency. In Proceedings of the 2020 International Conference on Multimedia Retrieval (ICMR '20). Association for Computing Machinery, New York, NY, USA, 16–25. Best Paper Award. DOI: https://doi.org/10.1145/3372278.3390670