Titel Story: Verbesserung der Erkennung fehlender Gebäude in OpenStreetMap durch Transferlernen mit wenigen Aufnahmen in sub-Saharan Afrika | Heidelberg Institute for Geoinformation Technology

Volume 26, Ausgabe 8 von Transactions in GIS, die im Dezember 2022 erschien, hat eine Titelgeschichte, und zwar einen unserer Artikel. Wir wollen darin nicht nur unsere Liebe zur Mathematik, zur Kartographie und zu Mosambik vereinen, sondern nun auch unseren kleinen Moment der Berühmtheit nutzen, um unseren Lösungsvorschlag für das Problem fehlender Kartographiedaten im globalen Süden zu erläutern. Lesen Sie weiter, um mehr über unsere Inspiration und unsere Methode zu erfahren und um eventuell sogar ein Autogramm zu erhalten (wenn Sie nett fragen).

Ausfüllen von Lücken

Was tun Sie, wenn Sie die Mittel, die Motivation und den Bedarf haben, aber nicht die Daten?

In einem innovativen Paper, das zum ersten mal in Transactions in GIS im Mai 2022 vorgestellt wurde, wendeten ein gemeinsames Team aus derzeitigen und ehemaligen Forschern von HeiGIT und GIScience, darunter Hao Li, Benjamin Herfort, Sven Lautenbach, Jiaoyan Chen, und Alexander Zipf eine neuartige Methode des „few-shot transfer learning“ (FSTL) auf das Problem der Verbesserung der Arbeitsabläufe im Bereich der humanitären Kartierung im globalen Süden an.

Trotz der jüngsten, dringend benötigten Fortschritte bei der Datenverfügbarkeit in den Entwicklungsländern durch humanitäre Kartierungskampagnen sind viele große ländliche Gebiete nach wie vor nicht kartiert, was die Routenplanung und andere Maßnahmen zur Vorbereitung und Reaktion auf Katastrophen behindert. Wie wichtig solche Routing-, Vorbereitungs- und Reaktionsmaßnahmen sind, zeigte unsere Arbeit bei den Überschwemmungen des letzten Jahres in Pakistan, die globale Abdeckung unserer Open Healthcare Access Karte, und unsere Veröffentlichung, die den Schaden verursacht durch Zyklon Idai auswertet.

Unser Team versucht das Problem mit der Geschwindigkeit und Effizienz dieser Arbeitsabläufe zu lösen, indem es die FSTL-Methode vorschlägt, um die Genauigkeit der OSM-Erkennung fehlender Gebäude zu erhöhen. Bereits mit nur einer Trainingsaufnahme hat der Ansatz beachtliche Erfolge gezeigt.

Figure 3 from paper: Maps of study areas: (1) the Tanzania training area for the base model (well-mapped in OSM); and (2)-(3) the target areas in Cameroon and Mozambique (completely missing in OSM). — Abbildung 3 des Papers: Karten der Untersuchungsgebiete: (1) das Trainingsgebiet in Tansania für das Basismodell (gut kartiert in OSM); und (2)-(3) die Zielgebiete in Kamerun und Mosambik (fehlen vollständig in OSM).

Das Wichtigste in Kürze

Das Team trainierte zwei gängige Modelle zur Objekterkennung (Faster R-CNN und SSD) in einem Trainingsgebiet in Tansania und übertrug das Modell auf Zielgebiete in Kamerun und Mosambik. Die FSTL-Methode verbesserte die Leistung des Basismodells bereits mit nur einer Trainingsaufnahme erheblich.

Sie erstellten auch erfolgreich eine rasterbasierte OSM-Karte fehlender Gebäude (DeepVGI) mit einer räumlichen Auflösung von 10 m und einer Gesamtgenauigkeit (ACC) von über 96 % und einem Matthews-Korrelationskoeffizienten (MCC) von 0,85 sowohl in Kamerun als auch in Mosambik. Solche Karten bieten ein großes Potenzial für die Auswertung und Schätzung der Gesamtvollständigkeit von OSM-Gebäuden zur Unterstützung humanitärer Kartierungsaktivitäten, insbesondere dort, wo andere Datensätze (z. B. Gebäude, Straßen) nicht verfügbar sind.

Abbildung 4 des Papers: Ergebnisse der instanzbasierten Gebäudedetektion in Kamerun. SSD: (a) das Basismodell; (c) das FSTL-Modell mit einer Aufnahme; (e) das FSTL-Modell mit 50 Aufnahmen. Schnelleres R-CNN: (b) das Basismodell; (d) das FSTL-Modell mit einer Aufnahme; und (f) das FSTL-Modell mit 50 Aufnahmen. TP bezieht sich auf korrekt erkannte Gebäudeinstanzen; FP bezieht sich auf von ML-Modellen erkannte Gebäudeinstanzen, die in dem Referenzlayer nicht vorhanden waren; FN bezeichnet die Gebäudeinstanzen, die in dem Referenzlayer abgebildet, aber von unseren ML-Modellen nicht erfasst wurden — Abbildung 4 des Papers: Ergebnisse der instanzbasierten Gebäudedetektion in Kamerun. SSD: (a) das Basismodell; (c) das FSTL-Modell mit einer Aufnahme; (e) das FSTL-Modell mit 50 Aufnahmen. Schnelleres R-CNN: (b) das Basismodell; (d) das FSTL-Modell mit einer Aufnahme; und (f) das FSTL-Modell mit 50 Aufnahmen. TP bezieht sich auf korrekt erkannte Gebäudeinstanzen; FP bezieht sich auf von ML-Modellen erkannte Gebäudeinstanzen, die in dem Referenzlayer nicht existierten; FN bezeichnet die in dem Referenzlayer abgebildeten Gebäudeinstanzen, die von unseren ML-Modellen nicht erfasst wurden.

Die mit der vorgeschlagenen FSTL-Methode erstellten OSM-Karten mit fehlenden Gebäuden (DeepVGI) wiesen in beiden Zielgebieten eine höhere Kartierungsgenauigkeit auf. Die vorgeschlagene FSTL-Methode erforderte nur wenige Trainingsaufnahmen (z. B. nur eine Aufnahme), um eine schnelle und bemerkenswerte Verbesserung der Genauigkeit zu erzielen. Die vorgeschlagene FSTL-Methode zur Wiederverwendung eines in abgelegenen Gebieten trainierten Gebäudeerkennungsmodells bietet eine vielversprechende Lösung für die bestehenden Herausforderungen der humanitären Kartierung.

ABBILDUNG 5 des Papers: Ergebnisse der instanzbasierten Gebäudedetektion in Mosambik. SSD: (a) das Basismodell; (c) das FSTL-Modell mit einer Aufnahme; (e) das FSTL-Modell mit 50 Aufnahmen. Schnelleres R-CNN: (b) das Basismodell; (d) das FSTL-Modell mit einer Aufnahme; (f) das FSTL-Modell mit 50 Aufnahmen; und (g) der Google Open Building Layer. TP bezieht sich auf korrekt erkannte Gebäudeinstanzen; FP bezieht sich auf von ML-Modellen erkannte Gebäudeinstanzen, die in dem Referenzlayer nicht vorhanden waren; FN bezeichnet die Gebäudeinstanzen, die in der Referenzlayer abgebildet, aber von unseren ML-Modellen nicht erfasst wurden. — Abbildung 5 des Papers: Ergebnisse der instanzbasierten Gebäudedetektion in Mosambik. SSD: (a) das Basismodell; (c) das FSTL-Modell mit einer Aufnahme; (e) das FSTL-Modell mit 50 Aufnahmen. Schnelleres R-CNN: (b) das Basismodell; (d) das FSTL-Modell mit einer Aufnahme; (f) das FSTL-Modell mit 50 Aufnahmen; und (g) der Google Open Building Layer. TP bezieht sich auf korrekt erkannte Gebäudeinstanzen; FP bezieht sich auf von ML-Modellen erkannte Gebäudeinstanzen, die in dem Referenzlayer nicht vorhanden waren; FN bezeichnet die Gebäudeinstanzen, die in der Referenzlayer abgebildet, aber von unseren ML-Modellen nicht erfasst wurden.

Derzeitige Beschränkungen

Das Team stellte drei Einschränkungen in dieser Fallstudie fest.

Die aktuelle Arbeit konzentrierte sich auf Gebiete, in denen OSM-Gebäude vollständig fehlten. Zukünftige Forschung ist erforderlich, um die vorgeschlagene Methode in Gebieten zu validieren, in denen Gebäude teilweise in OSM kartiert sind. In diesen teilweise kartierten Gebieten könnte man bestehende OSM-Gebäude direkt als FSTL-Trainingsaufnahmen betrachten und versuchen, die relative Vollständigkeit von OSM mithilfe einer ähnlichen DeepVGI-Layer auszuwerten.
Da die vorgeschlagene Methode nur in den afrikanischen Ländern südlich der Sahara umgesetzt und validiert wurde, fehlt noch ein globaler Überblick über die Anwendung einer solchen Methode in verschiedenen geografisch abgelegenen ländlichen Gebieten (z. B. städtischer Kontext, Klima, Vegetation, Siedlungsformen).
Sowohl das aktuelle Faster R-CNN als auch das SSD-Modell erkennen nur Bounding Boxen von Gebäuden, nicht aber deren Grundrisse. Weitere Forschungen ist deshalb von Nöten, um sich mit der Erweiterung der FSTL-Methode auf die automatische Extraktion von Gebäudegrundrissen in Vektorformaten auseinanderzusetzen, zum Beispiel unter Verwendung der Mask R-CNN-Architektur (He et al., 2017) und mit Nachbearbeitung ähnlich wie (Sirko et al., 2021).

Künftige Forschungsmöglichkeiten

Um die oben genannten Einschränkungen zu beseitigen, sollten zukünftige Arbeiten die in diesem Artikel vorgeschlagene FSTL-Methode übernehmen oder erweitern und in verschiedenen Richtungen weiter untersuchen.

Neben der Bewertung der relativen Vollständigkeit eröffnet die Verfügbarkeit von ML-generierten Layern (z. B. DeepVGI) neue Möglichkeiten, die klassischen OSM-Methoden zur Bewertung der extrinsischen Qualität zu überarbeiten (Hagenauer & Helbich, 2012; Hecht et al., 2013), die sich in der Regel auf externe Referenzdatensätze stützen.
Dank des Beitrags von Freiwilligen bietet die große Zahl der bereits fertiggestellten humanitären Kartierungsprojekte weltweit, zum Beispiel von MapSwipe App und HOT Tasking Manager (Herfort et al., 2021), einen guten Überblick über gefährdete ländliche Gebiete, die dringend in OSM kartiert werden müssen. Man könnte, die FSTL-Methode auf diese abgelegenen Gebiete ausdehnen und die Auswirkungen verschiedener Arten (oder Ebenen) von städtischen Kontexten auf die Modellleistung weiter untersuchen.
Bei der Überlegung, wie ML-Methoden am besten für OSM genutzt werden können, insbesondere in ländlichen Gebieten, haben die jüngsten Diskussionen in Mooney & Galvan (2021) und Vargas-Muñoz et al. (2020) wichtige Erkenntnisse aus der Perspektive der Fernerkundung oder der OSM-Gemeinschaft geliefert. Als intuitive Anwendung kann man die FSTL-Methode benutzen, um den Gesamtaufwand für die Kartierung aller fehlenden OSM-Gebäude abzuschätzen, und diese Faktoren dann bei der Organisation von humanitären Kartierungskampagnen und freiwilligen Beiträgen berücksichtigen.
Herfort et al. (2019) berichteten bereits über die inspirierende Erkenntnis, dass fortschrittliche ML-Algorithmen die Genauigkeit der derzeitigen humanitären Kartierungsmethode mit der MapSwipe-App verbessern und die Geschwindigkeit beschleunigen können. Eine weitere potenzielle Anwendung der FSTL-Methode könnte daher darin bestehen, menschliche Kartierer in ländlichen Gebieten zu unterstützen, indem sie ihnen Kartierungshinweise auf der Grundlage maschinell erzeugter Ergebnisse liefern, wie dies bereits mit dem RapiD-Tool von Facebook versucht wurde (RapiD, 2019).

In diesem Zusammenhang wollte das Team mit den in diesem Artikel gewonnenen Erkenntnissen die Notwendigkeit der maschinengestützten Kartierung unterstreichen. Unsere zukünftige Arbeit wird darauf abzielen intelligente OSM-Kartierungs-Workflows zu entwickeln, indem Menschen und Maschinen in einem Kreislauf zusammenarbeiten.

In einem Satz

Zusammenfassend lässt sich sagen, dass die in diesem Artikel gewonnenen Erkenntnisse den aktuellen humanitären Kartierungs-Workflow durch die effiziente Wiederverwendung bestehender ML-Modelle mittels „few-shot learning“ und die genaue Erkennung fehlender OSM-Gebäude in ländlichen Gebieten Afrikas südlich der Sahara erleichtern und beschleunigen.

Abbildung 7: Klassifizierungskarten der OSM-Erkennung fehlender Gebäude in Mosambik: (a) Das HRSL-Layer; (b) das GOB-Layer; (c) das Faster R-CNN-Basismodell; und (d) das Faster R-CNN FSTL-Modell mit fünfzig Aufnahmen, das sogenannte DeepVGI-Layer — Abbildung 7 des Papers: Klassifizierungskarten der OSM-Erkennung fehlender Gebäude in Mosambik: (a) Das HRSL-Layer; (b) das GOB-Layer; (c) das Faster R-CNN-Basismodell; und (d) das Faster R-CNN FSTL-Modell mit fünfzig Aufnahmen, das sogenannte DeepVGI-Layer.

Das vollständige Papier und alle Quellen:

Li, H., Herfort, B., Lautenbach, S., Chen, J. & Zipf, A. (2022). Improving OpenStreetMap missing building detection using few-shot transfer learning in sub-Saharan Africa. Transactions in GIS, 00, 1– 22. https://doi.org/10.1111/tgis.12941

Frühere verwandte Arbeiten:

Herfort, B., Lautenbach, S., Porto de Albuquerque, J., Anderson, J., Zipf, A. (2021): The evolution of humanitarian mapping within the OpenStreetMap community. Scientific Reports 11, 3037 (2021).
Pisl, J., Li, H., Lautenbach, S., Herfort, B., and Zipf, A. (2021): Detecting OpenStreetMap missing buildings by transferring pre-trained deep neural networks, AGILE GIScience Ser., 2, 39, AGILE-GISS – Detecting OpenStreetMap missing buildings by transferring pre-trained deep neural networks .
Geldsetzer, P.; Reinmuth, M.; O Ouma, P.; Lautenbach, S.; A Okiro, E.; Bärnighausen, T.; Zipf, A. (2020): Mapping physical access to health care for older adults in sub-Saharan Africa and implications for the COVID-19 response: a cross-sectional analysis The LANCET Healthy Longevity, Vol 1, Issue 1. Mapping physical access to health care for older adults in sub-Saharan Africa and implications for the COVID-19 response: a cross-sectional analysis
Li, H., Herfort, B., Huang, W., Zia, M., and Zipf, A. (2020): Exploration of OpenStreetMap Missing Built-up Areas using Twitter Hierarchical Clustering and Deep Learning in Mozambique. ISPRS Journal of Photogrammetry and Remote Sensing. Exploration of OpenStreetMap missing built-up areas using twitter hierarchical clustering and deep learning in Mozambique
Herfort, B., Li, H., Fendrich, S., Lautenbach, S., Zipf, A. (2019): Mapping Human Settlements with Higher Accuracy and Less Volunteer Efforts by Combining Crowdsourcing and Deep Learning. Remote Sensing 11(15), 1799. Mapping Human Settlements with Higher Accuracy and Less Volunteer Efforts by Combining Crowdsourcing and Deep Learning
Li, H., Herfort, B., Zipf, A. (2019): Estimating OpenStreetMap Missing Built-up Areas using Pre-trained Deep Neural Networks. Proceedings of the 22nd AGILE Conference on Geographic Information Science, Limassol, Cyprus.
Zipf, A, Chen, J. (2017): Humanitarian Mapping with Deep Learning and Volunteered Geographic Information. BIG 2017 (BigData Innovators Gathering). Perth. co-located with WWW2017.
Chen, J., Y. Zhou, A. Zipf and H. Fan (2018): Deep Learning from Multiple Crowds: A Case Study of Humanitarian Mapping. IEEE Transactions on Geoscience and Remote Sensing (TGRS). 1-10. https://doi.org/10.1109/TGRS.2018.2868748
Barron, C., Neis, P. & Zipf, A. (2013): A Comprehensive Framework for Intrinsic OpenStreetMap Quality Analysis. Transactions in GIS, DOI: 10.1111/tgis.12073.

Generelle Übersicht:

Yan, Y., C. Feng, W. Huang, H. Fan, Y. Wang & A. Zipf (2020): Volunteered geographic information research in the first decade: a narrative review of selected journal articles in GIScience. International Journal of Geographical Information Science, DOI: 10.1080/13658816.2020.1730848
Degrossi L.C., J. Porto de Albuquerque, R. dos Santos Rocha, A. Zipf (2018): A taxonomy of quality assessment methods for volunteered and crowdsourced geographic information. Transactions in GIS (TGIS). Wiley. DOI:10.1111/tgis.12329.
Jokar Arsanjani, J., Zipf, A., Mooney, P., Helbich, M. (Eds.)(2015): OpenStreetMap in GIScience: Experiences, Research, and Applications. Series: Lecture Notes in Geoinformation and Cartography. 2015, VII, 373 p. Sringer Science. Heidelberg, Berlin. ISBN 978-3-319-14279-1