Path 2Combined Shapecheckclipboardfacebookgithubglue icongoogle-plusinstagramlinkedinGroupsearchselectslideshareFill 57Group 3Group 2twitteryoutube
Menu
NL
Vrs Bachelorproef

Beeld: Kan een VRS gebruikt worden voor het beschrijven van historische foto’s? CC BY Nastasia Vanderperren; Beeld: Huis van Alijn

PACKED: beeldherkenning voor het beschrijven en classificeren van foto's van Huis van Alijn

Van 2015 tot 2019 studeerde PACKED-medewerker Nastasia Vanderperren Toegepaste Informatica aan Hogeschool Gent. In september studeerde ze af met een bachelorproef die onderzocht of beeldherkenningservices (VRS) collectiemedewerkers kunnen ondersteunen bij het beschrijven van cultureelerfgoedobjecten. Vandaag worden VRS namelijk getraind met hedendaagse beelden, dus weten we niet hoe goed ze zijn in het beschrijven van historische beelden. Nastasia gebruikte de collectie Anonieme snapshots van Huis van Alijn als testcase om de onderzoeksvraag te beantwoorden.

De Vlaamse musea hebben een historische achterstand op het vlak van de registratie van hun eigen collectie. De metadata blijven meestal beperkt tot formele (identificerende) en administratieve gegevens die nodig zijn voor het beheer van de collectiestukken. Registratie is immers tijdrovend werk dat door domeinexperten gedaan wordt. Voor het beschrijven van inhoudelijke informatie zoals afgebeelde personen of objecten, emoties en sfeer ontbreekt het musea aan tijd en personeel.

Bovendien worden steeds meer collectiestukken gedigitaliseerd. Het zoeken of vinden van die digitale beelden wordt heel moeilijk als je geen gebruik kunt maken van trefwoorden, dus is het belangrijk dat ze voorzien worden van metadata of tags. Ook voor dit werk ontbreekt het de musea aan tijd en mankracht. Het gevolg is dat musea over steeds meer fotografische registraties beschikken die niet of moeilijk ontsloten of gebruikt kunnen worden.

Daarom werd onderzocht of artificiële intelligentie (AI) de collectiemedewerker kan bijstaan in het beschrijven van de cultureelerfgoedcollecties. Beeldherkenningsservices (VRS) zijn er de laatste jaren enorm op vooruitgegaan en worden ook steeds eenvoudiger in gebruik. Aan de hand van één gekozen VRS (Clarifai) ging Nastasia na of het ingebouwde model van de service voldoende is voor de beschrijving van de beelden en of de software eenvoudig te trainen is voor andere taken.

Onderzoek

Huis van Alijn heeft een grote fotocollectie over het dagelijkse leven in België in de twintigste eeuw ingedeeld in thema’s (bv. Huwelijk, Vakantie en Speelgoed) en periodes (bv. jaren ‘50 of ‘60). Om de foto’s te kunnen ontsluiten of doorzoeken, kunnen de metadata een idee geven van wat er op het beeld staat. Beeldherkenning inschakelen om de beelden te voorzien van beschrijvende metadata en in te delen in het juiste thema en periode, zou een grote hulp zijn.

Nastasia onderzocht drie use cases:

  1. Het automatisch metadateren van iedere foto door het ingebouwde model van de VRS. Deze metadata werden vergeleken met de bestaande beschrijvingen van de museumregistratoren.
  2. Het classificeren van de foto’s in de thema’s van Huis van Alijn. Hiervoor werd de VRS getraind. Er werd ook onderzocht of die classificatie gedaan kan worden op basis van een combinatie van de tags uit de eerste use case.
  3. Het indelen van de foto’s in het decennium waarin ze gemaakt werden. Ook hiervoor werd de VRS getraind.

Resultaten

De VRS bleek erg geschikt te zijn om twee van de drie use cases van Huis van Alijn uit te voeren. Ongeveer 70% van de tags die de VRS aanleverde, waren correct. Hij scoorde vooral goed op universele thema's, zoals geboorte, huwelijk en vakantie. Een van de sterktes van een VRS is dat hij heel andere termen geeft dan gangbaar zijn in de registratiepraktijk, zoals termen die de sfeer, emoties en kleur van de foto's beschrijven. Op dat vlak vullen ze de registrator goed aan. De VRS scoorde ondermaats op foto's van lokale tradities, zoals Sinterklaas. Hierbij voel je wel dat de gebruikte VRS in de Verenigde Staten gemaakt is en hij lokale concepten bijgevolg niet kent.

Ook voor het classificeren van de foto’s per thema volstond het ingebouwde model van de VRS niet. Wanneer de VRS getraind werd om foto’s in te delen volgens thema, bleek hij hier wel erg performant voor te zijn (bijna 90% correct). Voor het classificeren van de foto's volgens decennium was de trainingset te beperkt. Een pijnpunt tijdens het trainen was immers de kleine en ongelijke dataset. Dit is echter een gangbaar fenomeen in erfgoedcollecties.

YGc2VTDWNOn3pjr6beSJ_Gq3jcrB5tMc1WBS0FwmphNMraUUuMFWB1tfsEj5jzT5WeucoBa9U9-BLMcp1FJc9NxeMUnUD-70_Ev--ZIrsdftRn_j_D6sHQmB7NXUbcSIuJQFK2ef

Beeld: Kan een VRS gebruikt worden om historische foto’s te classificeren volgens thema? CC BY Nastasia Vanderperren

Meer weten?

> presentatie over het onderzoek

> de volledige bachelorproef

Vlaanderen - Verbeelding werkt