Artifacts of Memory blogpost № 1/5 (introductie & voortgang apr — sep 2020)
Zoeken in digitaal erfgoed op basis van visuele metadata
Het Stimuleringsfonds Creatieve Industrie biedt Superposition door middel van financiële ondersteuning de kans om het project Artifacts of Memory te ontwikkelen tot een volwaardige smartphone applicatie. Meer over de subsidieregeling genaamd “Digital Heritage x Public” leest u hier. Door middel van deze blog stellen wij geïnteresseerden graag op de hoogte van de voortgang die wij de komende maanden zullen maken.
Binnen Artifacts of Memory onderzoekt Superposition hoe gedistribueerde audiovisuele erfgoedobjecten door middel van de cinematische overeenkomsten aan elkaar gekoppeld kunnen worden. Met Artifacts of Memory kan de gebruiker op een taal- overstijgende manier zoekopdrachten uitvoeren in zijn of haar eigen omgeving en zelf nieuwe narratieven samen stellen door objecten uit uiteenlopende, erfgoedinstellingen aaneen te schakelen.
Het project brengt de volgende partijen bijeen: Superposition, Groninger Archieven, het Nederlands Instituut voor Beeld en Geluid, VPRO Tegenlicht en Het Nieuwe Instituut.
De miljoenen uren erfgoedmateriaal die opgeslagen liggen in de nationale en regionale audiovisueel archieven zoals dat van Beeld en Geluid en Groninger Archieven vormen een belangrijk onderdeel van het collectieve geheugen van Nederland. Ze zijn daarom van onschatbare waarde voor het bewaren en onderzoeken van onze culturele geschiedenis.
Op veel van deze online audiovisuele erfgoedplatforms wordt de gebruiker echter nog altijd gevraagd het archief te doorzoeken op basis van een tekstuele zoekterm. Deze exclusieve focus op tekst-gebaseerd zoeken laat volgens Superposition waardevolle nieuwe technische mogelijkheden die kunnen leiden tot innovatief hergebruik onbenut. Dit gegeven is de voornaamste aanleiding voor het project Artifacts of Memory.
Om te illustreren hoe dit volgens Superposition een grote drempel opwerpt tijdens een (eerste)kennismaking met dit soort digitale erfgoed items citeren we een passage van Mitchell Whitelaw uit zijn paper “Generous Interfaces for Digital Cultural Collections”.
“Imagine yourself outside an art gallery in a far-off city, with a collection you don’t know well. You enter the building to find a small, drab lobby with an attendant at a desk. The attendant asks you to enter your query on a small slip of paper. Not knowing the collection, and not seeking anything in particular, you write down something arbitrary, and pass it over. The attendant disappears for a moment before returning with a line of artworks sitting on trolleys. These are paraded, ten at a time, through the lobby. You can submit another query at any time, calling forth more trolleys, but there seems to be no way to explore the gallery beyond this small lobby.”
Artifacts of Memory zal drie resultaten opleveren:
- de AR softwareapplicatie die onze gebruikers middels een smartphone in staat stelt om in hun eigen vertrouwde omgeving en in het Nederlandse landschap collecties te doorzoeken op basis van niet-tekstuele kenmerken als vormen, vlakken en lijnen.
- open source software voor extraheren van onze visuele metadata.
- inzichten over het creatief inzetten van visuele metadata in de ontwikkeling van een generous interface om een groot publiek op een intuïtieve en taaloverstijgende manier kennis te laten maken met digitaal erfgoed.
De impact van Artifacts of Memory is tweedeling. Ten eerste creëren we een unieke en laagdrempelige gebruikerservaring waarmee een breed publiek op een speelse manier door het rijke landschap van het digitale audiovisuele erfgoed kan navigeren. Door het gebruik van Augmented Reality maakt de gebruiker op een fysieke en ruimtelijke manier kennis met het geheugen van Nederland zoals dat in beelden is vastgelegd. Ten tweede stelt het project de gebruiker in staat verbindingen te leggen tussen collecties van verschillende nationale en regionale audiovisuele erfgoedinstellingen.
Fase 1 + Voortgang
In deze eerste fase van het project gaan wij aan de slag met het verzamelen van geometrische elementen uit archief video’s. Deze beeld-eigenschappen zullen we in het digitaal audiovisueel materiaal moeten herkennen door gebruik te gaan maken van computer vision software welke we zullen moeten ontwikkelen en trainen om vormen, vlakken en lijnen waar te nemen.
De verschillende algoritmen waarmee we in de realisering onder andere zullen experimenteren zijn; (1) Edge Detection, (2) Image Segmentation, (3) Object Recognition en (4) Neural Best Buddies. Deze algoritmen behoren tot de familie van computer vision algoritmen. Dit domein van algoritmen houdt zich voornamelijk bezig met de manier waarop men computers kan trainen om digitale beelden en video’s te “zien” en te “begrijpen”. Samen met Nanne van Noord (Nederlands Instituut voor Beeld en Geluid) gaan we onderzoeken hoe deze technieken samen en tegelijkertijd gebruikt zouden kunnen worden om efficiënter en sneller de gewenste visuele metadata te verzamelen.
Blog
Update Donderdag 18 juni, 2020
AR
In April en Mei zijn wij direct van start gegaan met onze eerste stappen in AR. We hebben een applicatie gebouwd in Unity die herkenningspunten in de omgeving van de gebruiker traceert die binnen ons concept gebruikt kunnen worden om video’s in de virtuele ruimte te plaatsen.
De komende periode zullen wij werken aan de herkenning van “planes” en surfaces. om een virtueel object vrij nauwkeurig en vast te plaatsen in de virtuele omgeving.
Update Woensdag 23 september, 2020
Logistiek
Gedurende de maanden juni, juli, augustus en september hebben wij ons samen met onze partners het Instituut voor Beeld en Geluid (Nanne van Noord) en Groninger Archieven (René Duursma) o.a bezig gehouden met het ontwikkelen en inrichten van een wijze waarop Archief Items op een efficiënte wijze met elkaar kunnen worden uitgewisseld. Zo uploadde René Duursma bijvoorbeeld 3200 Archief items op een FTP server zodat wij en Nanne van Noord de materialen eenvoudig kunnen downloaden.
Edge Detection
In overleg met Superposition is Nanne van Noord aan de slag gegaan met een eerste selectie van deze audiovisuele archief materialen. Allereerst heeft hij stills uit de archief video’s geëxtraheerd van Groninger Archieven. Als vingeroefening en om gevoel te krijgen bij het materiaal heeft Superposition steekproefsgewijs een aantal video stills met de hand geanalyseerd op de aanwezigheid van lijnen.
Vervolgens heeft Nanne een start gemaakt met het detecteren van lijnen in deze video-stills. Onderstaand voegen wij de eerste visuele resultaten van dit experiment toe. Deze eerste verkenningen op het gebied van lijn-herkenning gebeuren op basis van een Computer Vision algoritme genaamd “Edge-detection”. De komende periode zullen wij diverse andere Computer Vision algorithms gaan testen om lijnen waar te nemen in de video-stills.
AR Applicatie
Voortbordurend op de stappen die we hebben gezet in April en Mei hebben wij de afgelopen periode verder gewerkt aan de AR applicatie. Wij hebben vooral gewerkt aan de herkenning van “planes” en “surfaces”.
Op het moment werkt dit al vrij nauwkeurig. Het herkennen van deze oppervlakten (binnen en buiten) is van belang om de archief-items in een later stadium nauwkeurig te plaatsen in de virtuele omgeving van een gebruiker. Veelbelovende tests dus!
In deze fase werken we ook nog veel met eenvoudige bestaande 3-D modellen die ons in staat stellen om de nauwkeurigheid van de plaatsing en de “reach” van de AR-applicatie te testen. Zie bijgaand bijvoorbeeld de video waarin we de kubus vastzetten boven ons bureau of de video waarin er virtuele bomen groeien op de “surfaces” van onze studio.
Interface, Gebruik en Design
Ook hebben wij ons de afgelopen periode bezig gehouden met een onderzoek naar de gebruikerservaring. Hierin zijn we grondig aan het onderzoeken hoe we de gebruiker van onze applicatie een “zoekterm” laten kiezen. De mogelijke zoektermen dienen zich aan op basis van lijnen die (zo real-time als mogelijk) door camera in het device van de gebruiker worden waargenomen. Gedurende deze visuele exercitie proberen we antwoord te vinden op de vraag: Hoe geef je de waargenomen lijnen weer en biedt je de gebruiker de mogelijkheid om ze te selecteren als zoekopdracht.
Tot slot is Superposition aan het onderzoeken hoe en in welke vorm een zoekresultaat in AR aan de gebruiker gepresenteerd kan worden. Momenteel hebben wij het gevoel dat de wijze van presenteren niet te “plat” moet zijn om de resultaten genoeg te differentiëren van de omgeving waarin ze worden geplaatst.
Ook spreekt het idee ons aan waarin we de initiële zoekresultaten presenteren als zwevende “munten” die verzameld dienen te worden. Zo kunnen we de ervaring op een fijne manier aantrekkelijk maken door deze iet wat te “gamifien”.
