Artifacts of Memory blogpost № 4/4 ( voortgang feb — jun 2021)

Zoeken in digitaal erfgoed op basis van visuele metadata

Het Stimuleringsfonds Creatieve Industrie biedt Superposition door middel van financiële ondersteuning de kans om het project Artifacts of Memory te ontwikkelen tot een volwaardige smartphone applicatie. Meer over de subsidieregeling genaamd “Digital Heritage x Public” leest u hier. Door middel van deze blog stellen wij geïnteresseerden graag op de hoogte van de voortgang die wij de komende maanden zullen maken.

Binnen Artifacts of Memory onderzoekt Superposition hoe gedistribueerde audiovisuele erfgoedobjecten door middel van de cinematische overeenkomsten aan elkaar gekoppeld kunnen worden. Met Artifacts of Memory kan de gebruiker op een taaloverstijgende manier zoekopdrachten uitvoeren in diens eigen omgeving en zelf nieuwe narratieven samen stellen door objecten uit uiteenlopende erfgoedcollecties aaneen te schakelen.

Aanvullend op onze eerdere post bieden wij in deze nieuwe post een inkijk in de stappen die we vanaf februari 2021 hebben gezet.

Implementatie lijndetectie als prototype
Rond januari 2021 zijn we begonnen met het implementeren van de aanpak voor lijndetectie in onze app. De tests waarin we de lijndetectie in real-time uitvoerden op de camerabeelden van een smartphone waren in februari 2021 veelbelovend.

Doorloop volledige gebruikerservaring
Eind februari hebben we uitgebreid onderzocht hoe een gevonden zoekresultaat gepresenteerd zou kunnen worden aan de gebruiker. We onderzochten of we middels augmented reality een portaal konden creeëren waar de gebruiker virtueel in zou kunnen stappen om het gevonden erfgoeditem te bekijken. (Lees blog 3/4 hier)

In samenspraak met onze projectpartner Beeld en Geluid besloten wij een stap terug te doen en ons de komende tijd eerst te focussen op het volledig doorlopen en prototypen van een complete gebruikerservaring. Een ervaring waarin de gebruiker non-stop in real-time zoekresultaten gepresenteerd krijgt op basis van gedetecteerde lijnen uit zijn of haar omgeving.

Start met analyse van 280.000 frames
Voor we begonnen met het inrichten en testen van deze gebruikerservaring analyseerden wij eerst 280.000 frames uit video’s van de Groninger Archieven op de aanwezigheid van duidelijk herkenbare lijnen. Zo vonden we voor iedere hoek uit een cirkel meerdere resultaten. Door de analyse een aantal keer uit te voeren met verschillende parameters (hier lees je meer over in vorige blogs) kregen we inzicht in hoe we de dataset konden “shapen”.

De lengte van de lijn visualiseert per graad in een cirkel de hoeveelheid beschikbare zoekresultaten

Vingeroefeningen in 360 graden
Terwijl wij werkten aan het prototype om de complete gebruikerservaring te doorlopen hadden we plots een erg rijke collectie aan frames in handen waarin duidelijk herkenbare lijnen te zien zijn. Wij konden het niet laten om met deze dataset te experimenteren. Dit experiment bleek waardevol te zijn.

Het spiegelen van de zoekresultaten levert een kaleidoscoopeffect op
Gefixeerde lijn, waarbij het beeld tegen de rotatie in draait

De zoekresultaten begonnen aan te voelen als een materiaal waarmee wij, maar ook de gebruiker van onze uiteindelijke applicatie, nieuwe video’s kunnen maken. Vooral de snelheid waarin de zoekresultaten elkaar opvolgden zorgde voor een vloeiende stop-motionachtige kwaliteit. De nieuwe video’s die ontstaan zijn geheel opgebouwd uit afzonderlijke frames afkomstig uit het archief.

In het eerstvolgende experiment geven we de gebruiker in een kleine applicatie controle over de richting van de zoekterm. Hij of zij kan deze zelf roteren over een volledige 360 graden. Hiermee bedient de gebruiker de animatie die op het scherm ontstaat.

Circulaire zoekresultaten handmatig bediend op de smartphone

Een lijn, twee verbonden punten
Wanneer men een lijn onder de loop neemt is het niets anders dan twee punten die op een bepaalde afstand van elkaar en onder een bepaalde hoek van elkaar verbonden worden. Volgens Wikipedia: Een lijn is een eendimensionale structuur bestaande uit een aaneenschakeling van punten. Een lijnstuk is de kortste verbinding tussen twee punten.

Impressie van de gebruikerservaring waarbij men met twee vingertoppen door de archiefitems kan navigeren

Voortbordurend op deze definitie bouwden we een kleine applicatie die op de aanraking van vingers reageert. De eerste vinger op het scherm van de smartphone wordt beschouwd als het eerste punt. Met de tweede vinger op het scherm worden de vingertoppen van de gebruiker verbonden door een lijn uit het audiovisuele archief van Beeld en Geluid of Groninger Archieven. Dit levert een speelse interactie op die niet snel verveelt.

Onderzoek fysieke installatie Artifacts of Memory
Als vervolgstap hebben wij geprobeerd het experiment fysieker te maken. Na de constatering dat een lijn niets anders is dan twee punten (of wijsvingers) die worden verbonden zijn we het experiment toe gaan passen op een webcam. Dit resulteert in een vloeiende interactieve installatie die loskomt van het beeldscherm en reageert op de bewegingen en de posities van handen.

Vorderingen oorspronkelijk applicatie concept
Gedurende de waardevolle experimenten zijn we ook blijven werken aan het oorspronkelijke concept. Een applicatie die wordt gevoed door de camera van een smartphone, waarin we lijnen uit de omgeving van de gebruiker matchen met lijnen in de archiefitems.

Na het zien en het spelen met de vloeiend animerende experimenten hierboven voelt deze gebruikservaring wat hakkelig aan. Wij geloven echter dat we een duidelijke tempo wisseling moeten toepassen op de verschillende manieren van interactie. In de volgende stappen die we gaan zetten zijn wij van plan veel minder zoekresultaten aan te bieden in de camera ervaring, zodat deze enkel hele goede matches laat zien en in gebruik dus minder zal lijken op de animatie-interacties.

Verder willen we de resultaten ook meer in de ruimte van de gebruiker gaan plaatsen door gebruik van AR.

Samenvoegen van experimenten in één app?
Zoals je ziet biedt de wijze waarop wij visuele metadata toevoegen aan de archiefmaterialen ontzettend veel nieuwe mogelijke manieren om op innovatieve wijze door een audiovisueel archief te navigeren.

Wij zouden dan ook graag doorgaan met deze experimenten en zien hoe en of wij binnen dit project meerdere wijzen van interacties kunnen samenvoegen in één app.

--

--

--

We explore possibilities for an emotive and expressive relationship with the digital world through technology, code and design.

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
Superposition

Superposition

We explore possibilities for an emotive and expressive relationship with the digital world through technology, code and design.

More from Medium

Florals and Fountains

Embedded System : Setting Up & Blinking LED on ESP32

EULER.FINANCE іs a revolutionary DEFI tool . Cheap, Safe and Secure. How it works?

This title is health…