Kunstmatige intelligentie in Mediavormgeving en mediamaken
KI heeft een aanzienlijke impact op het dossier mediavormgeving en mediamaken en speelt een steeds grote rol in verschillende aspecten van het creatieve aspect. Een deel hiervan wordt namelijk geautomatiseerd door KI. Zo wordt KI gebruikt om beeld- en videobewerkingstools te verbeteren en te versnellen. Bijvoorbeeld, KI-aangedreven tools kunnen automatisch objecten verwijderen, gezichten vervagen, kleuren corrigeren en achtergronden veranderen.
Ook wordt KI gebruikt voor geautomatiseerde bijsnijding en het optimaliseren van beeld- en videoformaten voor verschillende platformen.
Daarnaast wordt KI gebruikt om ontwerphulpmiddelen te creëren die mediavormgevers helpen bij het genereren van unieke ontwerpen en visuals. Dit omvat het gebruik van generatieve modellen om nieuwe beeldstijlen te creëren, automatische kleurharmonisatie en compositie-assistenten. Hier hoort ook het automatisch genereren van inhoud bij, zoals tekst, beeldmateriaal en muziek. Dit is vooral handig bij het maken van eenvoudige en repeterende taken, zoals het genereren van rapporten, het maken van grafieken en het componeren van achtergrondmuziek.
Ook wordt KI ingezet om aanbevelingssystemen te ontwikkelen die creatieve professionals helpen bij het ontdekken van nieuwe ideeën, inspiratie en stijlen. Deze systemen kunnen helpen bij het identificeren van relevante bronnen en vergelijkbaar werk van andere kunstenaars.
Verder kan er met behulp van KI-technologie zoals spraakherkenning en natuurlijke taalverwerking worden gebruikt om automatisch ondertiteling te genereren voor video's, wat handig is voor toegankelijkheid en het bereiken van een breder publiek. KI-aangedreven tekst-naar-spraak-technologieën wordt gebruikt om teksten om te zetten in gesproken audio met verschillende stemmen en stijlen. Dit is nuttig voor voice-overs in video's, podcasts, e-learningmodules en meer.
KI heeft dus een brede toepassing in Mediavormgeving en mediamaken, waarbij het de creatieve processen kan versnellen, verbeteren en verrijken. Het stelt mediaprofessionals in staat om meer tijd te besteden aan creatieve expressie en innovatie, terwijl routinetaken worden geautomatiseerd.
Toepassingen
-
Wat houdt het in?
Met een KI-toepassing voor search engine optimizers kun je de relaties tussen sites, inhoud van pagina's, en zoekmachinerankings analyseren. Je kunt dit op verschillende manieren inzetten:
- Kansen identificeren. De juiste onderwerpen bepalen om met inhoud aan te sluiten op de doelgroep. Kunstmatige intelligentie identificeert trending onderwerpen in een branche en signaleert gaten in de markt om de effectiefste onderwerpen voor de content te bepalen.
- Geoptimaliseerde conversie. Niet alle bezoeken aan websites zorgen dat gebruikers bestellingen plaatsen of gewoon een e-mailadres achterlaten; alleen het juiste verkeer resulteert in conversies en een duurzaam contact. KI biedt on-page-optimalisaties om ervoor te zorgen dat de pagina's de doelen bereiken waar het bedrijf naar op zoek is.
- Inhoud vernieuwen. De meeste contentpagina’s houdt men niet (altijd) bij. Gebruik daarom dynamische optimalisatie-updates en vernieuwde links, geleverd door KI, en de link nieuwe content om pagina's sneller te laten ranken.
- Automatisering. De zoekoptimalisatie automatiseren (BrightEdge, z.d.).
“Bijvoorbeeld Drukwerkdeal, dat zijn fuiken van data, omdat iedereen daar bestelt. Zij kunnen veel beter bepalen hoe ze gaan inkopen. Dat kan KI-software voor ze uitrekenen. Ze kunnen zelfs bepalen welke machines ze moeten gaan kopen en welke markten ze moeten bedienen.”
– Alex Kunst, communicatiespecialistInput
-
Tekstuele gegevens
Technologie
-
Data mining
Output
-
Suggestion
-
Wat houdt het in?
Open AI is een ver ontwikkelde KI toepassing die allerlei content kan genereren. Het behoort dan ook tot generatieve KI. Zo is het mogelijk stockfoto’s en realistische of kunstzinnige afbeeldingen van mensen, dieren, natuur, producten en meer te creëren door slechts een korte beschrijving. Deze toepassing kan op basis daarvan binnen enkele seconden de gewenste content genereren. Dit heet in de praktijk open AI (Arnold,2023). Open KI-beelden zijn een nieuw type machinaal gegenereerde beelden, geproduceerd door kunstmatige intelligentie en machinaal leren. Je gebruikt ze om verschillende en unieke visuele beelden te creëren, die je voor veel verschillende projecten kunt gebruiken (Hotpot.ai, z.d.) (Arnold, 2023).
Open KI-afbeeldingen kun je gebruiken als sjablonen voor digitale illustraties, voor websites, als afbeeldingen voor ontwerpprojecten, het maken van 3D-modellen, animaties of videospelletjes. Open KI heeft verschillende hulpmiddelen ontwikkeld waarmee gebruikers kunnen experimenteren met de gegenereerde beelden om hun eigen versie van het beeld te maken. Zo heeft museum het Mauritshuis een nieuwe versie van het Meisje met de parel gegenereerd. Meer weten over de kunsttoepassing in museum het Mauritshuis en zien wat expert Erdinç Saçan ervan vindt? Bekijk deze video!
Input
-
Tekstuele gegevens
Technologie
-
Tekst mining
Output
-
Automation
-
-
Wat houdt het in?
Er zijn verschillende platforms die KI-videogeneratoren aanbieden. Ze werken alle via het invoeren van een prompt, tekst of script, waarna je in verschillende platforms kunt kiezen voor een template, branche, sjabloon, etc. Zo beslis je als maker welke stijl geschikt is voor de video en hoe die er uiteindelijk uit komt te zien. Daarnaast kun je kiezen voor een videostijl, avatar of stemstijl als dit gewenst is in de video. Vervolgens zal het KI-systeem de video genereren en kun je de video bij sommige tools aanvullen met (stock)beelden, muziek, teksten, etc. (Yalalov, 2023). Graag een uitgebreide uitleg? Bekijk deze video!
Video’s genereren kan op verschillende manieren van toepassing zijn in het werkveld, zoals voor het ontwikkelen van een (videocontent)marketingstrategie voor een bedrijf. KI-videogeneratoren maken het gemakkelijk om video’s te maken van elke tekst. In slechts een paar minuten kun je video’s op hoog niveau maken, waarin een avatar de geschikte informatie presenteert (Kasparova, 2023). Voorbeelden van een tekst to video generator zijn Stabiele verspreidingsvideo’s, Deforum stabiele diffusie, VEED.io en Ontwerpen.KI.
Input
-
Tekstuele gegevens
-
Visuele gegevens
Technologie
-
Computer vision
-
Proces mining
Output
-
Automation
-
-
Wat houdt het in?
Deepfake is een technologie die gebruikmaakt van kunstmatige intelligentie om realistische nepvideo's, audio's of afbeeldingen te genereren. Het is een samentrekking van de termen "deep learning" en "fake." Met deepfake-technologie kunnen gezichten en stemmen van mensen in bestaande media worden vervangen door die van andere personen, waardoor het lijkt alsof de persoon in de nepcontent dingen zegt of doet die in werkelijkheid nooit hebben plaatsgevonden.
“Voor het deepfakeproces hebben we veel beeldinformatie, gezichten, nodig. Aan de hand van al die beelden van gezichten gaat een computer rekenen; we noemen dat trainen. De computer probeert dingen te verbinden en kan dat ook meenemen naar de volgende ‘ronde’. Dus hij leert van het proces en onthoudt dat en kan zichzelf daarin sturen. Hij vergelijkt het continu met wat het zou moeten zijn. Stel: je hebt veel beelden van een appel, dan controleert die continu, lijkt mijn appel nog op een appel? Soms gaat dat fout en stuurt die dat bij.”
– Bob de Jong, deepfake- en AI-artist bij Revel AI.Deepfakes kunnen verschillend worden ingezet. Hoe zou het bijvoorbeeld zijn geweest als bij de BOOS-uitzending over seksueel grensoverschrijdend gedrag bij televisieprogramma The Voice niet de stemmen van de slachtoffers waren vervormd en niet alleen hun schaduw was getoond, maar als dit synthetische personen waren? De e-mails en brieven werden immers ook al voorgelezen door acteurs. Anno 2022 is het gebruik van de deepfake hiervoor nog maar een kleine stap. Het MIT-rapport schrijft dat je ook deepfakes kunt inzetten tegen onrecht, zoals in de film Welcome to Chechnya waar deepfakes worden gebruikt om de identiteit van vervolgde LHBTQ+-Tsjetsjenen te beschermen. De regisseur vond meerdere queeractivisten in NYC die "hun gezicht uit wilden lenen" aan het project als een activistisch gebaar (Vreekamp,2022).
Input
-
Visuele gegevens
Technologie
-
Computer vision
Output
-
Automation
-
-
Wat houdt het in?
Tekst-naar-code-conversie is mogelijk door generatieve KI. KI-geoptimaliseerde codegeneratoren zijn in staat codes aan te vullen en aangepaste modelsuggesties te doen (Dilmegani, 2023). Een voorbeeld hiervan is de GPT-4 die van een schets op een papiertje een functionele website (HTML/CSS/JS) maakt. Dus je maakt een schets op papier, maakt een foto daarvan en GPT-4 schrijft vervolgens de (werkende) code om die website te maken. Wanneer je dit idee extrapoleert, zijn de mogelijkheden enorm. Websitebouwers opgelet (Jarno,2022).
Input
-
Tekstuele gegevens
Technologie
-
NLP
-
Data mining
Output
-
Automation
-
Impact op het werkveld van Mediavormgeving en mediamaken
Impact op werkprocessen
Media-uitingen kunnen uit verschillende componenten bestaan: tekst, video of andere visualisaties of bijvoorbeeld audiofragmenten. Voor elk van deze richtingen zijn generatieve KI-toepassingen ontwikkeld, die met weinig moeite nieuwe ‘unieke’ content genereren. Tijdschrift Wired nam de proef op de som en onderzocht ‘Could AI like Dall-E do a graphic designer’s job?’ Bekijk hier de gehele video.
De conclusie was interessant, de gegenereerde content uit de ChatGPT-toepassing is niet een-op-een over te nemen en vraagt zeker nog een ‘tweak’ van een grafisch vormgever. Koen van Turnhout, lector Human Experience & Media Design aan de Hogeschool Utrecht, herkent deze conclusie.
Koen van Turnhout, lector Human Experience & Media Design aan de Hogeschool Utrecht, herkent deze conclusie:“Als een bedrijf veel content moet maken, dan denken ze laten we Dall-e of ChatGPT de eerste versie laten maken en dan gaan wij de rest doen.” Hij voegt hieraan toe: “Je kan invoeren: ‘hee, geef mij Jip en Janneke in Van Gogh-stijl’. Je krijgt dan een harstikke grappig plaatje, maar het plaatje is het begin en het is niet iets wat afgewerkt is en waarmee je als bedrijf naar buiten kan gaan van: kijk eens, oh wat trots, we hebben een Van Gogh Jip en Janneke. Alle details, juist alle dingen die de mbo’ers moeten kunnen, die moeten dan nog. Daardoor kan ik mij voorstellen dat bewerken een grotere component wordt, en dat het daadwerkelijk maken van het beeld, van scratch, een kleinere component wordt.”
Dit verandert de manier waarop je je eigen creativiteit en gegenereerde creatieve uitingen gaat combineren. Van Turnhout schetst dat deze toepassingen het werkveld zeker gaan veranderen. “In de zin dat de werknemer meer in een regierol over content terechtkomt, in plaats van de echte creatorrol. Het wordt meer een samenwerking met een apparaat wat iets oplevert, in plaats van het apparaat is een pure tool.
Het ANP maakt video’s met KI op basis van bestaande nieuwsberichten. “Dat zijn een soort simpele powerpoints die een beetje bewegen. Er gebeurt niet zoveel, maar het is net een wat prettigere vorm dan een tekstueel nieuwsbericht. Het is bijna gratis om te maken, dan is daar toch markt voor om dat op die manier te doen”, vertelt Van Turnhout. Dit heeft uiteindelijk effect op het ontwikkelen van crossmediale toepassingen.
Het bedrijf D-ID lanceert een nieuwe webapp waarmee gebruikers face-to-face kunnen praten met fotorealistische KI. De webapp combineert tekst-naar-videostreamingtechnologie met open KI's ChatGPT om gesprekken met KI toegankelijker te maken. (Malik, 2023)
De CEO en medeoprichter van de start-up, Gil Perry, vertelt:De CEO en medeoprichter van de start-up, Gil Perry, vertelt: “The app is an easier way to use the power of KI and converse with ChatGPT. We are wired to communicate with faces, we understand the situation better when we do. We feel more comfortable and we can observe complex information better when we’re in what feels like a real scenario. Video is more effective than text, so the app increases the power of large language models by adding a face.
Wanneer de gebruiker de webapp opent op een desktop of mobiel apparaat, begroet de avatar genaamd Alice hem. Je kunt een vraag intypen of op het microfoonicoontje klikken om je vraag hardop uit te spreken. Je kunt Alice bijvoorbeeld vragen een sollicitatiegesprek te simuleren of zelfs de trivia-avond van je familie te organiseren. Aangezien de webapp zich nog in de bètafase bevindt, is hij nog niet perfect.
Naast short video’s zijn er ook ontwikkelingen binnen het genereren van video’s met deepfaketechnologie, wat veel impact kan hebben. Bob de Jong, deepfake en AI artist bij Revel AI, werkt voor grote bedrijven en bureaus die deepfaketechnologieën willen inzetten voor campagnes en films. De Jong vertelt: “Je moet denken aan projecten met toptalenten, zoals voetballers van het kaliber Messi en dat soort mensen. Zij hebben weinig tijd, maar willen wel hun gezicht verkopen. Dat doen we dan door middel van deepfaketechnologie.”
Het proces dat nodig is om een deepfakevideo te realiseren, is opgezet om content te genereren waarin bijvoorbeeld Messi is te zien, zonder dat hij het echt is. Er is een officiële, door het management goedgekeurde dubbelganger van Messi op wie de deepfake is afgestemd
“Uiteindelijk sta je met een regisseur op de set en wil hij een specifiek shot hebben. Dan zeggen we: ja, dat kan. Dan draaien we met de body double en is het de bedoeling dat de deepfaketechnologie, met veel menselijke interventies, de body double ‘omtovert’ tot Messi”,
Bob de Jong, deepfake artist, Revel AI.
Omdat de beelden zo specifiek zijn opgenomen, zijn ze ook voor andere commercials of campagnes in te zetten. Dit veld is nog niet goed uitgedacht. Van wie zijn de beelden die officieel fictief zijn, maar wel heel erg op Messi lijken?
“Dat is een hoog managementgevecht”, vertelt de Jong van Revel AI.“Normaal is het vrij logisch dat als je Messi een flesje melk laat vasthouden dat je dat beeld niet kan hergebruiken, omdat dit heel evident van een klant en het merk is. Nu kom je bij een gebied waar beeld anders gedefinieerd wordt, omdat het te hergebruiken is. Dus hoe dat juridisch is, daar gaat nog wel het een en ander over gezegd worden.”
Rufus Baas, kwartiermaker innovatie bij Mediacollege Amsterdam, stelt dezelfde vraag bij het natekenen van een appel:“Als ik een appel moet tekenen en ik teken het na van een foto van het internet, is dit interpreteren of kopiëren van beeld? We leven natuurlijk in een tijdperk waar beeldmateriaal op het internet zoveel gebruikt wordt. Hoe zit dat juridisch nou eigenlijk echt?”
Uiteindelijk kun je deze video’s (waarbij deepfaketechnologie is toegepast) inzetten voor diverse media-uitingen. Maar naast het inzetten van KI-toepassingen is het ook belangrijk na te denken over hoe je deze toepassingen vormgeeft. Dit heet het ontwerp van een userinterface.
Impact op benodigde vaardigheden
Userinterfaces ontwerpen
Door digitalisering is er in vergelijking met vroeger veel veranderd rondom het ontwerpen van de userinterface. Nu hangen bijvoorbeeld stationshallen vol met sensoren om mensenstromen te monitoren. Men vraagt ontwerpers mee te denken over de juiste signing op de stations en over scenario’s rondom traffic management.
“Er wordt heel veel sensoriek ingebracht in een bepaalde omgeving om data te kunnen genereren. Daaruit wordt bijvoorbeeld de hele userinterface van wegwijsborden ontworpen om te zorgen dat het goede op zo’n bord staat, zodat mensen gemanipuleerd worden om de juiste roltrap te nemen. Dat zijn tweaks waar het om draait. Dat hoor je ook terug van de ontwerpbureaus.”
– Ton van Mil, Media Perspectives
Dit gaat om het ontwikkelen van een juiste customer journey en vraagt kennis van user experience design (UX-design). Het gaat om het ophalen van data, en die kunnen analyseren om de userinterface te kunnen optimaliseren.
Koen van Turnhout, lector Human Experience & Media Design aan de Hogeschool Utrecht, ondersteunt deze nieuwe bevindingen. “Wij kijken met de studenten niet hoe het algoritme werkt, daar weten we wel wat van, maar dat is eigenlijk niet heel interessant voor ons. We kijken voornamelijk welke mogelijkheden er zijn om wat met het algoritme te doen. Moet je bij een recommended system twee resultaten presenteren of tien resultaten? Moet de gebruiker misschien een knop hebben om de aanbevelingen aan te passen? Dat soort dingen. Dat verkennen wij in allemaal verschillende contexten.”
“Het lastige is dat elke recommender systeemtechnisch een beetje anders in elkaar zit. Maar de basis is eigenlijk altijd dat je informatie over een gebruiker probeert te verzamelen. Dan weet je iets van die gebruiker en probeer je uit allerlei content juist die content te selecteren die relevent is”,
vertelt Van Turnhout.
Een interessant toepassingsveld is het gamedesign. Games zijn bij uitstek geschikt om gegevens te verzamelen, mensen te informeren en te motiveren, emoties aan te spreken en houding en gedrag te beïnvloeden. Games doen dat volgens sommige experts zelfs beter dan andere soorten media. Cocreatie door kritisch spelen of gaming is een methode om spelenderwijs creatief en kritisch om te (leren) gaan met KI-systemen, bijvoorbeeld om vooroordelen in KI-systemen op het spoor te komen (mediaperspectives, 2021) (Kok et al., 2021).
Kans | Datavisualisatie
Door de hoeveelheid content en data die kunstmatige-intelligentietoepassingen kunnen genereren, is er een markt ontstaan voor het visualiseren en toepassen van deze data in ontwerpprocessen van grafische uitingen
Communicatiespecialist Alex Kunst geeft een mooi voorbeeld:“De data die internetdrukkerijen verzamelen, geven veel kans om slim op de vraag van de consument in te spelen. Sterker nog: je ziet dat als het bedrijf bepaalde producten niet op voorraad heeft, de website automatisch verandert. Dan wordt een ander item meer aanbevolen en als er een machine bijvoorbeeld uitvalt, dan verandert het aanbod op de website ook.”
Het gaat om het analyseren van de opgehaalde data en kijken hoe je die in andere producten kunt toevoegen. Dit vraagt een kennis van hoe data te interpreteren en aan te laten sluiten bij de vormgeving en het ontwerp van bijvoorbeeld een interactieve website.
Information designer
Daarnaast is er een kans om studenten te leren om data te visualiseren voor bijvoorbeeld opdrachtgevers of klanten. Hoe zorg je voor een toegankelijke visualisatie van bepaalde data?
“Het gaat om data analyseren en data presenteren. Dit krijg je steeds meer, omdat bedrijven zich bewuster zijn van het feit dat zij data hebben, dat die data van waarde is en dat ze daar ook iets mee kunnen. Daardoor ontstaat steeds meer de vraag om de data in jaarverslagen of rapporten te visualiseren, maar ook om te laten zien wat die data betekent en wat die data inhoudt. Dan moet je goed nadenken op welke manier je dat kunt vormgeven, zodat dat ook overkomt bij je kant/lezer.”
– Marnix van Weringh, docent content creator bij ROC Tilburg
Van Weringh vertelt dat het ROC Tilburg hier externen voor inschakelt en studenten laat experimenteren met de software die de externen gebruiken. Daarnaast kun je data inzichtelijk maken door middel van animaties in plaats van platte beelden als grafieken. Ook hier experimenteren de studenten mee.
De Correspondent heeft hier in maart 2023 een vacature voor uitgezet. Heb jij ervaring met het verwerken en interpreteren van data en weet je hoe je inzichten uit een tekst of complexe data kunt omzetten in heldere visualisaties? […] Dan ben jij de information designer die wij zoeken. Er werden eisen gesteld als kennis van Adobe-software als Photoshop en Illustrator, ervaring met verschillende datavisualisatietools, zoals Flourish, en programmeerkennis die toepasbaar is binnen information design. Daarnaast vroegen ze een brede journalistieke interesse en bewustwording van de ethische afwegingen die je moet maken bij het maken van beeldende journalistiek.
Marnix van Weringh, docent content creator bij ROC Tilburg, vertelt over de manier waarop hij datavisualisatie en ethiek binnen de opleiding verwerkt:“Wij hebben datavisualisatie als vak, dit gaat om het in beeld brengen van data. Maar omdat wij ook journalistiek geven, heb je ook automatisch een stukje ethiek erbij. Je kunt door de manier waarop je cijfers combineert, door te filteren, de ‘narrative’ best wel bepalen en best wel sturend aangeven of iets goed of slecht gaat. Ik denk dat dat heel interessant is en heel belangrijk. Omdat we steeds meer gestuurde informatie voorbij zien komen online, kun je studenten leren hoe dit te zien en hoe te voorkomen.”