Het optimaliseren van de customer journey via e-mailnotificaties
Van inbox naar Impact
Overzicht | Tijdlijn | Onderzoek | A/B testen | Her-ontwerp | Reflectie
Overzicht
Hoe optimaliseer je de klantreis van een digitaal product die geen doelgroep-segmentatie [nodig] heeft, en maak je het toegankelijk voor iedereen? Ik verkende de logistieke sector en identificeerde met empathisch onderzoek pijnpunten en kansen om 1) de klantreis te verbeteren en 2) waardevolle optimalisatie-strategieën te ontwikkelen. Het doel was de communicatie rond de "eerste poging levering: succes" te optimaliseren, de gebruikerservaring en afleveringssucces te verbeteren, en deze verbeteringen te documenteren voor consistente toepassing in de toekomst.
Rol
CX Consultant, UX Researcher & Designer.
Tijd
~6 maanden, 15 wk. UX
Probleem
Het ontbreken van impactanalyses en A/B-testen bij de overgang naar het nieuwe platform heeft pijnpunten in de e-mailnotificaties onopgelost gelaten. Optimalisatiestrategieën moeten efficiënt, duurzaam, toegankelijk en toekomstbestendig zijn.
Oplossing
Het eindrapport met aanbevelingen en Confluence stappenplan voor A/B-testen, gebaseerd op ervaringen, gebruikersinzichten en marktonderzoek, maakt het mogelijk de optimalisatiestrategieën toekomstbestendig toe te passen.
Conceptuele uitwerking van een re-design van de e-mailnotificatie layout, gebaseerd op A/B-testresultaten en gebruikersonderzoek.
Behaalde doelen
✅ Verhoging van klanttevredenheid door de contactratio te verlagen.
✅ Kostenbesparing van enkele honderdduizenden euro's voor de klantenservice.
✅ Verbetering van de informatie-voorziening, met een klikratio die 1,6 keer zo hoog is.
Tools
Figma, CSS/HMTL, Photoshop, Salesforce Marketing Cloud.
Disclaimer: Vanwege privacyredenen zijn zoveel mogelijk specifieke details weggelaten. Dit overzicht biedt een realistisch beeld van het werk en de impact ervan op miljoenen.
Project Tijdlijn
Overzicht | Competitie > Notificatie > Gebruikersonderzoek | Data-extractie | Persona | A/B testen | Her-ontwerp | Lo-Fi | Hi-Fi | Reflectie
Onderzoek
—Competitie analyse
SWOT, Marktonderzoek, Benchmarking, Vergelijking lay-out
—Notificatie analyse
Data analyse per notificatie type, lay-out analyse via Journey Analyse, Service Blueprint
—Gebruikersonderzoek
Kwantitatief survey feedback en kwalitatief feedback opmerkingen (Empathy & Affinity mapping)
Competitie Analyse
—SWOT, Marktonderzoek, Benchmarking, lay-out vergelijking
Onderzoek naar de ontwerpkeuzes van de concurrentie onthulde een consistente trend van een onderwerpregel met aankomsttijd, en CTA-knoppen om interactie-metrics, zoals doorklikpercentages, te verhogen —Dit inspireerde o.a. vervolgstappen met A/B testen. Een andere sprintcommitment was het analyseren van de concurrentiemarkt en het presenteren van de inzichten aan het team, dit deed ik via SWOT overzicht en een benchmarkposter met de thema's die ik met het team besproken heb.
Notificatie systeem
—Journey Analyse, Service Blueprint, Data analyse, Gebruikersonderzoek
Service Blueprint (de illustraties weerspiegelen de notificaties maar zijn niet de daadwerkelijke)
Voorbeeld van 3 notificaties: Er zijn 15 verschillende notificatiejourneys die consumenten informeren over de pakketstatus.
Voor meer context over het notificatiesysteem, ‘touchpoints’ met ontvangers en de lay-out van elke 'type' notificatie, analyseerde ik notificaties. Dit was nodig voor betere A/B-testresultaten na knelpunten in de eerste fase. Ik maakte een service blueprint en een overzicht van notificatiedoel, ontvanger-acties en belangrijke metriekdata. De volgende stap was gebruikersonderzoek.
—Feedback survey (kwantitatief & kwalitatief), data analyse, empathy & affinity mapping
Gebruikers-onderzoek
Door kwalitatieve feedback te analyseren en via affinity/empathy mapping naar concrete inzichten te vertalen, identificeerde ik pijnpunten in de journey en nam betere beslissingen voor A/B-tests waar mijn team echt iets aan had. De belangrijkste inzichten:
— Bijna 1 op de 3 van de klachten uit feedback betreft discrepantie tussen de realiteit en de informatie in notificaties, vaak afhankelijk van het bezorgproces.
— Meer dan 50% van de klachten van oudere gebruikersgroepen komt via telefonisch contact met klantenservice.
— Onderzoek toonden aan dat oudere gebruikers-groepen toegankelijkheids-problemen ondervonden met de layout en informatie, en dit zijn juist de gebruikersgroepen die sneller naar telefonisch contact overstappen bij problemen.
— Klikrate naar Track en Trace pagina is laag, terwijl hier juist kansen liggen tot betere informatievoorziening.
Overzicht | Onderzoek | Data-extractie | Persona | A/B testen | Her-ontwerp | Lo-Fi | Hi-Fi | Reflectie
Inzichten
—Waaruit zijn de inzichten afgeleid?
Data analyse toont aan dat specifieke notificatietypes een hoge contactratio (oproepen naar Klantenservice) genereerden.
Hieruit leidde ik af dat deze notificatietypes via A/B-testen geoptimaliseerd konden worden en dat, door de verlaging van de contactratio, hogere klanttevredenheid gerealiseerd kon worden.
Het vertalen van reacties naar "user says"-uitspraken in empathie-mapping en het groeperen van deze reacties in relevante thema’s via affinity mapping, onthulde belangrijke pijnpunten die binnen de notificatie aangepakt kon worden.
De statische informatie in de notificatie biedt ruimte voor verkeerde interpretatie en frustratie bij de gebruiker.
Uit empathie-mapping blijkt dat ouderen in hun feedback aangeven moeite te hebben met het begrijpen van digitale termen in notificaties en niet weten dat/hoe ze via track & trace meer informatie over de status van hun pakket kunnen verkrijgen.
Kansen voor verbeteringen van de KPI liggen in het ondersteunen van de oudere demografische groep en het beter doorverwijzen van consumenten naar de track & trace pagina.
Feedback en e-mailanalyse toonden aan dat oudere gebruikers toegankelijkheids-problemen ondervonden met de informatie in de notificaties.
Uit onderzoek (The Northridge Group) blijkt dat deze demografie vaak contact zoekt met de klantenservice, wat leidt tot hogere kosten. Daarnaast biedt de track & trace pagina de meest actuele informatie over de pakketstatus, waardoor consumenten beter geïnformeerd zijn bij verwarring.
Door het hoge volume aan feedback (per notificatie +10000 in 1 maand) die handmatig gelezen moest worden, heb ik mijn aanpak verbeterd door de gebruikersfeedback te groeperen in empathie-mapping met "gebruiker zegt"-uitspraken.
Hierbij maakte ik onderscheid tussen welke groepen daadwerkelijk verantwoordelijk zijn, aangezien er bijvoorbeeld veel klachten waren over bezorgers, waar de notificatieverstuurder weinig invloed op heeft.
Affinity mapping hielp bij het identificeren van de belangrijkste gebruikersinzichten, zodat de volgende stappen beter gezet konden worden.
Data-extractieproces
Persona
Brainstorming
— Brainwriting, SPIKE, Mindmapping
Overzicht | Onderzoek | Data-extractie | Persona | A/B testen | Her-ontwerp | Lo-Fi | Hi-Fi | Reflectie
—Na onderzoek ontdekte ik meer kwalitatieve leads waarop we A/B-testen konden uitvoeren.
A/B Testen
1. Impact op klanttevredenheid met een titelwijziging.
Met de hypothese dat dit frustraties bij ontvangers zou verminderen, testte ik de impact van een andere, neutralere toon in de notificatietitel. Met succes, want dit leidde tot een significante impact: bijna 20% minder klantenservice-oproepen en -contacten, wat resulteerde in kostenbesparingen van enkele honderdduizend euro's en een hogere klanttevredenheid.
2. Impact op KPI: Betere informatievoorziening leidt tot succesvolle eerste bezorgingspoging.
Na onderzoek en data-analyse wisten we wat getest kon worden. Het doel was om ontvangers effectiever naar de trackingspagina te leiden, zodat zij beter geïnformeerd zouden worden en de algehele klantreis zou verbeteren. Ook dit had een positieve impact: de klikratio steeg met 1,6x, waardoor ontvangers betere informatie ontvingen en de kans vergrootte dat zij het pakket op eerste poging aannamen.
*Vanwege privacywetgeving en een NDA kan ik de resultaten van de A/B-testen en de bijbehorende illustraties niet delen. De weergegeven afbeeldingen en details zijn echter een realistische weergave van het werk dat miljoenen ontvangers heeft beïnvloed.
Er werden in totaal 4 A/B-testen uitgevoerd. De twee meest succesvolle richtten zich op een aangepaste toon in taal en een complexere lay-out wijziging. Dit resulteerde in een 1,6x hogere klikratio naar de informatiepagina en een aanzienlijke stijging in klanttevredenheid door een bijna 20% lagere contactratio met de klantenservice. Dit leverde het bedrijf op jaarbasis een kostenbesparing van enkele honderdduizenden euro’s op.
Samengevat
Impact op miljoenen ontvangers
Dankzij grondig onderzoek naar de juiste data en metrieken kon ik de basis leggen voor een succesvolle meting van de A/B-testen. Hierbij werd onder andere gekeken naar contactratio en klikratio. De tests werden elk uitgevoerd over een periode van twee weken, met een willekeurige 50/50-verdeling van de ontvangers. In totaal werden er in deze test periode meer dan een half miljoen notificaties verstuurd.
De ‘winnende’ versies staan nog steeds live.
Met de opgezette A/B-testbasis en de succesvolle resultaten kon het team de planning voortzetten om vergelijkbare wijzigingen en hun impact bij andere notificatietypes te meten. De winnende versies zijn live, en wellicht heeft u die al ontvangen tijdens het bestelproces 😊.
Her-ontwerp concept
Hoewel het niet het hoofddoel was van dit project, inspireerden mijn bevindingen herontwerps-concept om het team te begeleiden bij toekomstige toegankelijke e-mail lay-outs. Mijn ervaring leerde me dat het verstrekken van visuele voorbeelden en data ‘backed’ argumenten essentieel was om doelen te bereiken en veranderingen door te voeren.
Mindmapping doelen voor her-ontwerp
Lo-Fi ontwerp proces
Hi-Fi ontwerp proces
Originele versie > Concept 1 > Definitieve versie (na iteratie)
—Mijn taken —Leerervaringen —Eindrapport.
Reflectie
Aangezien dit project anders was dan een reguliere UX-case, moest ik in mijn rol als consultant verder kijken dan alleen de ontwerpbeslissingen en binnen het systeem zoeken naar probleemgebieden in de werkstroom. Om het probleem van het balanceren van alle verantwoordelijkheden op te lossen, heb ik een planning gemaakt met doelen en sprintgebaseerde deliverables (zie afbeelding hiernaast).
—Consultant met verantwoordelijkheden in productmanagement.
Door actief te werken aan taken van een Product Manager/Marketeer, bouwde ik ervaring op en kreeg ik een crashcourse in het vak. Op een gegeven moment, naast mijn onderzoek, nam ik taken over en kreeg ik het vertrouwen om zelfstandig aanpassingen door te voeren, wat een impact van miljoenen betekende.
Door de overgang naar het nieuwe systeem waren er intern trial-and-error processen. Door goed samen te werken, probleempunten te identificeren en te documenteren, heb ik de bevindingen samengevat in een SWOT-analyse om de pijnpunten aan te geven. Daarnaast heb ik een Confluence "How To"-gids opgesteld voor het team, zodat we in de toekomst effectief A/B-testen kunnen uitvoeren.
Als UX-onderzoeker kreeg ik de vrijheid om mijn eigen onderzoek op te zetten, feedback van gebruikers te verzamelen en duizenden reacties om te zetten naar concrete, doelgerichte oplossingsrichtingen. Dankzij affinity en empathy mapping kon ik snel waardevolle inzichten verkrijgen, die ik gebruikte om oplossingsgerichte voorstellen te doen en A/B-tests effectiever uit te voeren, allemaal gevalideerd door data.
—UX Researcher
— UX Designer
Door een design thinking-aanpak te volgen, vertaalde ik gebruikersinzichten naar designbeslissingen, ondersteund door A/B-testen voor validatie. Dit had een positieve impact op miljoenen ontvangers. Op basis van gevalideerde bevindingen creëerde ik een klikbaar prototype als concept voor het herontwerp, dat het team zou helpen bij toekomstige beslissingen.
Het identificeren van de juiste metrics hielp bij het succesvol beoordelen van A/B-testen.
Het synthetiseren van grote hoeveelheid kwalitatieve data via Affinity-/empathiemapping onthulde de belangrijkste pijnpunten die binnen de notificaties aangepakt moesten worden.
Binnen het team leidde het verbeteren van de samenwerking met multidisciplinaire teams, door gebruik te maken van visuele concepten en voorbeelden, tot betere ontwerp oplossingen.
— Door mij te richten op het identificeren van pijnpunten en het opstellen van 'Best Practices' voor A/B-testen, was ik in staat om complexiteiten met A/B-testen op te lossen, beter samen te werken met andere teams en mijn gebruikersonderzoeksaanpak hielp mij om inzichten beter te valideren.
Leermomenten
Eindrapport
Door mijn rol als UX Researcher en in te leven als Product Marketeer ontdekte ik systeemfouten die de efficiëntie belemmerden. Dit stelde me in staat een rapport op te stellen dat aansloot bij de verwachtingen van bedrijf. Ik werkte samen met de Product Owner en mijn supervisor, waarbij ik mijn rapport en presentatie verbeterde op basis van hun feedback.
3 bevindingen waarop ik mijn rapport baseerde.
— Uitdagingen met de gebruikersinterface (UI) van het SalesForce-platform in kaart brengen, omdat deze de efficiëntie van het werk belemmeren.
—Het is lastig om direct naar de KPI voor "eerste poging levering: succes" te kijken. Het is beter om zelf de e-mailmetrics te analyseren en op basis daarvan wijzigingen door te voeren.
—Het opstellen van A/B-test best practices biedt een goede basis voor toekomstige (succesvolle) tests.
Wegens NDA zijn de werkelijke illustraties, cijfers en contactgegevens waar mogelijk weggelaten, maar de vermelde cijfers weerspiegelen de werkelijke gebeurtenissen. Ik heb alles herontworpen om een zo duidelijk mogelijk beeld te geven van mijn bijdrage.