Quan el trànsit
De vegades, el problema no comença quan el trànsit cau. Comença quan n'hi ha massa.Això és el que…
De vegades, el problema no comença quan el trànsit cau. Comença quan n'hi ha massa.
Això és el que va passar en revisar les dades d'un web d'un client amb una audiència força definida. El volum era bo, fins i tot massa bo en alguns moments, però hi havia elements que no acabaven d'encaixar.
Una part important del trànsit apareixia com a Direct. Alhora, alguns països tenien un pes difícil de justificar pel context del projecte. Singapur i la Xina, per exemple, apareixien amb molta més presència de la que caldria esperar per idioma, activitat o públic objectiu.
Res d'això demostrava, per si sol, que hi hagués un problema.
El trànsit directe no és necessàriament sospitós. Tampoc no ho és rebre visites de països inesperats. Internet no respecta gaire bé les nostres previsions geogràfiques i, a més, Analytics no sempre pot identificar amb precisió d'on prové una sessió.
Però quan coincideixen diversos senyals estranys, convé deixar de mirar únicament el nombre total.
Hi havia massa visites per no començar a fer preguntes.
D'on venien realment? Per què una part tan important acabava classificada com a Direct? Tenia sentit aquella distribució geogràfica? Estàvem veient persones interessades en el contingut o simplement activitat que Analytics estava incorporant a les estadístiques?
I, sobretot, va aparèixer una pregunta prèvia a totes les altres:
estàvem mesurant correctament?
El bàner hi era, però ningú no havia de decidir
La primera pista no va aparèixer a Analytics, sinó al mateix web.
El bàner de cookies estava implementat. Tècnicament, hi era. Però hi havia una diferència important entre mostrar un avís i aconseguir que l'usuari prengui una decisió.
En el nostre cas, era possible continuar navegant sense acceptar ni rebutjar explícitament. I això va obrir un dubte força més rellevant que la posició o el disseny del bàner: què estava passant amb el mesurament mentre l'usuari no decidia res?
Aquest punt també ajuda a entendre per què molts llocs web grans presenten el consentiment d'una manera especialment visible només entrar-hi. Sovint apareix centrat, amb molt pes visual i fins i tot ocupant bona part de la pantalla. No és només una decisió estètica. És una manera de convertir el consentiment en una acció explícita, difícil d'ignorar, i de reduir el temps durant el qual l'usuari continua navegant sense haver pres cap decisió.
En el nostre cas, a partir d'aquella sospita no vam canviar una sola cosa.
Vam revisar la configuració del consentiment, la posició i visibilitat del bàner, la claredat de les opcions disponibles i la implementació de Google Consent Mode, per comprovar quins senyals s'enviaven a Google abans i després que l'usuari prengués una decisió. També vam revisar el comportament d'Analytics i la mateixa implementació de mesurament.
No es tractava simplement d'«arreglar les cookies». Estàvem revisant tota la cadena que connecta una visita amb la dada que finalment apareix a Analytics: des de la interacció de l'usuari amb el consentiment fins a la manera com aquella decisió es tradueix en senyals i acaba condicionant què es pot mesurar i com.
Aquesta va ser la nostra resposta al problema que teníem al davant, però això no significa que el consentiment sigui l'única eina per investigar un trànsit estrany.
Google Analytics també permet treballar amb filtres per a determinats tipus de trànsit, excloure el trànsit intern i de desenvolupament i recolzar-se en els seus propis mecanismes de filtratge de bots coneguts. Segons el cas, també pot ser necessari revisar l'etiquetatge, les fonts d'adquisició, les referències, els esdeveniments, les campanyes o fins i tot la infraestructura des de la qual arriben determinades visites.
Per això tampoc no volíem convertir una correlació en una explicació massa còmoda.
Que el trànsit canviés després de revisar el consentiment no demostrava que tot aquell trànsit estrany tingués una única causa. Tampoc no significava que qualsevol descens posterior pogués atribuir-se automàticament al nou bàner o a Consent Mode.
El més important era una altra cosa: abans d'interpretar una dada, necessitàvem entendre com s'estava generant.
En el nostre cas, el consentiment i Consent Mode eren peces prou importants per començar per aquí.
I després de canviar-los, les xifres també van canviar.
Quan menys trànsit sembla millor trànsit
Després dels canvis, Analytics va començar a mostrar menys trànsit. Però, al mateix temps, algunes de les mètriques que fem servir per entendre la qualitat d'aquestes visites van millorar de manera força evident.
La diferència ja no era únicament en quants usuaris arribaven al web, sinó en com es comportaven un cop a dins.
La taxa d'interacció va augmentar, el rebot va baixar i el temps d'implicació va començar a ser més consistent. També van aparèixer diferències més raonables entre usuaris nous i usuaris recurrents.
Aquest últim punt era especialment interessant.
Abans del canvi, Analytics tendia a mostrar una relació gairebé idèntica entre usuaris totals i usuaris nous. No era impossible, però sí que resultava estrany quan es repetia de manera sistemàtica: semblava que pràcticament tothom arribava per primera vegada.
Després de revisar el consentiment i el mesurament, aquesta fotografia va començar a canviar. Els usuaris nous continuaven tenint un pes molt alt, però ja no coincidien pràcticament amb el total, i la proporció d'usuaris recurrents va començar a ser visible.
No és una prova definitiva que abans tot estigués mal mesurat, però sí un senyal important: l'audiència començava a comportar-se a Analytics d'una manera més recognoscible i coherent.
El mateix passava amb altres mètriques. En reduir-se una part del trànsit sospitós, les sessions amb interacció guanyaven pes i els temps d'implicació milloraven. El conjunt començava a semblar menys sorollós.
I això importa perquè el trànsit de baixa qualitat no només infla el nombre d'usuaris. També pot deteriorar les mètriques que després fem servir per avaluar el rendiment d'un web.
Si entren moltes sessions que duren amb prou feines uns segons, no interactuen i procedeixen d'orígens difícils d'explicar, el problema no és només que el trànsit total estigui sobredimensionat. També poden empitjorar el rebot, el temps d'implicació, la recurrència i altres senyals que després fem servir per prendre decisions.
Per això, quan després d'una revisió de mesurament cau el volum però milloren simultàniament diverses mètriques de comportament, la lectura no s'hauria de limitar a «hem perdut trànsit».
La pregunta correcta és una altra:
estem veient menys usuaris o estem veient millor els usuaris que realment importen?
No podem afirmar que tot el que va desaparèixer fos spam, bots o trànsit automatitzat. Però quan disminueixen certes anomalies i, al mateix temps, milloren indicadors com la interacció, el rebot, el temps d'implicació o la recurrència, és raonable plantejar-se que una part del volum anterior estava introduint soroll.
I aquí apareix una paradoxa interessant: un web pot mostrar menys trànsit a Analytics i, tanmateix, oferir una lectura molt més útil de la seva audiència.
De vegades, mesurar menys no significa conèixer menys.
Pot significar exactament el contrari.
Dos períodes que ja no signifiquen el mateix
Quan canvia la manera de mesurar, comparar dos períodes com si fossin equivalents pot ser enganyós.
El percentatge pot estar ben calculat i, tot i així, la conclusió ser incorrecta.
Si abans una visita podia quedar registrada sota unes determinades condicions i després aquestes condicions canvien, ja no estem comparant exactament la mateixa realitat observada. El nom de la mètrica pot continuar sent el mateix —usuaris, sessions, trànsit Direct, taxa d'interacció—, però la manera com aquestes dades arriben fins a Analytics ja no és idèntica.
Això obliga a introduir una mena de punt de ruptura en la lectura històrica.
No significa que hàgim de deixar de comparar. Significa que hem de comparar amb context.
Una caiguda del trànsit després de revisar el consentiment, Consent Mode o la implementació no es pot interpretar automàticament com una pèrdua equivalent d'audiència. De la mateixa manera, una millora del temps d'implicació o del rebot no s'hauria de presentar com si tota la millora provingués únicament del contingut o de l'experiència d'usuari.
Part del canvi pot ser en el comportament real de l'audiència.
I una altra part pot ser en qui entra ara a la mostra i en quines condicions.
Aquí la UX del consentiment torna a ser important.
La manera com presentem el bàner, la seva visibilitat, la claredat de les opcions i la facilitat per acceptar o rebutjar poden influir en quants usuaris prenen una decisió i en quin moment ho fan. Aquesta decisió també acaba afectant les dades disponibles per mesurar la sessió.
Per això el disseny del consentiment no viu únicament en el terreny de la privacitat o del compliment legal. També forma part de l'arquitectura de mesurament.
Una petita modificació en una interfície pot acabar tenint conseqüències força lluny d'aquella interfície: en els informes, en les comparatives mensuals i, finalment, en les decisions que prenem a partir d'aquestes.
Potser una de les coses més útils que podem fer quan modifiquem una implementació d'aquest tipus és precisament reconèixer-ho en els nostres propis informes.
No amagar la ruptura.
Marcar-la.
Perquè a partir d'aquell moment l'«abans» i el «després» continuen sent útils, però ja no signifiquen exactament el mateix.
Conclusió
Durant molt de temps hem associat un bon mesurament amb tenir més dades.
Més usuaris. Més sessions. Més esdeveniments. Més pàgines vistes. Més informació per analitzar.
Però més no sempre significa millor.
Si una part del trànsit que registrem introdueix soroll, distorsiona l'origen de les visites, empitjora artificialment les mètriques de comportament o fa semblar homogènia una audiència que en realitat no ho és, aleshores acumular més dades ens pot allunyar de la realitat en lloc d'apropar-nos-hi.
Això és probablement el més interessant de tot aquest procés.
La caiguda inicial semblava una mala notícia perquè estàvem mirant el volum. Però quan vam començar a observar què havia canviat realment, la lectura era diferent: menys trànsit Direct difícil d'explicar, menys geografies improbables, millors senyals d'interacció i una audiència que començava a comportar-se d'una manera més coherent.
No significa que hàgim trobat un mesurament perfecte.
Tampoc no significa que tot el que va desaparèixer fos trànsit invàlid.
Significa una cosa més útil: la qualitat d'una mètrica depèn tant de la dada que recull com de les condicions en què la recull.
I això obliga a canviar un costum força estès.
Quan una xifra puja, no l'hauríem de celebrar automàticament.
Quan baixa, tampoc no hauríem d'assumir que alguna cosa ha empitjorat.
Abans convé preguntar-se què estem mesurant, com ho estem mesurant i si la mostra que tenim al davant continua significant el mateix que significava abans.
Perquè una caiguda pot ser una pèrdua.
Però també pot ser una neteja.
Pot ser una ruptura de sèrie.
Pot ser una implementació més correcta.
O pot ser la primera vegada que la dada comença a assemblar-se una mica més a la realitat.
Al final, mesurar millor no consisteix a recollir tot el que sigui possible.
Consisteix a entendre millor allò que estem veient.
Estem prenent decisions sobre el que fan els nostres usuaris o sobre el que la nostra eina aconsegueix registrar d'ells?
Comentaris