Rangering av flyselskaper basert bare på Twitter-kommentarer er svært mistenkelig

Det er mange måter å rangere flyselskaper på. Økonomisk sett betyr resultater og Wall Street gjør en god jobb med å peke ut selskapene som gir god avkastning til aksjonærene og de som ikke gjør det. Net Promoter Score (NPS), delvis utviklet av Bain, brukes av mange bransjer, og deres flyselskapsapplikasjoner er vanlige og robuste. Det amerikanske transportdepartementet samler og rapporterer om flyselskapets operasjonelle resultater, som retttidige flyvninger, kanselleringer og tapt bagasje. Flere universiteter og forbrukergrupper legger også ut sine egne rangeringer over de beste og dårligste flyselskapene.

Mange rangeringer er begrenset pga de fokuserer på forbrukerfunksjoner, men ikke på verdi, fordi de ofte ikke mener at forskjellige flyselskaper tar forskjellige priser. Insuremytrip.com, et nettsted som selger reiseforsikring, har nå gitt ut en ny studie som rangerer flyselskaper utelukkende basert på Twitter-kommentarer. Jeg kan ikke forestille meg en mer ubrukelig og triviell rangering, og mens mange rangeringssystemer kan forbedres, bør denne bare tilnærmes med betydelig forsiktighet.

Hvordan Insuremytrip-rangeringen fungerer

Denne nye rangeringen bruker en prosess som kalles sentimentanalyse. Den bruker kunstig intelligens for å skanne tweets for negative og positive kommentarer om flyselskaper. De evaluerer titusenvis av tweets og ser på endringer i mengden av følelser uttrykt i meldingene. Basert på dette rangerer de flyselskapene både i det absolutte antallet negative kommentarer og på endringen fra en tidligere periode. Studien skanner også etter positive kommentarer, og på denne måten samsvarer studien omtrent med hovedideen i den mer strenge NPS-metodikken.

Denne tilnærmingen har blitt samlet inn de siste fire årene, men uten noe for 2020 forståelig nok, så nå kan noen trending og år-over-år-beregninger sees. Hvis du antar at problemene i kjernedatautvalget er konstante, er denne flerårige trenden sannsynligvis det mest nyttige aspektet ved denne studien.

Resultatene av denne rangeringen

For 2022 viser denne studien for eksempel at blant United Airlines tweets har 37 % negative kommentarer, og 26 % har positive kommentarer. Videre er de 26% positive en nedgang på seks poeng fra 2021, noe som tyder på at færre personer tvitrer positive ting om United i år. Alaska Airlines har den høyeste prosentandelen positive kommentarer på 29 %, og Frontier Airlines har den høyeste prosentandelen negative kommentarer på 61 %.

Som gruppe så alle flyselskapene i 2022 en nedgang i positive kommentarer, og de fleste så en økning i negative kommentarer. Gitt driftsforstyrrelsene i bransjen i sommer, er dette ikke overraskende. Interessant nok er den største bekymringen når du flyr i henhold til denne studien for 2022, penger, etterfulgt av forsinkelser, kanselleringer og kundeservice. Med andre ord, Twitter-resultater tyder på at kunder bryr seg mer om å betale en lav pris enn å bli forsinket, men når de registrerer den negative følelsen om forsinkelsen, forsvinner prisen på mystisk vis.

Hva denne tilnærmingen går glipp av

Det er flere problemer med denne rangeringsmetoden. Den første er den overveldende negative tendensen til alle tweets. Forskning fra Harvard University viser at raseri sprer seg raskere på Twitter enn noen annen sosial medieplattform. Denne skjevheten predisponerer at folk vil tweete mer når de har negative ting å si, så som en absolutt rangering er det ikke en stor underliggende datakilde. År-til-år-trenden, som tidligere nevnt, har en viss gyldighet.

Den andre begrensningen er mangelen på verdi implisitt i rangeringen. For å velge flyreise bryr folk seg mye om prisen de betaler. Men når de først er der, irriterer de samme tingene alle uavhengig av hva de betalte. Relatert til dette er den store forskjellen i hva som irriterer folk. En 30-minutters flyforsinkelse spiller kanskje ingen rolle for noen kunder, der andre kan føle at dette ødela turen deres. Er kaffe som ikke er for varm, eller er for varm, det samme som en tapt pose eller betydelig forsinkelse? Hver vil dukke opp som en negativ følelse, men det er ingen vekting av alvorlighetsgraden av negativiteten.

Det siste tilnærmingsproblemet i denne studien er begrensningen i datakilden. Pew Research Center anslår som bare rundt 23 % av folk bruker Twitter eller tweet med hvilken som helst regelmessighet. Å basere en forbrukerrangering på dette ikke-tilfeldige utvalget, uten vekting for omfanget av overtredelsen, begrenser i stor grad nytten av denne studien.

Bedre måter å bruke sosiale medier i rangeringer

Sosiale medier er et rikt miljø av forbrukerdata. Reiseselskaper har jobbet med måter å identifisere trender i lokasjoner og andre reiseinteresser for å skape interessante pakkemuligheter, eller til og med for noen å bestemme seg for nye steder å fly.

Som en måte å rangere flyselskaper på, kan utvilsomt et robust sett med sosiale medier-beregninger brukes for å få et realistisk forbrukersyn på flyselskaper. Jeg vet ikke at noen har gjort dette ennå, og å bruke en enkelt kilde som denne Twitter-studien er langt fra det idealet. Verdiberegningen, hva du får for det du betaler, er den mest interessante siden den er mest relatert til hvordan folk faktisk kjøper. Når du ser på en kilde som bare bruker det folk sier, vil dette blekne i forhold til å koble dette sammen med avgjørelsene folk faktisk tar.