Det pratas mycket om big data och datainsamling och analys. Datakvalitet diskuteras mer sällan, men det är ett misstag.

Problem med inkommande information filtreras ner genom organisationer för att påverka effektivitet, samarbete, lönsamhet och kundnöjdhet.

Företagsledare har mycket att vinna på att investera i medlen för att samla in och studera information.

Kvalitet måste dock prioriteras lika högt som kvantitet. Så här är några av de viktigaste för att upprätthålla datakvaliteten i ett företag.

1. Vet hur man mäter datakvalitet

Data anses vara av hög kvalitet när de tjänar det syfte för vilket de skapades. Hur kan företag säkerställa det? Flera intressenter är ofta investerade – kunder, nedströms arbetsflöden och långsiktiga planerare.

För att vara riktigt användbar måste data vara:

• Exakt: Transkriberat och överfört utan fel
• Komplett: Saknar inte viktiga värden i datamängder
• Konsekvent: Enhetlig i formatet och lätt att korsreferera
• Relevant: Stöder processen för vilken den samlades in
• I god tid: Nyligen – eller representativ för den tid då den fångades

En studie hävdar att dålig data kostar företag runt 100 dollar för varje felaktig post. På tre år når prislappen snabbt upp i miljoner för ett företag med bara 100 000 skivor.

2. Investera i dataprofilering

Ibland äventyras kvaliteten på en datamängd precis vid källan. Detta är inte alltid under din kontroll – det kan vara information från affärspartners och programvara från tredje part. Med industrier som tillverkning och supply chain management som hanterar så många rörliga delar, är en process för att kontrollera och profilera inkommande data ett måste.

Dataprofileringsverktyg tar bort möjligheten för mänskliga fel och transkriptionsproblem genom att tillämpa maskininlärning och automatisering. Detta hjälper till att upprätthålla datakvaliteten genom att säkerställa:

• Konsekvent dataformatering
• Relevans för frågan som ställs eller processen som studeras
• En brist på artefakter eller abnormiteter som kan förvränga resultaten

3. Bygg en pipeline som rensar bort dubbletter

Flera lag eller individer som skapar data med hjälp av samma källa och logik smutsar ner vattnet och gör sammansättningsfel. Dubletter i datamängder påverkar förmågan att analysera situationen korrekt och leverera värdeskapande resultat.

Eliminera denna oro genom att tydligt definiera datapipelines, prioritera kommunikation, sätta affärsregler för dataskapande och skapa lättförståeliga, konsekventa processer för att dela data. Många företag investerar inom följande områden:

• En logiskt utformad datapipeline på företagsnivå och designad för konsekvent delning och transparens i hela organisationen.
• Ett detaljerat datastyrningsprogram med tydliga förväntningar och instruktioner för att undvika eller eliminera dubbel information.
• En central datahanteringsplattform som säkerställer att information kan granskas rutinmässigt och hjälper till att undvika silo inom avdelningar. Silor är ett säkert recept för dubbletter av datamängder.

Många företag behöver konsolidera sina datainsamlingsprocesser och system för att upprätthålla kvalitet och eliminera processer som resulterar i dubbletter.

4. Säkerställ spårbarhet för metadata

US Food and Drug Administration erkänner bristen på spårbarhet som ett av de största problemen med datakvalitet idag. Detta är ett problem även bortom de insatser på liv och död som FDA hanterar dagligen, som att godkänna nya mediciner.

Ibland uppstår problem i företag som kräver felsökning av en datamängd och spårning av informationen till dess källa. Varje företag med en datapipeline måste ha förmågan att spåra härstamning. Att ta detta steg på allvar innebär att tiden som krävs för att åtgärda fel inte kommer att öka när företagets samling av poster växer.

Att göra metadataspårbarhet till en del av att skapa din pipeline säkerställer att nedströmsanvändare av den informationen inte är utlämnade till datavetare. De behöver inte spåra saker tillbaka genom databaser och separata avdelningar eller program. Istället kan individer och team svara på sina egna frågor och göra sin egen felsökning.

Metadataspårbarhet innebär olika tekniker beroende på organisationen och dess behov. Oavsett metod är resultatet förmågan att förstå ursprunget, resan, naturen av, förhållandet mellan och logiken som tillämpas på data som kommer ner i pipelinen. Detta kan innebära:

• Skapa en unik nyckel för varje datamängd som kan föras nedströms
• Använda sekvensnummer, som transaktions-ID:n
• Distribuera länktabeller som beskriver relationer i datamängden
• Fästa tidsstämplar eller versionsnummer till varje datapost
• Använda en loggtabell för att registrera dataändringar

Dessa steg innebär att man använder metadataidentifierare som dokumentation, inte bara för informationens härkomst, utan även för hur det har agerats eller överförts.

5. Förstå datakrav

Detta steg involverar ”varför?” bakom insamling av data i första hand.

• Vilka uppgifter kräver avdelningen? Vilket värde tillför det?
• Vilka specifika frågor vill klienten besvara med hjälp av data?
• Vad försöker du felsöka eller förbättra? Hur mäts det?
• Under vilka förutsättningar vill du att uppgifter ska samlas in?

Data är inte värdefull utan att definiera dessa egenskaper i förväg. Skapa formell dokumentation som beskriver karaktären och syftet med varje informationsinsamlingsprocess. Fråga avdelningsledare och kunder: Vad vill du ta reda på eller förbättra? Vilka typer av data, under vilka omständigheter, kommer att ge resultat?

Det är viktigt att förstå de frågor som ställs av intressenter, särskilt kunder. Att anta infrastruktur för dataanalys utan ett gemensamt och tydligt mål är ett recept för misskötsel och slöseri med resurser.

Att hjälpa företag att förstå krav på datainsamling och skapa förväntningar är en uppgift som ofta delegeras till affärsanalytiker.

Upprätthåll datakvaliteten från och med idag

Att satsa på att upprätthålla datakvalitet påverkar och förbättrar informationens hela livscykel. Det blir och förblir mer värdefullt över en längre period. Därifrån finns det inget slut på hur data är användbar i företag idag.

Författarprofil

Manuela Willbold

Blogger och utbildare av Passion | Senior onlinemedia- och PR-strateg på ClickDo Ltd. | Bidragsgivare till många utbildnings-, affärs- och livsstilsbloggar i Storbritannien och Tyskland | Sommarkursstudent vid London School of Journalism och kursinstruktör vid SeekaHost University.