'Stor data' er den nye vitenskapen om å forstå og forutsi menneskelig atferd ved å studere store mengder ustrukturert data. Store data er også kjent som "predictive analytics".
Ved å analysere Twitter-innlegg, Facebook-feeder, eBay-søk, GPS-sporere og ATM-maskiner er noen store dataeksempler. Ved å studere sikkerhetsvideoer, trafikkdata, værmønstre, flyoppkomster, tårnlogger for mobiltelefoner og hjertefrekvenssporere er andre former. Store data er en rotete ny vitenskap som endres hver uke, og bare noen få eksperter forstår alt.
Hva er noen eksempler på store data i vanlig liv?
Mens de fleste store dataprosjekter er svært uklare, er det vellykkede eksempler på store data som påvirker hverdagen til enkeltpersoner, bedrifter og myndigheter:
Forutsi virusutbrudd: ved å studere sosiopolitiske data, vær- og klima-data og sykehus / kliniske data, forutsetter disse forskerne nå utbrudd av denguefeber med forhåndsvarsel på 4 uker.
Homicide Watch: Dette store dataprosjektet myrder ofre, mistenkte og kriminelle i Washington, DC. Både som en måte å ære den avdøde og som en bevissthetsressurs for mennesker, er dette store dataprosjektet fascinerende.
Transit Travel Planning, NYC: WNYC radioprogrammer Steve Melendez kombinerte nettbasert ruteplan med reiseplanleggingsprogramvare. Hans skapelse lar New Yorkere klikke på deres plassering på kartet, og det vises en forventning om reisetid for tog og t-bane.
Xerox reduserte arbeidsstyrkenes tap: call center arbeid er følelsesmessig utmattende. Xerox har studert dataammer ved hjelp av profesjonelle analytikere, og nå kan de forutse hvilke call center hires som sannsynligvis vil være hos selskapet lengst.
Støtte mot terrorisme: Ved å studere sosiale medier, økonomiske poster, flyreservasjoner og sikkerhetsdata kan politimyndighetene forutsi og lokalisere terroristmistenkte før de gjør sine onde handlinger.
Justere merkevare markedsføring basert på sosiale medier vurderinger: folk deler raskt og enkelt sine online tanker på en pub, restaurant eller treningssenter. Det er mulig å studere disse millioner sosiale medier innlegg og gi tilbakemelding til selskapet om hva folk tenker på sine tjenester.
Hvem bruker store data? Hva gjør de med det?
Mange monolitiske selskaper bruker store data for å justere sine tilbud og priser for å maksimere kundetilfredsheten.
- Macy's stormagasin, for eksempel bruker store data for å justere sine priser på fly for over 70 millioner produkter. De sender selv tilpassede e-post til sine kunder basert på hva Macy mener de er interessert i.
- Politiets svar på Boston marathon bombingen: Ved å bruke store data for å studere video- og overvåkingsbilder, kunne politiet raskt begrense søket etter de mistenkte.
- Mortons Steakhouse bruker Twitter til å trekke av markedsføringsstunter, inkludert den berømte New Jersey-flyplassen, leveransen av en porterhousebiff og rekermiddag.
- Visa bruker store data for å identifisere og fange svindlere.Enkeltransaksjoner her og der kan enkelt skjule en uærlig kredittkortbruker, men ved å se på millioner av transaksjoner nøye, kan det oppdages mønstre av bedrageri.
- Facebook bruker store data for å skreddersy annonsering. Ved å studere dine FB-liker og surfevaner nøye, har den sosiale media-giganten en uhyggelig innsikt i smaken din. De sidebarannonsene du ser på ditt Facebook-feed, blir valgt av svært forsettlige og komplekse algoritmer som har fulgt dine Facebook-vaner.
Hvorfor er store data så stor deal?
4 ting gjør store data signifikante:
1. Dataene er enorme. Det passer ikke på en enkelt harddisk, mye mindre en USB-pinne. Datamengden overskrider det menneskelige sinn kan oppfatte (tenk på en milliard megabyte, og multipliser det med flere milliarder).
2. Dataene er rotete og ustrukturerte. 50% til 80% av det store datarbeidet er å konvertere og rense informasjonen slik at den kan søkes og sorteres. Bare noen få tusen eksperter på vår planet vet fullt ut hvordan du gjør denne opprydningen av data. Disse eksperter trenger også svært spesialiserte verktøy, som HPE og Hadoop, for å gjøre sine håndverk. Kanskje om 10 år vil store datakunnskaper bli en krone et dusin, men for nå er de en svært sjelden artanalytiker, og deres arbeid er fortsatt veldig uklart og kjedelig.
3. Data har blitt en vare ** som kan selges og kjøpes. Data markedsplasser finnes der bedrifter og enkeltpersoner kan kjøpe terabytes av sosiale medier og andre data. De fleste dataene er skybaserte, da det er for stort til å passe inn på en enkelt harddisk. Kjøper data innebærer vanligvis et abonnementsavgift der du kobler deg til en server for en skytserver.
** Lederne av store dataredskaper og ideer er Amazon, Google, Facebook og Yahoo. Fordi disse selskapene tjener så mange millioner mennesker med sine online-tjenester, er det fornuftig at de vil være samlingspunktet og visjonærene bak stor dataanalyse.4. Mulighetene for store data er uendelige. Kanskje leger vil en dag forutsi hjerteinfarkt og slag for enkelte uker før de skjer. Fly og bilulykker kan reduseres ved hjelp av prediktive analyser av deres mekaniske data og trafikk- og værmønstre. Online dating kan forbedres ved å ha store data spådommer om hvem som er kompatible personligheter for deg. Musikere kan få innblikk i hvilken musikksammensetning det er mest behagelig å endre smaker av målgrupper.Ernæringseksperter kan være i stand til å forutsi hvilken kombinasjon av mat som er kjøpt, vil forverre eller hjelpe en persons medisinske forhold. Overflaten har bare blitt riper, og funn i store data skje hver uke.
Store data er rotete
Store data er prediktiv analyse: Konvertering av massive ustrukturerte data til noe som kan søkes og sorteres. Dette er et rotete og kaotisk rom som krever en spesiell type kunnskap og tålmodighet.
Ta for eksempel den monolitiske UPS-leveringstjenesten. Programmørene på UPS studerer data fra driverens GPS og smarttelefoner for å analysere de mest effektive måtene å tilpasse seg trafikkbelastning. Denne GPS- og smarttelefondata er gigantisk, og ikke automatisk klar for analyse. Disse dataene hentes fra ulike GPS- og kartdatabaser gjennom forskjellige smarttelefonhardwareenheter. UPS-analytikere har tilbrakt måneder å konvertere alle dataene til et format som enkelt kan søges og sorteres. Innsatsen har vært verdt det, skjønt. I dag har UPS spart over 8 millioner liter drivstoff siden de begynte å bruke disse store dataanalysene.
Fordi store data er rotete og krever så mye arbeid for å rydde opp og forberede seg på bruk, har dataforskere blitt kallenavnet "data vaktmestere" for alt det kjedelige arbeidet de gjør.
Vitenskapen om store data og prediktive analyser er imidlertid bedre hver uke. Forvent at store data blir lett tilgjengelig for alle innen 2025.
Er ikke store data en påtrengende trussel mot personvern?
Ja, hvis våre lover og individuelle beskyttelse av personvern ikke forvaltes nøye, så går store data inn i personvernet. Som det står, sporer Google og YouTube og Facebook allerede dine daglige nettvaner. Din smarttelefon og dataliv forlater digitale fotavtrykk hver dag, og sofistikerte selskaper studerer disse fotsporene.
Lovene rundt store data utvikler seg. Personvern er en tilstand av å være at du nå må ta personlig ansvar for, som du ikke lenger kan forvente det som en standard rettighet.
Hva du kan gjøre for å beskytte personvernet ditt:
Det største enkle trinnet du kan ta, er å kappe dine daglige vaner ved hjelp av en VPN-nettverkstilkobling. En VPN-tjeneste vil kryptere signalet ditt slik at identiteten din og plasseringen er minst delvis maskert fra trackers. Dette vil ikke gjøre deg 100% anonym, men en VPN vil vesentlig redusere hvor mye verden kan observere dine vanlige vaner.
Hvor kan jeg lære mer om store data?
Store data er en fascinerende ting for folk med analytiske tanker og en kjærlighet for tech. Hvis det er deg, så besøk definitivt denne siden med interessante store dataprosjekter.
