Reea a fost reprezentată la conferința Crunch Big Data, desfășurată la Budapesta, de colegii Nyiró Zoltán-Csaba și Kodok Márton.
Cei doi dezvoltatori au petrecut trei zile, 28-30 octombrie, alături de specialiști de top Big Data, din întreaga lume. Evenimentul s-a adresat tuturor celor interesați de utilizarea datelor în construirea unei afaceri, indiferent de mărimea ei sau de volumul datelor.
În prima zi a avut loc un workshop, iar restul de două zile au fost dedicate conferinței în sine.
Márton a susținut o prezentare în ziua cu workshopul, titlul fiind „Complex realtime event analytics using BigQuery”.
Prezentarea s-a bucurat de succes. I-au fost adresate numeroase întrebări interesante speakerului, printre acestea s-a evidențiat cea a unui specialist care lucrează în departamentul de security al unei firme. Această firmă avea în baza de date toate cererile realizate de utilizatori în aplicația lor, din care rezultă în mod natural un funnel, adică traseul urmat de utilizatorul respectiv. Specialistul dorea să analizeze toate aceste trasee pentru a detecta anomalii sau posibile trasee ce nu ar trebui urmate. Întrebarea a fost cum ar fi posibil acest aspect cu ajutorul BigQuery. Firma are opțiunea whitelisted, o mulțime de trasee stocate într-un tabel, și astfel pot compara realtime și alerta în cazul în care detectează ceva ce nu este aprobat.
Prezentări interesante
a) Martin Kleppmann: Patterns for real-time stream processing @ Linkedin – http://bit.ly/1RyiBfK
b) Esh Kumar: Real-time Personalization Platform @ Spotify – http://bit.ly/1QfSz2m
c) Building data pipelines: from simple to more advanced – hands-on experience @ Stylight Munich – http://bit.ly/1HtmBZr
d) Yali Sassoon: Best practices in event data processing @ Snowplow
Colegul Nyiró Zoltán-Csaba a fost impresionat de prezentarea lui Martin Kleppman, „Patterns for real-time stream processing.” A primit și o variantă Early Release din cartea lui, ce va fi publicată în curând și se va numi „Designing Data-Intensive Applications.” S-a și apucat de citit și recomandă volumul celor care lucrează pe back-end și diferite baze de date RDBMS, Document-oriented database (NoSQL), Graph, dar poate fi utilă și celor care până acum au lucrat doar cu baze de date tip RDBMS.
Dezvoltatorilor le-a fost prezentat în timp real frameworkul Big Data și analiza de date dezvoltate de inginerii Ericsson din Budapesta, utilizând open source software (Hadoop, Spark etc.).
Dovada flexibilității sistemului a fost prezentată prin trei tipuri de aplicații care au fost implementate, utilizand acel framework:
- monitorizarea consumului și a calității curentului electric a unei întregi zone (~800.000 de case) alimentată cu energie electrică de sursă mixtă, solar (on-grid) și tradițional;
- monitorizarea mașinilor Hybrid și optimizarea utilizării motorului electric pentru a obține cel mai bun consum și poluare redusă în zone critice;
- un roboțel care se plimbă pe o masă și utilizând un telefon atașat detecta persoane din zonă și încerca să ghicească vârsta bazându-se pe analiza feței.
Cele mai bune momente culese de pe Twitter
- People don’t want a data system, they want a crystal ball. Instant answers, not complex pipelines and dashboards.
- Strong predictor of data science success: willingness to reach out to others to become unstuck.
- A key part of running an AB test is simply *waiting.* Don’t open the oven while the cookies are baking.
- Many data candidates can define regression, but can’t apply it to a problem.
- Having a lot of reports does not make you data driven. Having a chart does not mean anyone’s paying attention.
- 4 most important KPIs: user acquisition, engagement, monetization, churn.
- The best data scientists are inquisitive. Curiosity is more important than specific technical skills.
- What is a laugh test? If you look at your recommendation and you don’t laugh, you’re on the right track.
- You think you are a snowflake but there are someone just like you out there.
- Collaborative filtering is humans all the way down.
