Google este un gigant, search engine-ul nu este principalul produs al lui. Este înglobat și Cloud Computing, ceea ce înseamnă că se pot închiria servere sau o flotă de servere. BigQuery este un serviciu integrat în platforma Google Cloud, pe care îl putem utiliza pentru a rula analize pe date imense sau Big Data.
Ce presupune BigQuery?
Analizele se realizează în limbajul SQL, familiar nouă, folosit la bazele tradiționale. BigQuery se axează în principal pe date foarte mari, care nu se pot realiza comod „in house”. Noi îl utilizăm la Reea pentru a stoca date nestructurate, mai precis preluăm datele produse de aplicațiile mobile sau web ale utilizatorilor noștri și le analizăm ulterior cu BigQuery.
Platforma se folosește de puterea de procesare a infrastructurii Google, astfel că oferă o viteză mare. Datele trebuie să fie disponibile în timp real, ceea ce își doresc șefii sau analiștii noștri. Vreau să analizez, să concluzionez, să găsesc ceva ce pot dezvolta, să permit luarea de decizii informate, pentru rezultate mai bune în afaceri. BigQuery îmi oferă această posibilitate.
Dezvoltatorii au avut întotdeauna o problemă cu transformarea volumelor mari în decizii. Acum există mai multe tipuri de informații pentru analiză care provin din contexte, cum ar fi surse mobile sau chiar email.
Costurile sunt mici. Menționez că un terabyte de date este gratuit. Dacă utilizatorul caută ceva anume, Google BigQuery poate rula analize până la petabyte. 5 terabytes costă 12 dolari, deci companiile pot investi bani în a scala până la petabyte, ceea ce pare pentru noi foarte mare. Însă datele generate de companii și soluțiile lor cresc enorm în timp, iar necesitatea crește și ea.
Exemple concrete de utilizare a platformei BigQuery
1. Dacă prelucrăm datele provenind de pe urma unei campanii email, putem cunoaște momentul exact în care o persoană a deschis un email sau elementul pe care a dat click. Astfel, dacă acea persoană își verifică emailurile la ora 9, eu pot să trimit unul la 8:50, pentru a fi primul în inbox. Analiza poate să-mi arate și dacă un subiect este îmbunătățit sau așezarea în pagină este mai performantă decât cea care apare în varianta precedentă. Astfel, putem ajunge la rezultate mai bune în afaceri.
2. Putem exporta date privind sesiunile și accesările dintr-un cont Google Analytics Premium în BigQuery, utilizând apoi o sintaxă similară cu SQL pentru a interoga toate datele Google Analytics. Exemple ar fi: numărul mediu de interacțiuni ale utilizatorilor înainte de achiziție sau produsele achiziționate de clienții care au cumpărat produsul A.
Direcții ale companiilor
La nivel mondial, fiecare companie alege direcția în care își dezvoltă soluțiile. Unele dezvoltă soluții proprii, pe infrastructura lor, altele utilizează frameworkuri open source. Spre exemplu, Spark sau Hadoop sunt unele dintre cele folosite pentru gestionarea volumului imens de date. Clienții mari, companiile de utilități sau telecomunicații, au puterea necesară să ruleze aceste date în interiorul lor. Ei utilizează aceste frameworkuri pentru a lua decizii Big Data. Alte companii utilizează BigQuery ca un instrument din Google Developers, care le permite să ruleze interogări super rapide ale seturilor de date de mari dimensiuni.
Reea la Dev Talks Cluj, anul acesta
La conferința Dev Talks din 13 mai 2015 de la Cluj, am prezentat o soluție Big Data pentru analiza evenimentelor în timp real. Un volum prea mare de date reprezintă o problemă de stocare ce nu se poate realiza cu echipament propriu, decât cu costuri ridicate. Prea multe date presupun o problemă masivă de analiză a acestora. Prezentarea am axat-o pe ușurința tehnologiei BigQuery, mai precis, cum poate cineva să meargă acasă și să ruleze toate aceste informații și analize în limbajul SQL.
Ce pregătim în viitor?
În primă fază, după conferința de la Cluj, am organizat în Tîrgu-Mureș un meetup cu intrare gratuită. Au fost peste 50 de participanți foarte interesați de subiect, printre care și studenți. Am dori ca studenții să dezvolte soluții Big Data. Încurajăm profesorii să își îndrume studenții în a alege subiecte din câmpul tehnologiei moderne pentru lucrările de licență. Google BigQuery până la un terabyte este gratuit.
În al doilea rând, dorim să punem bazele unei comunități care se poate îmbunătăți cu ajutorul soluțiilor Big Data. Transportul în comun se poate îmbunătăți cu Big Data, chiar și datele culese de pe rafturile supermarketurilor. De asemenea, există o comunitate Waze foarte mare în România. Noi vrem să îmbunătățim sistemul și să producem aplicații externe ce cresc și mai mult nivelul confortului participanților rutieri.
E important să ținem pasul cu tehnologiile oferite de giganții de afară. Aceste tehnologii se pot fructifica și la nivel local. Fiecare dezvoltator se specializează constant și învățăm pe zi ce trece tot mai mult.
