It’s been a few weeks since I have started playing with Apache Spark, and as I am getting more serious with it, I will probably use it more in my daily job routine too. However, I have decided to write down a few examples while I learn the basics (as well as learning the Scala syntax).
The first example is a simple cardinality estimator using HyperLogLog. It is a very simple application of the combineByKey( ) function of a PairRDD on Spark.
combineByKey(
v => {
val hll = new HyperLogLog(16)
hll.offer(v.getBytes)
hll
},
(acc: HyperLogLog, v) => {
acc.offer(v.getBytes)
acc
},
(acc1: HyperLogLog, acc2: HyperLogLog) =>
{
acc1.addAll(acc2)
acc1
})
I have wrote a simple Python script to generate some sample data and I have run the code using spark-submit. For a 450Mb file, it takes 16 seconds on my MacBook Pro.
Davides-MacBook-Pro:TestSpark davideanastasia$ time ./scripts/launch-hll.sh ./data/dataset.txt ./output-7
Spark assembly has been built with Hive, including Datanucleus jars on classpath
2015-03-29 17:12:23.713 java[17560:1903] Unable to load realm info from SCDynamicStore
15/03/29 17:12:23 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
real 0m16.247s
user 0m20.922s
sys 0m0.984s
On the other hand, if I perform the same operation using awk, it does take 36 seconds (for ONE key, not all of them!)
Davides-MacBook-Pro:TestSpark davideanastasia$ time ./scripts/validate-hll.sh ./data/dataset.txt 10
192545
real 0m37.445s
user 0m36.937s
sys 0m0.358s
Of course HyperLogLog is an estimator, and in my case I have sized it to only 16 bits. Tuning for the right dataset will actually make the estimation more accurate.
It’s been a long time since my last post on this blog and many things have changed in my life in the meanwhile (I’ll make sure I update my “about” page as soon as possible). I would like to write a lot and talk about all the interesting things that I have done in the past two years. So I think the new phase of this blog will be mostly about coding and photography, even though I expect to talk about politics and other personal matters here and there (with the care that is necessary to avoid problem in the “real life”, because after all everybody can read these pages).
Hence keep an eye on the blog, because I might write something soon… 🙂
Non credo che serva aggiungere molto a quello che sta succedendo a Taranto in questi giorni. Dopo il sequestro e la misura di custodia cautelare in carcere per 8 dirigenti ed ex dirigenti, si sta tristemente avverando la solita guerra tra poveri: da una parte i lavoratori, che giustamente combattono per il loro posto di lavoro, dall’altra la citta’ (e non solo), che dopo quasi 50 anni di abusi ambientali, vogliono liberarsi del mostro. Ed ho come l’impressione che nei prossimi giorni si parlera’ molto di questa vicenda (anche se La Repubblica, dopo solo un giorno, ha gia’ declassato la notizia a trafiletto sul proprio internet). Ad ogni modo, molte volte e’ difficile per chi non conosce Taranto capire quanto l’Ilva rappresenti un visibile contrasto tra opportunita’ lavorative e sostenibilita’ ambientale. E’ per questo che porto di nuovo in prima pagina questo posto sul mio blog, sperando che i video che ho aggiunto possano essere uno spunto di riflessione.
All’inizio mi disperavo. Ma non ho scritto di getto. Mi sono contenuto, frenato. Poi alla disperazione, come sempre accade, è subentrata la rabbia. La rabbia verso chi non ha rispetto. La rabbia verso il profitto. La rabbia verso il maledetto vile denaro.
Penso a mio padre. Penso che ha lavorato nell’impianto siderurgico di Taranto (adesso ILVA) per quasi 30 anni (o forse più). E chissà cosa ha respirato. Penso a mia madre e mia sorella, che vivono sotto quelle ciminiere e chissà cosa respirano. E chissà cosa mangiano. Poi penso a tutti quelli che stanno male, che hanno avuto un tumore. Che sono morti. E sanno a chi dare la colpa!
Che l’ILVA fosse un’azienda pericolosa si sapeva. Almeno, chi vive in quella zona lo sa bene. Perché basta passarci vicino per vedere i fumi che escono dalle ciminiere con dei colori assolutamente raccapriccianti. Che nessuno volesse occuparsi della questione era anche palesemente evidente, visto che dieci anni fa lo stabilimento di Taranto e di Genova erano confrontabili ed adesso invece viaggiano su due dimensioni assolutamente separate. Per buona pace della salute dei genovesi (beati voi!).
Quando vivi lontano però… lontano dagli occhi, lontano dal cuore. E così avevo “dimenticato” il problema. Poi qualche giorno fa mi passa davanti questo articolo: A 13 anni ha il tumore da fumo. «E’ la diossina». Ed il problema mi ritorna agli occhi in tutta la sua importanza. Non mi era chiaro come mai un bambino potesse avere un tumore da fumo. Poi, come spesso accade, alla conoscenza dei problemi si arriva per gradi. E così LA7, l’unica TV ancora non controllata dai politici fa un bellissimo report di un’ora e mezza su Taranto (nella trasmissione “Malpelo”). Ed alla indignazione subbentra la disperazione. La disperazione di vedere questi meccanismi assolutamente lontani dal buon senso prendere il sopravento ed ammazzare la gente.
Vi consiglio di vederlo. Anzi, non ve lo consiglio. Dovete vederlo e basta! Una ricerca su YouTube dovrebbe portarvi velocemente al video.
[I’m afraid, my english speaking friend, but I really need to write down what I feel in Italian. I can’t give the same impact writing in my awful english.]
…mi sono rotto le palle. Provate ad immaginare se riuscireste ad essere trasportati in quello che fate se ogni volta che prendete una iniziativa, è sbagliata e non porta a niente. Provate ad immaginare, che come quando eravamo al liceo, qualcuno vi dica cosa fare e come farlo ogni giorno, passo per passo. Il compitino, insomma. Poi prendete questa situazione, ed immaginate il mio stato d’animo, io che della mia indipendenza ho fatto da sempre un punto saldo ed intoccabile, tramite svenderla al primo offerente per realizzare il piccolo sogno personale di andare a vivere all’estero ed imparare una nuova lingua.
Beh, ho fallito. Full stop. Non c’è discussione al riguardo, i fatti dicono che la mia scelta non ha pagato ed a distanza di oltre un anno e mezzo, la risultante costo/benificio è in negativo. La roba che faccio viene pubblicata e riceve pure dei premi, ma onestamente non è roba mia. Mi viene detto come e quando farlo, ed io eseguo. Tecnicamente, uno schiavetto. Se per prendere un PhD si dovesse fare realmente cosi, tutte le segretarie avrebbero un PhD. Cosa voglio fare da grande? Che ne so! So soltanto che sono arrivato a 28 (manca un mese), e sono ancora uno studente squattrinato in una casa di merda. E la lingua che volevo imparare non la parlo ne tantomeno la scrivo come avrei dovuto saper fare. Insomma, sono in negativo. Io sono sempre in negativo. Al massimo mi riesce di entrare in uno stadio di apatia a saldo zero. Ma di essere in positivo proprio non mi ci riesce. Non me lo ricordo un momento in cui ci sono riuscito.
E’ da un bel po’ che non parlo di politica sul mio blog. Generalmente, è un argomento che tratto più volentieri su Facebook, condividendo articoli che mi sembrano interessanti, più che scrivendo sul mio blog. Ma mi va di fare il punto della situazione, giusto per capire esattamente che il problema non è nè la prostata di Berlusconi nè chi riscalda il suo letto la notte. Vado avanti per punti e vediamo se dico cose sensate.
Moralità. Quale deve essere il limite che un politico non deve superare mai per non far incazzare i suoi elettori? Ovviamente, la risposta è “dipende”. Dipende da tante cose. Dipende dai politici, ma soprattutto dipende dal livello culturale degli elettori, che sanno di aver dato un ruolo privilegiato ad una persona, ma che dovrebbero anche sapere di poterla prendere a calci nel sedere appena di questo ruolo privilegiato si abusa o appena il mandato viene disatteso. L’elettore elegge, ma diselegge anche! Ecco quindi che la classe politica di un paese è specchio del suo popolo. In Inghilterra1 basta aggiungere sulle note spesa del parlamento 70£ di film porno per essere silurati. Sia chiaro, non è illegale, è semplicemente immorale. In Italia questo confine dov’è? Si potrebbe iniziare con calma, iniziando a silurare chi qualcosa di illegale l’ha fatta davvero (e nel parlamente italiano non è nemmeno troppo difficile!), ripulendo pian piano. E’ chiaro che in un paese di “ancora ti meravigli?” o di “e che possiamo fare?” non ci si può indignare per qualche nota spesa gonfiata (dovremmo mandare a casa TUTTI!), ma certamente ci si può indignare per qualcosa di penalmente rilevante. Dovremmo almeno…
A tal proposito vi invito anche a leggere il bellissimo editoriale “L’amnesia della morale” di Edmondo Berselli, nonché l’editoriale “He saw himself as a modern Caesar. Now his decline is epic” di Ezio Mauro sul Guardian.
Informazione, parte 1: casa nostra. Ma è chiaro anche che indignazione dei cittadini e l’informazione vanno di pari passo. Soprattutto in un paese dove la magistratura viene sempre più fortemente controllata dal governo (tramite leggi apposite che ne bloccano l’azione). Purtroppo però l’Italia è un paese di ignoranti, un paese che per l’80% si informa solo tramite la TV, uno strumento ormai completamente controllato, dal pubblico al privato, da una sola persona. Il calcolo è semplice: TV controllata, popolo controllato. Ma del resto, mentre noi comunisti ce ne accorgiamo adesso, qualcun’altro aveva ben fatto i suoi conti molto tempo fa. Ecco quindi che ci troviamo un’altro servo a direttore del TG1 che candidamente ci racconta un mare di balle nell’edizione delle 20.30 del 22 Giugno 2009 (purtroppo il video non e’ piu’ su YouYube).
Peccato che lui stesso dicesse, quando ancora non adeguatamente ricompensato, tutto il contrario:
Quattro anni fa, e cioè in tempi non sospetti, scrissi che la nomina di Giampaolo Sodano alla Rai nasceva dai salotti di Gbr, la televisione di Anja Pieroni. Oggi penso che se noi avessimo raccontato di più la vita privata dei leader politici forse non saremmo arrivati a tangentopoli, forse li avremmo costretti a cambiare oppure ad andarsene. Non è stato un buon servizio per il paese il nostro fair play: abbiamo semplicemente peccato di ipocrisia. Di Anja Pieroni sapevamo tutto da sempre e non era solo un personaggio della vita intima di Craxi. La distinzione fra pubblico e privato è manichea: ripeto, un politico deve sapere che ogni aspetto della sua vita è pubblico. Se non accetta questa regola rinunci a fare il politico.
Informazione, parte 2: gli alieni. Devo dire che non capisco come mai cose che in Italia vengono definite gossip o fatti privatisiano così interessanti all’estero. Mi sfugge come mai i giornali stranieri ne parlino così tanto e come mai ogni giorno dedichino a questa cosa così tanto spazio. Quindi le ipotesi sono due: o in Italia non abbiamo capito ancora cos’è l’informazione; oppure all’estero sono dei gossipari impiccioni. Io voto per la prima. Voi?
Escort, favori e ricatti. Ma tutta questa storia da dove arriva? Un imprenditore pugliese, una escort ben conosciuta ed una promessa non mantenuta. Il cerchio si chiude facilmente: la promessa tra le lenzuola di aiutare la donna nelle sue attività, per sistemarle alcune licenze che non ne volevano proprio sapere di andare al posto giusto, poi disattesa dai fatti. E quindi la vendetta. Un giochino al ricatto che di cui già si era parlato nel caso Sanjust. Non aggiungo altro, basta leggere l’articolo e guardare l’ultimo intervento di travaglio per capire che stiamo proprio inguaiati.
Ultime considerazioni sparse. Parto dalla prima, quella che ritengo più importante di tutte. Tutte le idee, le opinioni ed i punti di vista sono accettabili. Non c’è un punto di vista sbagliato, uno migliore, uno superiore. Si può votare e dare la fiducia a chi si vuole. Ma non sarebbe meglio scegliere il proprio punto di vista sulla base delle verità, conoscendo le cose, piuttosto che sulla base di informazioni distorte e filtrate?
Mi chiedo poi come mai in Italia la gente è sempre legata alla poltrana, mentre altrove la gente prima si dimette, dimostra la sua innocenza e poi si ripropone al popolo. Mi chiedono come sia possibile che quello che altrove è immorale sia sufficiente a silurare politici, mentre a noi non si riesce nemmeno con le condanne penali.
Mi chiedono come mai quando il gossip è di Berlusconi, non è notizia, mentre quando è di Di Pietro, arriva in prima pagina. Mi chiedo come mai quando il condannato è Mills (corrotto da Berlusconi), la notizia viene data in sordina, mentre quado il condannato è Travaglio per diffamazione, è da apertura di telegiornale.
Mi chiedo poi come mai Corriere.it lancia la notizia dell’indagine barese, per poi “nasconderla” a metà pagina, salvo poi riportarla in cima quando l’interessato rilancia la difesa.
So già che qualcuno si lamenterà perché ho fatto questa citazione. ↩