Twitter data mining and clustering results

It has been a while since my last update on the Flux of MEME project, but my team was not idle: we have worked a lot both on algorithms and architecture, and now it is time to analyse the first results. Thanks to the research grant awarded by @workingcapital, a first prototype of data mining, topic extraction and clustering application was developed, using Twitter as its main data source.

Our software is structured in 3 main modules:

  1. data acquisition: uses Twitter streaming API to fetch contents and store them on our database. Data is filtered in order to store geo-located references only, representing around 1% of the total amount of tweets. Data elements are "enriched" when possible, thanks to a web crawler that fetches content referenced by links inside the tweets body
  2. data analysis: performs a 2 step iteration on content elements, first creating a set of geo-located clusters with K-means algorithm, then extracting topics with Latent Dirichlet allocation (LDA). A lot of work still needs to be done on this module in order to increase meaningfulness of results and analysis of clusters correlation and prediction
  3. data visualization: it is an AJAX based web front-end for analysis and verification of experimental results

The algorithms and architecture are still undergoing a lot of development, but the first results are really encouraging and we have planned another 6 months of activities under the current grant. [EDIT] please check below this non-technical presentation of the main project features.

</embed>

</div>

We are completely open to discussion, recommendations and funding proposals, so anyone interested in this topic, please feel free to enquire to learn more about this project.

Read more

Cantine aperte in Napa Valley

a view of napa valley from artesa winery

La valle è estremamente larga e ariosa, quasi una pianura raccolta tra due file di colline non eccessivamente alte. Le viti hanno vita facile tutto sommato: al Castello di Amorosa (vedi sotto) ci hanno confermato questa sensazione, dicendoci appunto che i produttori che seguono un gusto di tipo europeo vanno in cerca di terreni più inclinati, dove la vite debba rimanere attaccata e pescare in basso per cercare l'acqua. Per quanto riguarda la temperatura, penso che tecnicamente l'inverno sia di riposo per la vite, ma si parla comunque di un mitissimo inverno tra i 10 e i 20 gradi. Pare che ci sia comunque una buona escursione termica, e ci dicono che la media annuale passa tra i 40-45 notturni e gli 85-95 diurni, in farenheit ovviamente.

Per la cronaca, la degustazione è stata l'orgia del merlot e cabernet sauvignon, una fila consistente di bicchieri che sembravano diluiti nel burro per cercare di nascondere quell'ignorante violenza che può esprimere, come lo chiamano qui, un cab (e ogni volta piuttosto che al cabernet sauvignon penso all'ometto bolso alla guida di un taxi che parla come fosse appena uscito da Eastenders)

Le cantine

Freschi di apertura, alle 10 del mattino puntuali ci presentiamo ad artesa http://www.artesawinery.com/index1.html impressionante costruzione immersa in un terrapieno erboso, ci propinano un pinot bianco che sembrava una spremuta di mango e albicocche, uno chardonnay più simile ad un gelato alla vaniglia e poi il trio che qui fa godere tutti: pinot noir, merlot, cabernet sauvignon. Sono tutti addormentati sotto strati e strati di morbidi legni, tannini non pervenuti. Ne usciamo consapevoli che sarà una lunga giornata, ma comunque soddisfatti del meraviglioso panorama che offre.

castello di amorosa

Affrontiamo poi l'incredibile Castello di Amorosa, ricostruzione di un progetto di castello medievale toscano, con larghissimo uso di materiali originali (ebbene si, container pieni di pietre e mattoni fatti spedire apposta dall'Europa) http://www.castellodiamorosa.com/ il cui proprietario, Dario Sattui, produce una quantità stupefacente di vitigni solitamente ritenuti impopolari da queste parti, e senza nemmeno mascherarli più di tanto.
La visita è una festa, una disneyland del vino con tanto di sala delle torture e infinite catacombe stipate di botti, barrique e bottiglie, per arrivare alla notevole degustazione.
Pinot grigio, chardonnay, pinot bianco, san giovese rosato, merlot, san giovese in purezza, cabernet sauvignon, cabernet riserva e super tuscan. Tolto il merlot, del quale la vita londinese rende rapidamente saturi, gli altri sono ben più sinceri e onesti di quanto trovato fino ad ora. Gran bei vini e gran bella esperienza.

Ci fermiamo quindi per uno spuntino al picnic ground di V. Sattui (altra parte della famiglia del precedente castello) http://www.vsattui.com/ in una notevole gastronomia fornita di ogni delizia toscana, dal jambalaya alle crab cakes (non sapevate che fossero toscane?) ma ottima qualità di ogni cosa, inclusa la bottiglia di riesling che ci accompagna. Sospettamente un po' troppo fruttato, ma a questo punto non si fa più troppo caso.

Dopo una tranquilla passeggiata automobilistica sul lato est della valley, affrontiamo un altra sosta al rutherford ranch http://www.rutherfordwine.com/products/home.php?cat=250 per una selezione di 3 cabernet sauvignon riserva. Non ne usciamo entusiasti, ma ad onor del vero eravamo gia abbastanza provati dalle esperienze precedenti. Si tratta in ogni caso di vini eccessivamente ammorbiditi, accompagnati da cioccolato e cranberries che probabilmente trovano consenso in palati più addomesticati, per non dire addormentati.

Tentiamo un'ultima sortita a Mumm (si, quel mumm: http://mummnapa.com/ ), per cercare di sciacquare via tutto questo miele con un po' di pinot noir con le bollicine, ma purtroppo arriviamo tardi. Sono quasi le 5 ed è ora di chiudere le cantine e possiamo tornarcene in albergo a riposare un po', orgogliosi di aver retto la bandiera fino agli ultimi assalti.


View A trip to Napa in a larger map
Nota di servizio: le degustazioni si pagano, in media da 10 a 20 dollari a persona. ma partendo dai consigli di un consierge si ricevono anche i buoni per avere due degustazioni al prezzo di una. I vini, volendo acquistarli, sono leggermente costosi, ma non proibitivi: niente al di sotto dei 20 dollari a bottiglia, che comunque è il prezzo piu' comune in cantina. Durante la degustazione non si risparmiano a versare il bicchiere di vino venduto anche a 100 dollari a bottiglia, rendendo l'esperienza del tutto godibile e completa. Impressiona la dimensione delle cantine, le cui vigne si estendono solitamente per centinaia di acri.

Bilancio finale: assolutamente consigliabile e con un po' di pazienza si trovano probabilmente anche vini meno addomesticati della media.

Read more

Top 10 italian songs

We were recently asked by a friend of ours to list the top 10 italian songs. Without any specific rule, it just had to express our feelings and be representative of Italy. The outcome was a funny pre-christmas night, digging in youtube archives, and this is the result.

</embed>

Read more