martedì 29 gennaio 2013

automatismi nella trasformazione di dati, con make

questo articolo presenta un concetto interessante; parla infatti di come utilizzare l'utility unix make per automatizzare procedure che maneggiano dati. riprendo verbatim come descrive la situazione

"""
Any reasonably complicated data analysis or visualization project will involve a number of stages. Typically, the data starts in some raw form and must be extracted and cleaned. Then there are a few transformation stages to get the data in the right shape, merge it with secondary data sources, or run it against a model. Finally, the results get converted into the output format desired.
"""

cosa propone? di utilizzare dei makefile per pilotare il processo

"""
Fortunately, I'm not the first person to want to automate a computation pipeline. Way back in 1977, Stuart Feldman at Bell Labs realized that the tasks required to compile a program could be abstracted out into a general-purpose pipeline tool. The command-line tool, called Make, is still widely used for building software, and it works just as well for data processing jobs.
"""

approccio piuttosto ragionevole, e abbastanza noto. il fatto che make nasca per automatizzare le compilazioni e che quindi i tutorial siano rivolti a spiegare essenzialmente questo aspetto (ecco qui uno discreto) non deve spaventare.


Nessun commento:

Posta un commento