Scraping e analisi dati su misura

Ci sono dati che ti servono e che nessuno ti dà in un formato comodo. Stanno dentro un catalogo pubblico, un portale, i siti dei concorrenti, e l’unico modo per averli è andarli a prendere.

La parte difficile non è scrivere l’estrattore. È fare in modo che continui a funzionare quando la fonte cambia, e che tu ti accorga subito quando smette. Un estrattore che si rompe fa rumore e lo aggiusti. Uno che restituisce metà dei dati senza dirlo entra nei tuoi report e ci resta per mesi. Per questo insieme alla pipeline consegno i controlli sul risultato: copertura attesa, valori fuori scala, righe che cambiano forma.

Prima di estrarre faccio una ricognizione della fonte con un server MCP che ho scritto per questo: struttura, tecnologie, limiti, cosa dice il robots.txt. Decide se il lavoro si può fare bene, prima di stimarlo.

Leggere dall’esterno serve anche a verificare sistemi tuoi. Per controllare lo stato di un catalogo ho interrogato 2.393 prodotti e 9.591 immagini camminando il sito come farebbe un visitatore, senza toccare il database. Quel controllo ha trovato un problema che il database, coerente con sé stesso, non poteva mostrare.

Da te mi serve sapere quale fonte, ogni quanto, e cosa ci farai con i dati. Non prendo lavori che richiedono di aggirare autenticazione o protezioni antibot, e non lavoro su fonti che espongono dati personali senza una base giuridica che mi dichiari tu.