Per passare immediatamente alla fase pratica di definizione dello standard Mountain View ha già pubblicato sul code hosting di GitHub il codice sorgente del parser a cui fa riferimento il crawler di Google per interpretare le regole inserite all'interno del documento. Ora la palla passa nelle mani della IETF (Internet Engineering Task Force) che si occupa appunto di promuovere gli standard per il Web.

La storia del robots.txt inizia nel 1994 grazie al lavoro dell'informatico olandese Martijn Koster, il suo obbiettivo era quello di creare un sistema semplice grazie al quale indicare le risorse che, non partecipando al processo di indicizzazione, non sarebbero potute essere raggiungibile dagli utenti attraverso i risultati della SERP (Search Engine Results Page).

Il sistema concepito da Koster, rimasto sostanzialmente immutato nel corso degli ultimi 25 anni, prevede che tale file debba essere uploadato nella root del Web server per essere immediatamente raggiungibile dal parser tramite l'URL (d'esempio) "nomeadominio.com/robots.txt". Nonostante la grande diffusione nessuno fino ad ora si era reso protagonista di iniziative per la sua standardizzazione.

Autore Claudio GARAU - Mr Webmaster (news)

Phoca - GAE