Ilari Sani | 16.4.2008

Googlen hakurobotit ovat perinteisesti kartoittaneet verkkoa seuraamalla linkkejä. Nyt Google alkaa tutkia myös sivuilta löytyviä erilaisia lomakkeita kuten hakukenttiä.

Insinöörit Jayant Madhavan ja Alon Halevy kertovat, että hakurobotti kykenee jatkossa mm. käyttämään valikoita ja valintaruutuja sekä kirjoittamaan valikoituja hakusanoja tekstikenttiin. Robotti löytää näin sivuja, jotka ovat aiemmin olleet piilossa lomakkeen takana.

Google vakuuttaa, että se seuraa jatkossakin hyvää hakutapaa eikä indeksoi sivuja, jos tämä on kielletty robots.txt-tiedostossa tai noindex-tagissa. Lomakkeiden indeksointiin käytetään ainoastaan GET-muotoisia HTTP-kutsuja, ja se aloitetaan Googlen sanoin merkittävistä sivustoista.

Linkit

• Google Webmaster Central: Crawling through HTML forms