Domain Discovery:
1) Google DNS : næsten hver gang du besøger en hjemmeside, skal den få IP-adressen til hjemmesiden. Google DNS er meget populær DNS rundt om i verden, DNS-logfiler er meget nyttige til at opdage domæner.
2) Domæneregistratorer.
opdagelse af hjemmesiden:
1) Alon Amit (Kristian)’s svar.
2) Google Toolbar / Google Omniboks / forslag / IE forslag :
Google/Bing gør meget meget tung brug af værktøjslinje/omniboks data. Når en bruger besøger siden, logges anmodningen af bro.ser/værktøjslinje. Logfiler er meget rig kilde til signaler til URL-opdagelse og placering. Forudsat at en side besøges af mindst en person, skaberen, kan Google opdage den fra logfilerne.
3) partnere:
kvidre/Facebook firehose feed indeholder URL ‘ er, der deles på sociale netværk. Gennemsøgning er generelt meget langsom proces. Det tager alt fra 12 timer – 14 dage at gennemgå hele internettet (Google ved om en billion URL ‘er, Bing ved om 800 milliarder URL’ er). For nogle specielle søgninger, som nyheder, er det hurtigere at få URL ‘ erne fra firehose feeds.
Partner feeds er dyre. De er ikke særlig nyttige til forbedring af dækningen. De er kun nyttige til hurtigere opdagelse.
4) Sitemap.
hjemmesideejere kan kommunikere hjemmesidens struktur og forældreløse sider til søgemaskinen ved hjælp af sitemap.- LML.