Domain Discovery:
1) Google DNS: Nesten Hver gang du besøker et nettsted, må DEN få IP-adressen til nettstedet. Google DNS er veldig populær DNS rundt om i verden, DNS-logger er svært nyttige for å oppdage domener.
2) Domeneregistratorer.
Nettsideoppdagelse:
1) Alon Amit (אלון עמית) s svar.
2) Google Toolbar / Google Omnibox / Mozilla Forslag / IE Forslag:
Google / Bing gjør veldig veldig tung bruk av verktøylinje / omnibox data. Når en bruker besøker siden, logges forespørselen av nettleseren / verktøylinjen. Browser / Toolbar logger er svært rik kilde til signaler FOR URL oppdagelse og rangering. Forutsatt at en side er besøkt av minst en person, skaperen, Kan Google oppdage Den fra loggene.
3) Partnere:
Twitter/Facebook firehose feed inneholder Nettadresser som deles på sosiale nettverk. Crawling er generelt veldig sakte prosess. Det tar alt fra 12 timer – 14 dager å gjennomsøke hele nettet (Google vet om en trillion Nettadresser, Bing vet om 800 milliarder Nettadresser). For noen spesielle søk, Som Nyheter, er det raskere å få Nettadresser fra firehose feeds.
Partner feeds er kostbare. De er ikke veldig nyttige for å forbedre dekning. De er bare nyttige for raskere oppdagelse.
4) Sitemap.xml / RSS feeds:
Eiere kan kommunisere strukturen og foreldreløse sider av nettstedet til søkemotor ved hjelp av sitemap.xml.