Domain Discovery:
1) Google DNS : bijna elke keer dat u een website bezoekt, moet het IP-adres van de website worden opgehaald. Google DNS is erg populair DNS over de hele wereld, DNS logs zijn zeer nuttig voor het ontdekken van domeinen.
2) Domein Registrars.
Web Page Discovery:
1) Het Antwoord van Alon Amit (אלומית).
2) Google Toolbar / Google Omnibox / Mozilla suggesties / IE suggesties:
Google / Bing maakt zeer intensief gebruik van werkbalk/omnibox-gegevens. Wanneer een gebruiker de pagina bezoekt, wordt het verzoek geregistreerd door de browser/werkbalk. Browser / werkbalk logs zijn zeer rijke bron van signalen voor URL-ontdekking en ranking. Ervan uitgaande dat een pagina wordt bezocht door ten minste één persoon, de maker, Google kan het ontdekken uit de logs.
3) Partners:
Twitter / Facebook firehose feed bevat URL ‘ s die op sociale netwerken worden gedeeld. Kruipen is over het algemeen zeer langzaam proces. Het duurt overal van 12 uur-14 dagen om het hele web te kruipen (Google Weet over een biljoen URL ‘s, Bing Weet over 800 miljard URL’ s). Voor sommige speciale zoekopdrachten, Zoals Nieuws, Het is sneller om de URL ‘ s van firehose feeds.
partnerfeeds zijn duur. Ze zijn niet erg nuttig voor het verbeteren van de dekking. Ze zijn alleen nuttig voor snellere ontdekking.
4) Sitemap.xml / RSS-feeds:
Website-eigenaren kunnen de structuur en weespagina ‘ s van de website met behulp van sitemap aan de zoekmachine communiceren.xml.