hledání domény:
1) Google DNS: téměř pokaždé, když navštívíte web, musí získat IP adresu pro web. Google DNS je velmi populární DNS po celém světě, protokoly DNS jsou velmi užitečné pro objevování domén.
2) Registrátoři Domén.
vyhledávání webových stránek:
1) Odpověď Alona Amita (מלודית).
2) Google Toolbar / Google Omnibox / návrhy Mozilla / IE návrhy:
Google / Bing velmi silně využívají data toolbar / omnibox. Kdykoli uživatel navštíví stránku, je požadavek zaznamenán prohlížečem / panelem nástrojů. Protokoly prohlížeče / panelu nástrojů jsou velmi bohatým zdrojem signálů pro vyhledávání a hodnocení adres URL. Za předpokladu, že stránku navštíví alespoň jedna osoba, tvůrce, Google ji může objevit z protokolů.
3) partneři:
Twitter / Facebook firehose feed obsahuje adresy URL, které jsou sdíleny na sociálních sítích. Procházení je obecně velmi pomalý proces. Procházení celého webu trvá kdekoli od 12 hodin-14 dní (Google ví o bilionu adres URL, Bing ví o 800 miliardách adres URL). U některých speciálních vyhledávání, jako jsou zprávy, je rychlejší získat adresy URL z kanálů firehose.
partnerské zdroje jsou nákladné. Nejsou příliš užitečné pro zlepšení pokrytí. Jsou užitečné pouze pro rychlejší objev.
4) Mapa stránek.xml / RSS kanály:
majitelé webových stránek mohou komunikovat strukturu a osiřelé stránky webu do vyhledávače pomocí sitemap.datum.