Domain Discovery:
1) Google DNS : szinte minden alkalommal, amikor meglátogat egy webhelyet, meg kell szereznie a webhely IP-címét. A Google DNS nagyon népszerű DNS az egész világon, a DNS-naplók nagyon hasznosak a domainek felfedezéséhez.
2) Domain Regisztrátorok.
weblap felfedezése :
1) Alon Amit (ons) válasza.
2) Google Eszköztár / Google Omnibox / Mozilla javaslatok / IE javaslatok :
Google/Bing, hogy nagyon-nagyon nehéz használata eszköztár/omnibox adatokat. Amikor egy felhasználó meglátogatja az oldalt, a kérést a böngésző/eszköztár naplózza. Böngésző / eszköztár naplók nagyon gazdag forrása jelek URL felfedezés és rangsorolás. Feltételezve, hogy egy oldalt legalább egy személy, az alkotó látogat meg, a Google felfedezheti azt a naplókból.
3) partnerek :
a Twitter/Facebook firehose feed a közösségi hálózatokon megosztott URL-eket tartalmazza. A feltérképezés általában nagyon lassú folyamat. Az egész web feltérképezése 12 órától 14 napig tart (a Google körülbelül billió URL-t, a Bing körülbelül 800 milliárd URL-t tud). Néhány speciális kereséshez, például a hírekhez, gyorsabb az URL-ek beszerzése a firehose hírcsatornákból.
a Partnercsatornák költségesek. Nem nagyon hasznosak a lefedettség javításához. Csak a gyorsabb felfedezéshez hasznosak.
4) webhelytérkép.xml / RSS hírcsatornák:
a webhelytulajdonosok a webhely szerkezetét és árva oldalait a webhelytérkép segítségével kommunikálhatják a keresőmotorral.xml.