wykrywanie domeny:
1) Google DNS: prawie za każdym razem, gdy odwiedzasz witrynę, musi uzyskać adres IP dla witryny. Google DNS jest bardzo popularny DNS na całym świecie, dzienniki DNS są bardzo przydatne do odkrywania domen.
2) Rejestratorzy Domen.
odkrycie strony:
1) ODPOWIEDŹ Alona Amita.
2) Google Toolbar / Google Omnibox / Mozilla Suggestions / IE Suggestions:
Google / Bing bardzo intensywnie korzysta z danych toolbar / omnibox. Za każdym razem, gdy użytkownik odwiedza stronę, żądanie jest rejestrowane przez przeglądarkę / pasek narzędzi. Dzienniki przeglądarek / pasków narzędzi są bardzo bogatym źródłem sygnałów do wykrywania adresów URL i rankingu. Zakładając, że strona jest odwiedzana przez co najmniej jedną osobę, twórcę, Google może ją odkryć z dzienników.
3) partnerzy:
Twitter / Facebook Firehose feed zawiera adresy URL, które są udostępniane w sieciach społecznościowych. Indeksowanie jest na ogół bardzo powolnym procesem. Przeszukiwanie całej sieci zajmuje od 12 godzin do 14 dni (Google wie o bilionie adresów URL, Bing wie o 800 miliardach adresów URL). W przypadku niektórych specjalnych wyszukiwań, takich jak wiadomości, szybciej jest uzyskać adresy URL z kanałów firehose.
kanały partnerskie są kosztowne. Nie są zbyt przydatne do poprawy zasięgu. Są one przydatne tylko do szybszego odkrywania.
4) Mapa strony.kanały xml / RSS:
właściciele witryn mogą przekazywać strukturę i osierocone strony witryny do wyszukiwarki za pomocą mapy strony.xml.