Tag Archive for: robots.txt
Poradnik: Co o indeksowaniu stron przez roboty wyszukiwarek wiedzieć powinien każdy webmaster. cz I
Roboty wyszukiwarek to potężne narzędzia pomagające w przeszukiwaniu i indeksowaniu treści umieszczonych w Internecie. Bardzo często zdarza się tak, że webmasterzy chcą, aby roboty miały dostęp tylko do niektórych (np. najbardziej…
Kontrola przeszukiwania i indeksowania
Czy wiesz, jak robot Google, Googlebot, traktuje sprzeczne dyrektywy w pliku robots.txt? Czy wiesz, jak zapobiec indeksowaniu pliku PDF? Odpowiedzi na te pytania, wraz z wieloma innymi informacji na temat kontrolowania przeszukiwania i indeksowania…
Niewłaściwe stosowanie pliku robots.txt i dobre rozwiązania
Twoje strony mogą nadal pojawiać się w wynikach wyszukiwania
Roboty wyszukiwarek przestrzegające instrukcji zawartych w pliku robots.txt nie zindeksują zawartości strony, ale nadal mogą dodać ją do swojego indeksu. Poniżej dwa…