Nie, roboty. Plik txt nie jest wymagany dla strony internetowej. Jeśli bot wejdzie na Twoją witrynę, a jej nie ma, po prostu zaindeksuje Twoją witrynę i zindeksuje strony w normalny sposób. … plik txt jest potrzebny tylko wtedy, gdy chcesz mieć większą kontrolę nad tym, co jest indeksowane.
Co się stanie, jeśli nie masz pliku robots txt?
roboty. txt jest całkowicie opcjonalny. Jeśli masz jeden, roboty zgodne ze standardami będą go szanować, jeśli nie masz, wszystko, co nie jest dozwolone w elementach HTML-META (Wikipedia), jest możliwe do zindeksowania. Witryna będzie indeksowana bez ograniczeń.
Czy mogę usunąć plik robots txt?
Musisz usunąć obie linie ze swoich robotów. plik txt. Plik robots znajduje się w katalogu głównym twojego folderu hostingu, zwykle można go znaleźć w /public_html/ i powinieneś być w stanie edytować lub usunąć ten plik za pomocą: FTP za pomocą klienta FTP, takiego jak FileZilla lub WinSCP.
Czy plik robots txt jest bezpieczny?
Roboty. txt plik sam w sobie nie stanowi zagrożenia bezpieczeństwa, a jego prawidłowe użycie może stanowić dobrą praktykę z powodów niezwiązanych z bezpieczeństwem. Nie należy zakładać, że wszystkie roboty internetowe będą przestrzegać instrukcji pliku.
Dlaczego plik robots txt jest niepoprawny?
Po prostu dodaj listę adresów URL, które mają być prywatne dla robotów. Plik txt jest jednym z najgorszych sposobów na ukrywanie adresów URL iw większości przypadków daje dokładne przeciwieństwo zamierzonego wyniku.
