Пауки Поисковой машины, Потерянные Без Руководства - Отправляют Этот Признак!
Роботы. файл txt - стандарт исключения, требуемый allweb ползущими/роботами сказать им, что регистрирует и directoriesthat, из которого Вы хотите, чтобы они отсутствовали на Вашем участке. Не allcrawlers/bots следуют за стандартом исключения, и будет continuecrawling свой участок так или иначе. Мне нравится называть их "Плохими Личинками" ortrespassers. Мы блокируем их IP исключением, которое является anotherstory полностью.
Видеть надлежащий формат для несколько стандартных роботов. txtfile смотрят непосредственно ниже. Тот файл должен быть в корне ofthe областью, потому что это - то, где ползущие ожидают, что это будет, не в некотором вторичном справочнике.
Ниже надлежащий формат для роботов. файл txt----->
Пользователь-агент: *
Отвергните:/cgi-bin /
Отвергните: / изображения /
Отвергните: / группа /
Пользователь-агент: msnbot
Задержка ползания: 10
Пользователь-агент: Teoma
Задержка ползания: 10
Пользователь-агент: Хлебайте
Задержка ползания: 10
Пользователь-агент: aipbot
Отвергните: /
Пользователь-агент: BecomeBot
Отвергните: /
Пользователь-агент: psbot
Отвергните: /
--------> Конец роботов. файл txt
Этот крошечный текстовый файл сохранен как простой текстовый документ andALWAYS с названием "роботы. txt" в корне Вашей области.
Быстрый обзор перечисленной информации от роботов. txtfile выше следует. "Пользовательский Агент: MSNbot" от MSN, Хлебать, от Yahoo, и Teoma от AskJeeves. otherslisted - "Плохие" личинки, которые ползают очень быстро и к nobody'sbenefit, но их собственному, таким образом мы просим, чтобы они отсутствовали полностью. * звездочка - дикая карта, которая означает, что "Все" ползущие/пауки/личинки должны остаться из той группы filesor перечисленных справочников.
Личинки, данные инструкцию ", Отвергают: /" означает их shouldstay полностью и те с "Задержкой ползания: 10" thosethat, сползал наш участок слишком быстро и заставил это тонуть в трясине, downand злоупотребляют ресурсы сервера. Google ползает больше slowlythan другие и не требует, чтобы инструкция, таким образом isnot определенно перечислял в вышеупомянутых роботах. файл txt. Инструкция задержки ползания только необходима на очень больших siteswith сотнях или тысячах страниц. Звездочка *applies группового символа всем ползущим, личинкам и паукам, includingGooglebot.
Те мы при условии, что "Задержка ползания: 10" инструкций к wererequesting целых 7 страниц каждую секунду и так мы askedthem, чтобы замедлиться. Число, которое Вы видите, является секундами и Вами canchange это, чтобы удовлетворить Вашей способности сервера, основанной на theircrawling норме. Десять секунд между запросами страницы - далекий moreleisurely и мешают им попросить больше страниц, чем yourserver может придумать.
(Вы можете обнаружить, как быстрые роботы и пауки ползают bylooking в Ваших сырых регистрациях сервера - которые показывают страницы requestedby точные времена к в течение одной сотой секунды - availablefrom Ваш хозяин сети или спрашивают Вашу сеть или ЕГО человек. Ваш serverlogs может быть найден в справочнике корня, если у Вас есть serveraccess, Вы можете обычно загружать сжатую регистрацию сервера filesby календарный день сразу же Ваш сервер. Вы будете нуждаться в utilitythat, может расширить сжатые файлы, чтобы открыть и прочитать те файлы системного журнала сервера сырья обычного текста).
Видеть содержание любых роботов. файл txt только typerobots. txt после любого доменного имени. Если у них будет тот файл, то Вы будете видеть, что он показал как текстовый файл в Вашем web-браузере. Нажмите на связь ниже, чтобы видеть тот файл для Амазонки. com
Вы можете видеть содержание любых роботов вебсайта. файл txt thatway.
Роботы. txt, показанный выше, - то, что мы в настоящее время используем atPublish101 Дистрибьютора Содержания Сети, только начатого в мае of2005. Мы сделали обширное социологическое исследование и издали ряд ofarticles на поведении ползущего и вносящих в указатель задержках, известных как theGoogle Песочница. То Социологическое исследование Песочницы Google - highlyinstructive на многих уровнях для webmasters всюду о theimportance этого, часто игнорировал небольшой текстовый файл.
Одной вещью мы не ожидали подбирать от исследования involvedin вносящие в указатель задержки (известный как Песочница Google) был theimportance роботов. файлы txt к быстрому и эффективному crawlingby, пауки от главных поисковых машин и числа ofheavy ползают от личинок, которые не сделают никакой земной пользы thesite владельцу, все же сползайте большинство участков экстенсивно и тяжело, напрягая серверы к пределу с запросами forpages прибывающий с такой скоростью, как 7 страниц в секунду.
Мы обнаружили в нашем запуске нового участка, что Google andYahoo сползает участок, используете ли Вы роботы. txtfile, но MSN, кажется, ТРЕБУЕТ этого прежде, чем они будут begincrawling вообще. Все роботы поисковой машины кажутся torequest файл на регулярной основе, чтобы проверить что это hasn'tchanged.
Большинство webmasters инструктирует личинки оставаться из справочников "изображения" и справочника "cgi-мусорного-ведра" так же как anydirectories, содержащего частные или составляющие собственность файлы intendedonly для пользователей интранета или защищённого паролем sectionsof Ваш участок. Ясно, Вы должны направить личинки, чтобы остаться outof любые частные области, которые Вы не хотите внесенный в указатель searchengines.
Важность роботов. txt редко обсуждается averagewebmasters, и у меня даже была часть моего клиента business'webmasters, спрашивают меня, что это и как осуществить это, когда Itell их, как важный это должно оба поместить безопасность andefficient ползание поисковыми машинами. Это должен, bestandard знание webmasters в существенных компаниях, butthis иллюстрирует, как немного внимания обращено, чтобы использовать ofrobots. txt.
Пауки поисковой машины действительно хотят Ваше руководство andthis, крошечный текстовый файл - лучший способ предоставить ползущим andbots ясный указатель, чтобы приказать объезжать нарушителей и protectprivate собственность - и тепло приветствовать званых гостей, suchas поисковые машины большой тройки, спрашивая их приятно tostay из частных областей.
Авторское право © 17 августа 2005 Банками Майка Валентин
