С момента создания директивы robots.txt прошло 20 лет. Данный стандарт был разработан 30 июня 1994 года Мартином Костером с целью блокировки доступа роботов поисковых систем к отдельным элементам сайта. Он позволяет целиком или частично запретить индексирование ресурса, ограничить круг поисковых роботов, которым будет разрешено поводить эту процедуру, или полностью оградить ресурс от проведения индексирования (в случае реконструкции или создания сайта).
В начале 90-х годов, до момента создания файла robots.txt, главной заботой веб-мастеров была доступность сайтов, а не позиции в выдаче, и сайты не имели той пропускной способности, которая существует сегодня. Новый принятый стандарт помогал закрывать для роботов отдельные части сайта. Основные поисковики того времени, в числе которых WebCrawler, AltaVista и Lycos, быстро приняли robots.txt и приспособили к нему свои алгоритмы. И даже сегодня, спустя два десятка лет, поисковые системы все так же подчиняются ограничениям, установленным robots.txt.