День добрый всем. Есть ссылки которые попали в поиск со знаком вопроса требуется от них избавиться подскажите друзья как прилогаю свой robots.txt вот эти параметры уже прописал Disallow: /?display=block&sort=PRICE&order=desc и еще Disallow: /*? но не срабатывает ссылка попрежнему со статусом 200 ОК https://sitename.ru/catalog/telo/tovar-1/?display=block&sort=PRICE&order=desc
Вы понимаете, что связи между robots.txt и ответом сервера (200, 404 и др) нет никакой? Соответственно, если есть какие-то проблемы, то в robots.txt даже не смотрите, его смотрят только поисковики. А отправить 404 ошибку на URL со знаком вопроса можно через .htaccess или хотя бы через php-скрипты. Как правильно дополнить .htaccess - поищите в интернете, не уверен что сам подскажу правильно.
Денис Сон написал: Вы понимаете, что связи между robots.txt и ответом сервера (200, 404 и др) нет никакой? Соответственно, если есть какие-то проблемы, то в robots.txt даже не смотрите, его смотрят только поисковики. А отправить 404 ошибку на URL со знаком вопроса можно через .htaccess или хотя бы через php-скрипты. Как правильно дополнить .htaccess - поищите в интернете, не уверен что сам подскажу правильно.
после удаления они могут появиться вновь дабы не закрыть индексацию всех урл со знаком вопроса