How to close such pages from the index?

Question

robots.txt

Hello! How can such rubbish pages be closed from the index?

/ginseng-for-male-potency/namelessololol/
/ginseng-serum-of-youth/namelessllg/
/korean-red-ginseng-extract-gold-240/namelessdsh-2/

Answer 1

Исходя из того, что среди примеров единственный паттерн, который присутствует, это "/безымянный", следовательно такие страницы можно закрыть в robots.txt, добавив правило:
Disallow: */xn--90aigioga3id1b*
(кириллицу в robots-e надо переводить через пуникод)
Только проверьте, чтобы в тех урлах, которые вы не хотите закрывать от индексации не присутствовало в url вхождение "/безымянный".