Результаты поиска
Введите запрос, по завершению нажмите Enter.
ФорумБлогиМануалыНовые постыЛюди
  • Страница 1 из 1
  • 1
Форум » Search Engine Optimization » Вопросы по раскрутке » robots.txt или запрещаем индексацию некоторых страниц
robots.txt или запрещаем индексацию некоторых страниц
Отправлено 09.08.2012 - 22:451
Бывалый
1313 сообщений
Мужчина
Можно ли запретить поисковикам индексировать определённые страницы:
site.ru/download/index.php?=1-*-start
Где * постоянно меняющаяся цифра (то есть у меня есть материал №20, следовательно ссылка будет такая: site.ru/download/index.php?1-20-start, если 50, то site.ru/download/index.php?=1-50-start)

Если можно, то каким образом?
Профиль Личное сообщение Дом. страница icq Skype
123
Отправлено 09.08.2012 - 22:492
Нет аватара
Бывалый
1029 сообщений
Мужчина
http://www.robotstxt.org/
Профиль Личное сообщение Дом. страница icq Skype
97
Отправлено 09.08.2012 - 22:523
Нет аватара
Бывалый
1284 сообщения
Мужчина
SkaZzzz, А почему нельзя сразу закрыть от индексации все это ?
Quote
/index.php?=1-*-start


Или вот так:
Quote
/index.php?=1-*
Профиль Личное сообщение Дом. страница icq Skype
47
Отправлено 09.08.2012 - 23:064
Бывалый
1313 сообщений
Мужчина
ahar13, мне это ничего не даёт, я "всё" прочитал о запрете страниц. Начиная от самого сайта, до определённых файлов и их типов. Но как запретить страницы site.ru/download/index.php?=1-*-start так и не нашёл.

nofollow тоже не подходит, нужно именно через robots.txt
PS: твоё сообщение просто набивание постов, кстати которых у тебя навалом (сообщение содержащие линки на другие сайты).

Добавлено (09.08.2012, 23:06)
---------------------------------------------
Rj_DiNex,

Quote
Иногда хочется написать что-то вроде:

User-agent: *
Disallow: file*.html

для указания все файлов file1.html, file2.html, file3.html и т.д. Но нельзя, к сожалению
Профиль Личное сообщение Дом. страница icq Skype
123
Отправлено 09.08.2012 - 23:085
Нет аватара
Бывалый
1284 сообщения
Мужчина
Quote
Но как запретить страницы site.ru/download/index.php?=1-*-start так и не нашёл.

Потому-что там сказаны лишь общие понятия. Много сайтов на не широко известных движках работают, а еще больше на собственных и каждый работает по своей структуре.

Пропиши в robots так, а затем подожди и увидишь результат.
Quote
Disallow: /download/index.php?=1-*
Профиль Личное сообщение Дом. страница icq Skype
47
Отправлено 09.08.2012 - 23:206
Бывалый
1313 сообщений
Мужчина
Rj_DiNex, я сайт только "начал" делать, часть страниц, а именно страница со скачиванием файлов, попало под индекс и надо избавиться. Так не пойдёт, мне нужно знать точно))
Профиль Личное сообщение Дом. страница icq Skype
123
Отправлено 09.08.2012 - 23:297
Нет аватара
Бывалый
1284 сообщения
Мужчина
Если движок ты разрабатывал, то только ты и знаешь как будет правильно.

Хочешь избавиться от страницы в индексе ? Удали её!
Профиль Личное сообщение Дом. страница icq Skype
47
Отправлено 09.08.2012 - 23:448
Бывалый
1313 сообщений
Мужчина
Rj_DiNex, а скачивать файлы пользователи как будут? С помощью волшебной палочки?
Причём тут мой движок или нет, я про robots.txt сейчас спрашиваю, он на движок ВООБЩЕ никак не влияет.
Профиль Личное сообщение Дом. страница icq Skype
123
Отправлено 10.08.2012 - 00:189
Нет аватара
Бывалый
1284 сообщения
Мужчина
Quote
а скачивать файлы пользователи как будут? С помощью волшебной палочки?

Да, фаллоимитатор называется. Ты задал вопрос о скрытии страниц для индексации, а вот о скачивании юзерами по URL-у речи не было.

Quote
Причём тут мой движок или нет, я про robots.txt сейчас спрашиваю, он на движок ВООБЩЕ никак не влияет.

Не влияет ? Тогда почему у uCoz-а такой robots (возьму для примера стандарты):
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml
Sitemap: /sitemap-shop.xml


На DLE такой:
Code
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Crawl-delay: 5
Host: www.....ru


И на Amiro такой:
Code
User-agent: *
Disallow: /*&itemId=
Disallow: /?
Disallow: /_admin/
Disallow: /?utm_source=spirdnv
Disallow: /*yandex$
Disallow: /*yandex-shop$
Disallow: /*google$
Disallow: /*mail$
Disallow: /*liv$
Disallow: /*walta$
Disallow: /*?from=
Disallow: /*?_print
Disallow: /search
Disallow: /*forum_ext=
Disallow: /*offset=0
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=
     
User-agent: Yandex
Disallow: /*&itemId=
Disallow: /?
Disallow: /_admin/
Disallow: /*yandex$
Disallow: /*yandex-shop$
Disallow: /*google$
Disallow: /*mail$
Disallow: /*liv$
Disallow: /*walta$
Disallow: /*?from=
Disallow: /*?_print
Disallow: /search
Disallow: /*forum_ext=
Disallow: /*offset=0
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=
Host: www.....ru
Crawl-delay: 5


Показать еще коммерческие и под Интернет-магазины ?

Не нравится как говорю я, делай как UMI CMS.
Code
http://www.umi-cms.ru/robots.txt
Профиль Личное сообщение Дом. страница icq Skype
47
Отправлено 10.08.2012 - 00:5510
Бывалый
1313 сообщений
Мужчина
Quote
Ты задал вопрос о скрытии страниц для индексации, а вот о скачивании юзерами по URL-у речи не было.

По ссылки по-моему очевидно. В любом случае это URL на страницу скачивания можно сказать полноценная страница.
БОЖЕ... Ещё раз повторяю, robots.txt на вид движка никак не влияет. Он влияет лишь на индексацию страниц. Всё что ты расписал - это запреты на определённые страниц. Если не знаешь вообще не отписывайся в данной теме.

Я спросил нормально: возможно-ли запретить данные страницы к индексации в robots.txt - site.ru/download/index.php?=1-*-start
Где * постоянно меняющаяся цифра
Если можно, то каким образом?
Жду нормального ответа знающих людей, а не тыкни пальцем и возможно получится.
Профиль Личное сообщение Дом. страница icq Skype
123
Отправлено 10.08.2012 - 10:0111
Нет аватара
Premium user
682 сообщения
Мужчина
SkaZzzz, это понятное дело, что он на ВИД движка не влияет, но влияет на страницы сайта. Роботс, он закрывает от индексации определенные модули и страницы, следуя из этого, значит можно, попробуй, если не работает, значит нужно закрывать модуль.
Например на козе "страница со скачиванием файлов" эта страница закрывается так:
Code
Disallow: /_ld/
Профиль Личное сообщение Дом. страница icq Skype
31
Форум » Search Engine Optimization » Вопросы по раскрутке » robots.txt или запрещаем индексацию некоторых страниц
  • Страница 1 из 1
  • 1
Поиск:
uSite.su © 2010-2025
Все права защищены.
Многогранность и сверхспособности сообщества uCoz заставляют задуматься даже самые стойкие умы веб-программирования, ведь лишь uSite способен предоставить ответы на самые сложные вопросы uCoz.
01RSS
Хостинг от uCozПользовательское соглашение и прочая информация