robots

Кто нибудь создавал нормальный проверенный файл robots для дельфина,

очень много дубликатов страниц в дельфине, не говоря про то, что часто в поиске видишь lang в url проиндексированных страниц.

browse.php?
browse/
calendar.php?
categories.php?
search.php?
tags.php?
viewFriends.php?
и др.

У меня на сайте не так много контента и зарегистрированных людей всего 800 но
посмотрел в яндекс вебмастере, всего загружено яндексом 120.000  страниц этож перебор, в каждой строке вышеперечисленной по 5000-10000 загруженных страниц
так и в бан не далеко попасть.

Сам не очень сильно разбираюсь в robots поэтому запортить боюсь.

Вот несколько robots с разных сайтов, но нужны не догадки а точные инструкции, чтоб ничего не запортить.

User-agent: *
Disallow: /*lang=
Disallow: /*skin=
Disallow: /*res_per_page
Disallow: /*videozone
Disallow: /*page_p
Disallow: /*per_page
Disallow: /*leaders_mode
Disallow: /*members_mode
Disallow: /wall/
Disallow: /listing/
Disallow: /m/events/
Disallow: /calendar/
Disallow: /*_bx_photos_mode
Disallow: /*sms_ss=
Disallow: /*groups_mode=
Disallow: /guestbook.php

User-Agent: *
# Directories
Disallow: /administration/
Disallow: /backup/
Disallow: /cache/
Disallow: /cache_public/
Disallow: /doc/
Disallow: /flash/
Disallow: /inc/
Disallow: /langs/
Disallow: /periodic/
Disallow: /plugins/
Disallow: /simg/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /m/google_search/
# Files
Disallow: /forgot.php
Disallow: /join.php
Disallow: /logout.php
Disallow: /get_rss_feed.php
Disallow: /searchKeyword.php
Disallow: /search_home.php
Disallow: /search.php
Disallow: /install.txt
Disallow: /last_icon.txt
Disallow: /license.txt
Disallow: /readme.txt
Disallow: /crossdomain.xml

User-Agent: *
Disallow: /m/news/calendar/
Disallow: /admin/
Disallow: /m/events/calendar/
Allow: /
Disallow: /calendar.php/
Disallow: /m/videos/calendar/
Disallow: /m/articles/calendar/
Disallow: /m/photos/calendar/
Disallow: /administration/
Disallow: /categories.php?action=calendar/
Disallow: /calendar/

Здравствуйте, Vovka

Меня интересует тот же вопрос. Скажите, пожалуйста, если вы уже выяснили что нужно прятать от поисковиков. Очень интересно.

Нет пока никто не ответил

большая проблема в том что есть второй язык английский, и яндекс много индексирует через его префикс.

Даже не знаю как со всем этим разобраться, яндекс уже много сраниц выкинул из базы, на вопросы отвечает мол все нормально.

Но ясно что страниц слишком много одинаковых получается и без нормально robots, нормальной адекватной работы с поисковиком не получиться.

Старый вопрос, никто не составил грамотный роботс для дельфина?

Можно попробовать добавить вот такие строки в robots.txt: 

Disallow: /*lang=ru

Disallow: /*lang=en

На самом деле я наверно отключил бы все выше перечисленное, так как хлама получается много, создавал sitemap так если посмотреть туда то судя по всему проще все запретить и только что то разрешить

например это разрешить что бы все проиндексировало /m/videos/browse/all

а вот все остальное ф топку т к получится куча одинакового хз чего /m/videos/browse/top

/m/videos/browse/popular

/m/videos/browse/featured

по сути это одно и то же тока с разным названием вот и получается что робот все это схавал и выдал 100000000 страниц

Мне как бы вообще не очень понятно, вроде серьезный проект и такие вещи как роботс и сайтемап должны быть уже внутри, а их нет.

К примеру я решил сделать так

User-agent: *
Disallow: /
Allow: /m/videos/albums/browse/all
Allow: /m/videos/browse/all
Allow: /forum/
Allow: /m/photos/albums/browse/all
Allow: /m/photos/browse/all
Allow: /blogs/all/
Allow: /m/groups/home/

Allow: /blogs/entry/

и тд, разрешаем индексацию того где находятся например все видео и фото, материалы, блоги  ну или что нужно

Хотя при таком раскладе блокирует главную страницу, как ее открыть??? или все таки сидеть перечислять все запреты

 Можно попробовать вот так:

Allow: /$
Allow: /index.php

Все современные поисковики должны поддерживать такой формат, но возможно, что какие-то могут не поддерживать

Здесь все о файле robots.txt  http://robotstxt.org.ru/

а у меня вот наоборот проблема, сайту уже пару месяцев, контента там достаточно, но у меня ни одна страница до сих пор Яндексом не проиндексирована... 

Mojno poporbovat' skazat' yandex'u o svoem saite:

http://webmaster.yandex.com/addurl.xml