» » Поисковая оптимизация CMS DLE

Поисковая оптимизация CMS DLE


 Про поисковую оптимизацию CMS DLE не пишет только ленивый. На добрую половину всех советов и рекомендаций можно откровенно «забить», поскольку их авторы дальше банального выдирания копирайтов из движка не идут. Однако, в блоге господина Алаева я нашёл довольно здравые и сильные (strong) рассуждения, позволяющие сделать весьма нормальную посковую оптимизацию сайта на DLE...

  1. Поисковая оптимизация CMS DLE
  2. Александр Алаев – лучший оптимизатор CMS DLE

Александр Алаев – лучший оптимизатор CMS DLE

Скажу сразу – почти все свои действия по оптимизации сайта на CMS DLE я вычитал в блоге Александра Алаева. Его рекомендации заходят гораздо дальше обычной рутины по возне со своим сайтом. После его разжёвываний и пояснений по теме материала, становится противно смешно, что до этого мог додуматься только один-единственный человек в Сети. Получается, что всем остальным – либо это не нужно, либо это недоступно, в силу своего «зело умом скорбия». А, за сим – ещё раз благодарю Александра Алаева за его труды и приступаю к изложению своей собственой записной книхки в Сети, кстати – ещё одного изобретения от Александра Алаева...

Поисковая оптимизация CMS DLE

К радости (или к сожалению) – вот только вся поисковая оптимизация движка CMS DLE сводится к редактированию его системных файлов. С одной стороны это хорошо – максимально реализуются возможности самой управляющей системы. А, с другой стороны, это не очень хорошо, поскольку все сделанные изменения – «коту под хвост», после очередного обновления движка сайта.

Получается, таким образом – недостаточно, просто делать оптимизацию. Нужно ещё это где-то записывать. Чтобы повторять, снова, и снова, и снова – каждый при обновлении сайтовой операционой системы. Вот таки образом и родилась эта статья. Это просто записка себе самому, что нужно выполнить при обновлении сайта на CMS DLE (ВДУ).

 

 

Про эту статью, правильней будет сказать так – это комплекс приёмов и мануалов по поисковой оптимизации движка DLE, которые я вычитал в Сети, попробовал лично и убедился, что все они – реально работают и помогают продвижению сайта. В последствии я, конечно – все свои записи скурил и выбросил. А теперь – излагаю обобщённо здесь, в этой статье, как собственные мысли, в надежде на чью-либо заинтересованность в этом вопросе.

  1. robots.txt для DLE

robots.txt для DLE

Файлик robots.txt для DLE – избитая, но актуальная тема. Чего только не пишут люди в этот несчастный файлик, пытаясь улучшить индексирование сайта поисковыми системами. А, между тем, «родной» стандартный robots.txt для DLE – весьма не плох.

Файл robots.txt, который идет в комплекте с движком, выглядит так:

Как видим, авторы DLE – гениальные люди, что впрочем не удивительно. Этим robots.txt, авторы движка DLE закрывают от поисковой индексации те директории, которые действительно не нужны поисковым системам, но увы! – которые реально важны для работы движка и, поэтому – должны быть доступны для работы из Сети. Поисковую индексацию остального материала сайта разработчики DLE оставляют на наш "укус", в надежде на то, что мы не тупы и понимаем суть сюжета.

Поэтому, в обязательно порядке, добавляем в самый низ строки:
Host: tehnopost.info
Sitemap: http://tehnopost.info/sitemap.xml

где, вместо tehnopost.info, нужно вписать имя своего домена и, естессно – предварительно сгенерировать карту сайта в самом своем DLE.

Остальное добавляем, на свое усмотрение:

 

Disallow: /rules.html
Disallow: /*action=mobile*


Disallow: /*do=rules

Disallow: /*print


Хоста: tehnopost.info
Sitemap: http://tehnopost.info/sitemap.xml




Disallow: /*do=search
(уже не актуально)
– закрываем от индексации страницу поиска движка. Страница эта стандартная и не несет никакой смысловой нагрузки. Кстати, в DLE 10.3 эта запись уже присутствует, так что – это не актуально для более новых версий DLE.

Disallow: /*print
(очень важно)
– закрываем от индексации страницы для печати.
Это очень важная запись. На молодых сайтах DLE, поисковики, в первую очередь – индексируют страницы для печати, потому что они легче и меньше по весу. Индексацию страниц для печати можно закрыть в настройках самого движка. Тогда эта запись будет не нужна. Однако, такая директива может понадобиться, чтобы удалить из поиска уже проиндексированные страницы. У меня такое было.

Disallow: /rules.html
Disallow: /*do=rules
- закрываем страницу с типовыми правилами регистрации.

Если написать уникальный текст правил регистрации, то эти записи не нужны.

Disallow: /lastnews/
Disallow: /*do=lastnews
- этими правилами закрываем страницу с последними новостями.

"Последние публикации на сайте » sokol-motor.info"

Спорный вопрос, нужно ли это делать. Эта страница уникальна и постоянно обновляется. Поисковики хорошо ее индексируют. Однако, не могу понять, что пользователю Гугла или Яндекса может дать страница со странным названием "Последние публикации на сайте » sokol-motor.info"? И по какому поисковому запросу такая страница может попасть в топ? Закрыл.

Disallow: /*action=mobile*
- закрываем все страницы с мобильной версией.

В CMS DLE есть функция с отображением мобильной версии сайта. С некоторых пор Яндекс начал предпочитать ее против обычной, поскольку у мобильных страниц меньше вес. Вес то меньше, только внешний вид ужасающий. Закрыл.

Disallow: /*page/*
Disallow: /201*/
- этими правилами закрываем постраничную навигацию и страницы с архивами.

Иначе в поиск будут попадать страницы, типа:
sokol-motor.info/page/3/
sokol-motor.info/production/page/2/
Материалы за 2011/10/09/ » sokol-motor.info
Все новости за 2012/02/08/ » sokol-motor.info

С этими страницами тоже, спорный вопрос. Эти страницы уникальны и поисковики их любят. Вот только тайтлы они имеют не информативные. Закрыл.

Теперь подведем итог и соберем все вышесказанное вместе:
- получим файл robots.txt для сайта sokol-motor.info.

Посмотреть файл можно по адресу http://sokol-motor.info/robots.txt

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Host: sokol-motor.info
Sitemap: http://sokol-motor.info/sitemap.xml

Синтаксис robots.txt
Правило должно всегда следовать за директивой.
Не допускается пустая строка после директив User-agent, Disallow, Allow.
Правило может начинаться только с символа '/' или '*' (косой слеш или звездочка).
Спецсимвол * (звездочка) означает любую (в том числе пустую)
последовательность любых символов.

В заключение:
В тексте были использованы самые типовые и распространенные правила, которые встречаются в файле robots.txt для сайтов под управлением CMS DLE. Таким образом, свежеиспеченный файлик можно с уверенностью назвать «типовым». Он подойдет большинству сайтов. Например, sokol-motor.info использует этот robots.txt более года. Все нужные страницы, статьи, картинки и категории сайта проиндексированы Google и Яндексом.

Полученный текст robots.txt можно и нужно править по своему усмотрению и подгонять его под свои потребности. Готовый файл robots.txt всегда можно проверить и отредактировать на онлайн-сервисах Google и Яндекса. Сервис Яндекса находится по адресу http://webmaster.yandex.ua/robots.xml. Пользоваться им настолько просто, что я даже не рискую здесь выкладывать к нему инструкцию, дабы не стать обвиняемым в идиотизьме.

Да, чуть не забыл
Разработчики движка DLE, как всегда - на высоте.
В CMS DLE 9.6, в админпанели, на вкладке для полного редактирования новости (стат-страницы) есть чекбокс:
- «Запретить индексацию страницы для поисковиков»
Теперь не нужно изгаляться над файлом robots.txt из-за какой-либо одной статьи. Можно поставить «галочку» при добавлении (редактировании) новости, и всех делов. Таким образом, обычное администрирование сайта может привести к гибкому подходу по исключению из поискового индекса ненужного материала, без редактирования файла robots.txt.

Читать дальше:
Файл robots.txt | DLE всех версий
Директивы в robots.txt

Ключевые слова статьи: компьютер сайт интернет

Поделиться ссылкой на статью в социальной сети, добавить в избранное или распечатать:
  1. <
    Гость

    10 октября 2013 13:12

    Статья полезная, спасибо. Очень помогли пояснения к каждой закрываемой странице. Теперь всё со знанием дела.
  2. <
    Гость

    9 января 2015 11:33

    Disallow: /201*/

    Не будет ли это означать, что новости, имеющие ID-шник, начинающийся от 201, не будут индексироваться? Их урл ведь имеет аналогичную модель: http://site.com/201-eto-novaya-zapis.html 

    Disallow: /*page/*

    и вот еще момент: допустим, я пишу много новостей, а яндекс-робот ходит ко мне, условно, раз в неделю. Соответсвенно, за это время новые посты будут отходить на вторую-третью страницу. Выходит, с этим параметром они не будут индексироваться? 

    и последнее: имеет ли смысл закрывать от индекса теги? ведь, по сути, это повторяющийся контент, но под другим заголовком 

    и еще вопрос: я заметил, что некоторые люди предлагают закрывать от индекса папку uploads, ведь, если подумать, это дополнительный трафик, например, из яндекс или гугл картинок, когда пользователь ищет, допустим, "красивые девченки", а у у нас на сайте есть отличный пост, соответсвенно, картинки приведут его на страницу.

    гораздо грамотнее запретить индексироваться превьюшкам

    Disallow: *thumb

  3. <
    Технолог

    9 января 2015 17:38

    Цитата: Гость
    Disallow: /201*/ Не будет ли это означать, что новости, имеющие ID-шник, начинающийся от 201, не будут индексироваться? Их урл ведь имеет аналогичную модель: http://site.com/201-eto-novaya-zapis.html

    Да. Будет. Это ущербный вариант – так закрываться от архивных страниц. 

    Цитата: Гость
    Disallow: /*page/* и вот еще момент: допустим, я пишу много новостей, а яндекс-робот ходит ко мне, условно, раз в неделю. Соответсвенно, за это время новые посты будут отходить на вторую-третью страницу. Выходит, с этим параметром они не будут индексироваться?

    Индексироваться новые посты будут обязательно, т.к. каждый из них имеет свой уникальный УРЛ на сайте. Директива /*page/* избавит Вас от страниц в поиске, типа: Сайт/page1, Сайт/page2, Сайт/page3 и т.д. 

    Цитата: Гость
    и еще вопрос: я заметил, что некоторые люди предлагают закрывать от индекса папку uploads, ведь, если подумать, это дополнительный трафик, например, из яндекс или гугл картинок, когда пользователь ищет, допустим, "красивые девченки", а у нас на сайте есть отличный пост, соответсвенно, картинки приведут его на страницу.
    Абсолютно верно. Нормальному сайту неправильно закрывать папку uploads от поискового робота. 

    Цитата: Гость
    гораздо грамотнее запретить индексироваться превьюшкам Disallow: *thumb

    Такой директивы не может быть в принципе, потому что урлов со словом thumb не существует в природе. «thumb» – это системная папка движка, поисковые роботы не имеют к ней доступа. В папке thumb хранятся изображения с теми-же путями, что и в папке uploads.

    Если есть сомнение – попробуйте указать путь (урл) к изображению в своей папке «thumb» так, чтобы я его мог увидеть и скачать :).

  4. <
    Гость

    9 января 2015 22:51

    спасибо за ответ. а как насчет тегов. имеет ли смысл их закрывать?

  5. <
    Технолог

    10 января 2015 11:40

    Цитата: Гость
    а как насчет тегов. имеет ли смысл их закрывать?

    Я свои не закрывал. Но при этом смотрю, чтобы их не было слишком много и они соответствовали тематике сайта

    http://tehnopost.info/tags/

     

  6. <
    Гость

    13 января 2015 10:29

    вот смотрю, странно как-то яндекс работает с этим файлом. новый robots.txt он загрузил, но продолжает индексировать запрещенные разделы. скажите, пожалуйста, это нормальное явление?

  7. <
    Технолог

    13 января 2015 18:43

    Цитата: Гость
    вот смотрю, странно как-то яндекс работает с этим файлом. новый robots.txt он загрузил, но продолжает индексировать запрещенные разделы. скажите, пожалуйста, это нормальное явление?

    Это нормальное явление.
    Яндекс может держать запрещеные в robots.txt страницы до 6! месяцев.
    Если есть желание ускорить процесс - нужно пробовать переадресацию страниц.

Добавление комментария

Введите код: *
Кликните на изображение чтобы обновить код, если он неразборчив