Power-Log by Sander v.1.1 (бесплатно) для DLE

Power-Log by Sander v.1.1 (бесплатно)

Power-Log by Sander v.1.1 (бесплатно)

Данный модуль предназначен для ведения подробного лога всех запросов к сайту.
С его помощью можно вести анализ трафика, поведение пользователей, нагрузку страниц, статистику посещения поисковых ботов, вычисление грабберов с зеркальщиками и многое другое.
Изначально модуль задумывался для выявления "медленных" страниц и/или страниц создающих слишком высокую нагрузку.
Но в процессе написания он стал обрастать все большим и большим функционалом, благодаря чему я теперь не могу перечислить все области его применения. Но могу сказать однозначно, он будет полезен абсолютно всем сайтам и администраторам, которые желают знать что происходит у них на сайте.
Большая просьба подробно прочитать все описание, в нем я постараюсь наиболее подробно перечислить все возможности данного модуля.



Главная страница, данные:
Данные предоставлены с 3х сайтов:
Power-Log by Sander v.1.1 (бесплатно) Power-Log by Sander v.1.1 (бесплатно) Power-Log by Sander v.1.1 (бесплатно)

Полученные результаты можно сгруппировать кликнув по параметру прямо в таблице.
Гуппировать можно по: коду страны, IP адресу, URL, типу страницы, количеству запросов в БД (базу данных), поисковому боту, типу запроса.
Иконка рядом с IP это User-Agent посетителя:
Power-Log by Sander v.1.1 (бесплатно)

Имейте ввиду, что злоумышленник может легко подставлять любой User-Agent и представляться хоть гуглоботом, хоть яндексом.
Красным цветом подсвечивается IP адрес который по данным базы сайта blocklist.de является каким-либо ботом или еще чем-то вредным.
Общее время окрашивается оранжевым цветом если время загрузки превысило 0.5 сек, красным - если дольше 1 сек и если дольше 2 сек, то приписываются восклицательные знаки.
Количество запросов иногда может быть и 100 и 1000 и даже 5000. Это нормальная работа движка, раз в 2 часа крон переносит количество просмотров новостей из одной таблицы в другую (если включено кеширование просмотров).



Главная страница, фильтры и прочие параметры:
Непосредственно над таблицей с данными выводится форма с параметрами по которым можно отфильтровать, искать, группировать и сортировать полученные результаты.
Исходное состояние формы, ни один параметр не выбран:
Power-Log by Sander v.1.1 (бесплатно)

Выбраны несколько параметров:
Power-Log by Sander v.1.1 (бесплатно)


При группировании результатов по какому-либо параметру в таблице добавляется колонка "Количество".
Пример группировки по URL:
Power-Log by Sander v.1.1 (бесплатно)

Таким образом легко можно посмотреть какие страницы пользуются популярностью за любой промежуток времени.

Группируем данные по IP:
Power-Log by Sander v.1.1 (бесплатно)

Тут видно кто сколько сделал запросов, кликнув по IP можно посмотреть все его запросы. Если был выбран диапазон дат, то будет отображена активность только за выбранный промежуток времени.

Группировать можно по одному любому из параметров представленных на скриншоте:
Power-Log by Sander v.1.1 (бесплатно)


Так же можно отсортировать результаты по любому из параметров по любому направлению. Вот пример страницы где показаны страницы с самой долгой загрузкой:
Power-Log by Sander v.1.1 (бесплатно)



Отдельно опишу функционал кнопок:
Кнопка "Сбросить все параметры" обнуляет все выбранные параметры, т.е. просто открывает исходную главную страницу.
"Экспорт в Excel" - позволяет скачать все отфильтрованные результаты в текстовом формате, которые легко импортируются в Excel файл простым перетаскиванием файла в рабочую область программы Excel.
"Очистить лог" - удаляет из базы все отфильтрованные результаты. Если не выбран ни один из фильтров, то очищена будет вся таблица.



Страница статистики
Для удобства и наглядности можно посмотреть общую статистику по определенным параметрам:
Power-Log by Sander v.1.1 (бесплатно)

Power-Log by Sander v.1.1 (бесплатно)




Страница с графиками
Это больше экспериментальный раздел. Тут выводится только график посещений и диаграмма ботосодержания в общем трафике
Power-Log by Sander v.1.1 (бесплатно)

Тут же хорошо видно, когда начинается аномальная активность со стороны ботов, людей или еще каких зловредов.
Так же можно ограничить вывод статистики, например за последние 3 дня:
Power-Log by Sander v.1.1 (бесплатно)




Страница с подозрительными IP адресами
В модуле можно включить анализ активности, который наблюдает за активностью пользователей и при достижении заданных параметров пользователь добавляется в список подозрительных и админу отправляется письмо с уведомлением.
Уведомление отправляется не чаще 1 раза в час.
Под заданными параметрами подразумевается совершение X запросов за Y минут. X и Y - можно изменить в настройках.
Power-Log by Sander v.1.1 (бесплатно)

Результаты отсортированы по общему количеству запросов. В колонке даты стоит дата фиксации последней подозрительной активности. Красным подсвечены адреса которые находятся в списке подозрительных у сервиса blocklist.de
Если вы уверены, что IP адрес не является зловредом или это поисковый бот, вы можете добавить его в "Белый лист", список адресов на которые не будет реагировать анализатор подозрительной активности.
С одного адреса совершались запросы с частотой 6 запросов в секунду. Вероятнее всего это какой-то бот. А вот что делать с ним - решать уже вам. Заблокировать в htaccess или проигнорировать.



Настройки
Power-Log by Sander v.1.1 (бесплатно)

Power-Log by Sander v.1.1 (бесплатно)

Подробно описывать все параметры не буду, там и так вроде все ясно, опишу только непонятные.
Анализ. Сейчас стоят параметры 10 запросов за 1 минуту. Т.е. любой пользователь или бот, который зайдет на сайт более 10 раз в течении 1 минуты - будет считаться подозрительными и будет занесен в базу. А если указан E-Mail адрес, то так же будет отправлено уведомление на почту.
Браузер. В базу записывается значение User-Agent пользователя. Этот параметр увеличивает объем памяти в БД, но если это не критично, то желательно не выключать.
Реферер. В базу записывается адрес - откуда пришел посетитель. Аналогично браузеру так же увеличивает объем БД.
Количество записей на страницу. Сколько записей выводится в админке на главной на 1 страницу.
Время хранения лога. Модуль автоматически удаляет старые данные.
Подсветка ботов. Этот параметр позволяет проверять все IP адреса по базе сайта blocklist.de Данные с сайта обновляются автоматически при входе в админку 2 раза в сутки.
Белый список IP адресов. В списке с новой строки перечислены IP адреса поисковых ботов. В данном случае несколько гуглов и один яндекс. Можно записывать как полный адрес, так и первые несколько его чисел, у поисковиков довольно таки много IP адресов, чтобы перечислять их всех
Идентификаторы ботов. Тут перечислены все основные боты. Этот параметр позволяет группировать/фильтровать по общим ботам. Например только Yandex, а у него уже подвиды: YandexBot, YandexMobileBot, YandexMetrika и т.п.
Внешняя база данных. При большом желании можно хранить лог в другой базе данных. Лично я не рекомендую использовать этот параметр, потому что это может увеличить время загрузки страницы, особенно если сервер стоит в германии, а БД в США.



По вопросу о нагрузке.
Она ничтожно мала. Скорость работы никак не сказывается на работе сайта. Со включенным анализом активности, средняя скорость работы модуля - 0.0012 сек. Это при активности 2000 просмотров в час.
Установка модуля заключается в заливке файлов на сервер и копировании 1 строки в 1 php файл.


Версия DLE: 9.6 и старше (на актуальных версиях необходима адаптация шаблона)

power-log-v.1.1.zip [13,15 Mb] (cкачиваний: 67)

Для обновления платной версии – загрузить файлы:
engine/mods/power_log/admin.php
engine/mods/power_log/lic.php


С уважением,
Олег Александрович a.k.a. Sander
Комментарии: (54)
  1. foto
    VIP 14 октября 2016 00:37 #
    Вещь! Надо брать.
    Глядишь и в рейтинг статистики вырастет ;)
    0
  2. foto
    Клиент 13 ноября 2016 23:14 #
    Отличный модуль, спасибо!
    0
  3. foto
    Посетитель 24 февраля 2017 18:10 #
    Здравствуйте. Написала Вам в скайп, но ответа пока не получила, продублирую здесь:

    Перестал активироваться модуль Лог запросов и нагрузки. Работал, работал, потом слетела активация.
    Если заново вводишь код активации в админке, жмакаешь активировать, страница перезагружается и как бы все на этом. Подскажите какие могут быть причины ?
    0
    1. foto
      Администратор 25 февраля 2017 00:33 #
      В скайпе сообщений не получал.
      Попробуйте скачать модуль заново, удалить на сервере папку engine/mods/power_log и залить ее заново.
      После чего в админке ввести ключ активации и повторно внести свои настройки.
      +1
      1. foto
        Посетитель 25 февраля 2017 00:54 #
        Спасибо, помогло.
        0
  4. foto
    Клиент 5 апреля 2017 17:50 #
    при установке выдает ошибку /engine/mods/power_log/lic_70.php – not found! как исправить ?
    0
    1. foto
      Администратор 5 апреля 2017 18:53 #
      переименовать /engine/mods/power_log/lic_56.php в /engine/mods/power_log/lic_70.php
      +1
      1. foto
        Клиент 5 апреля 2017 19:02 #
        Спасибо помогло.
        0
  5. foto
    Клиент 30 июня 2017 00:12 #
    Подскажите пожалуйста , как устранить такую ошибку ?

    MySQL error in file: /engine/mods/power_log/index.php at line 37
    Error Number: 1146
    The Error returned was:
    Table 'deiz_ib.power_log' doesn't exist
    SQL query:

    INSERT INTO power_log (`ip`,`date`,`url`,`mod`,`time`,`mysql_time`,`tpl_time`,`mysql_count`,`memory`,`bot`,`user_agent`,`referer`,`method`) VALUES ('193.160.224.189','2017-06-30 00:08:59', '/page/2/', 'main', '0.0432', '0.00121', '0.01566', '2', '2.79', '', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 YaBrowser/17.6.0.1635 Yowser/2.5 Safari/537.36', 'https://185.82.218.22/', 'GET')
    0
    1. foto
      Администратор 1 июля 2017 17:19 #
      Возможно вы включили опцию использования внешней бд, но на ней не создана таблица power_log. В таком случае ее следует создать вручную (скопировав с основного сайта)
      0
  6. foto
    VIP 10 сентября 2017 02:09 #
    Указал в поле "e-mail для уведомлений" мыло, письма летят как из пулемёта. Попробовал удалить адрес (как указано - оставить поле пустым), не работает. После сохранения, мыло всё равно остается и уведомления продолжают отправляться.
    0
    1. foto
      Посетитель 15 сентября 2017 01:10 #
      если правка через админку, то попробуй удалить маил свой из файла настроек
      0
  7. foto
    Гость 8 апреля 2018 00:22 #
    Очень хотелось бы получить возможность выгружать данные на отдельную страницу.
    Показать рекламодателям что пользователи активно просматривают весь контент по сайту.
    Что-то на подобнее страницы статистики. Но сделать более гибкую настройку для определенных например стран или категорий. Тобишь Опционально.
    0
    1. foto
      Администратор 9 апреля 2018 09:50 #
      Такое в теории можно сделать, но я пока не возьмусь.
      0
  8. foto
    Гость 28 апреля 2018 23:34 #
    Можно же в логи записывать Поисковые запросы пользователей. Как и гостей так и пользователей. Узнать что люди ищут.
    0
    1. foto
      Администратор 29 апреля 2018 10:20 #
      Нет. Это отдельный модуль с другим функционалом.
      Power-Log под такое никак не адаптировать.
      0
  9. foto
    Клиент 18 июля 2018 21:55 #
    Помогите решить проблему, при установке выдает ошибку :
    MySQL error in file: /engine/mods/power_log/admin.php at line 97
    Error Number: 1146
    The Error returned was:
    Table 'a208387_pc2.power_log' doesn't exist
    SQL query:

    SELECT id,ip FROM power_log WHERE country='' LIMIT 10000

    Заранее благодарю.
    0
    1. foto
      Администратор 19 июля 2018 10:20 #
      У вас не установлен ionCube Loader
      0
  10. foto
    Клиент 16 сентября 2018 21:43 #
    Добрый вечер! Каждый поддомен отдельно оплачивать ?
    0
    1. foto
      Администратор 17 сентября 2018 14:53 #
      Да. Т.к. каждый поддомен по сути является отдельным независимым сайтом.
      0
  11. foto
    Клиент 9 декабря 2018 13:47 #
    Доброго дня,а можна дізнатись чого так довго сторінка загружається з вашим модулем? скажемо із-за css або js?
    0
    1. foto
      Администратор 9 декабря 2018 13:50 #
      Данный модуль предназначен больше для отслеживания глобальной статистики по всему сайту.
      Для анализа одиночной страницы достаточно встроенного в браузер "Инструмента разработчика" и модуля Showstat
      0
      1. foto
        Клиент 9 декабря 2018 14:20 #
        Цитата: Sander
        Данный модуль предназначен больше для отслеживания глобальной статистики по всему сайту.
        Для анализа одиночной страницы достаточно встроенного в браузер "Инструмента разработчика" и модуля Showstat

        дякую зрозумів :D
        0
  12. foto
    VIP 7 февраля 2019 15:21 #
    Как искать по юзер-агенту? Не по ключевому слову, а полностью? Копирую из лога, вставляю - не находит (вместо пробелов ставит плюсы автоматом)
    0
    1. foto
      Администратор 7 февраля 2019 18:13 #
      Внимание! У Вас нет прав для просмотра скрытого текста.
      +2
      1. foto
        VIP 16 февраля 2019 09:15 #
        Планируются ли какие-либо обновления? Вроде фильтра по спамным IP и работа чекбоксов в 13 DLE, сохранение в подозрительные IP из общего списка с примечанием + выделение подозрительных цветом + фильтр по ним. Это мои хотелки)
        0
  13. foto
    VIP 26 февраля 2019 16:58 #
    Можно как-то обновить гео-базу? У некоторых IP неверно определяет страну
    0
  14. foto
    VIP 23 сентября 2019 01:43 #
    Сейчас задам несколько нубских вопросов)
    Как я понимаю, "Время общее" - это время загрузки страницы у пользователя, а зависит ли это "Время общее" от скорости интернета пользователя? Ну, допустим вижу в статистике я "20.01033!!!", показатель ли это того, что у пользователя просто медленный интернет и ему отдает сервер страницу так долго? Мне кажется, нет, почему? не знаю. Поясните пожалуйста.
    И почему зачастую "Время tpl" и "Время БД" значительно ниже "Общего времени"?
    0
    1. foto
      Администратор 23 сентября 2019 11:04 #
      Это время которое ушло у сервера на формирование страницы. Вернее даже не сервера, а только самого движка.
      Числа могут отличаться. Это нормально, в зависимости от того, где больше всего время - там и следует искать проблему.
      +1
      1. foto
        VIP 7 октября 2019 13:47 #
        Теоритически при очистке кеша это время возрастёт?
        0
        1. foto
          Администратор 7 октября 2019 14:35 #
          Не должно, но может.
          Если время возрастает ощутимо - то пора задуматься о переезде на более производительный сервер. Или задуматься над оптимизацией хаков/модулей.
          0
          1. foto
            VIP 21 февраля 2020 09:58 #
            Подскажи, как обновить гео базу IP?
            0
            1. foto
              Администратор 21 февраля 2020 14:47 #
              На сколько мне известно, GeoIP уже более года (если не больше) как перестал обновлять бесплатную базу IP адресов.
              Файлы geoip расположены по адресу engine/mods/power_log/geo/.
              В принципе достаточно обновить файл GeoLiteCity.dat
              0
  15. foto
    VIP 14 мая 2020 21:40 #
    Братуха, на 14 версии будет работать?
    0
    1. foto
      Администратор 15 мая 2020 00:03 #
      Да, с вероятностью 99%.
      0
  16. foto
    Клиент 26 сентября 2020 11:02 #
    почему то IPv6 пишет не полностью а в обрезанном виде типа IP: 2001:41d0:a:2e68::
    0
    1. foto
      Администратор 26 сентября 2020 11:10 #
      Это и есть полный вид.
      0
      1. foto
        Клиент 27 сентября 2020 21:14 #
        Хмм, первый раз такой IP вижу. Ну это ладно.
        Опечатку нашёл. В настройках, где отдельную БД указываешь вместо Пароль написанно Парль. blush
        0
  17. foto
    VIP 12 октября 2020 13:29 #
    Сделайте пожалуйста настройку "отправлять уведомление один раз", чтобы письмо не отправлялось каждые 30 запросов. У меня была такая картина утром http://prntscr.com/uxnvho и утром же из-за этого хостинг отключил возможность отправки почты через sendmail или функцию php mail().
    0
    1. foto
      Администратор 15 октября 2020 14:06 #
      Сделал проверку по времени. Теперь письмо будет отправляться не чаще 1 раза в 10 минут (время можно поменять, но непосредственно в PHP файле).

      Странный у вас конечно хостер... Я бы мог понять, если бы отправляло несколько писем раз в минуту, а тут одно письмо с интервалом 3-10 минут...

      PS. Для обновления - скачать модуль заново и заменить файл engine/mods/power_log/index.php
      0
      1. foto
        VIP 15 октября 2020 18:16 #
        На скрине показано по 100 писем от одного IP. То есть только на скрине более 1300 одинаковых писем за час.

        Спасибо за обновление. Такого же больше не повторится теперь?
        0
  18. foto
    VIP 10 декабря 2020 21:15 #
    Отличный модуль! Очень понравилась реализация.
    В статистики много заходов подряд от одного IP на /?do=register (по 3-4 раза в течении минуты), через какое-то время от другого такая же история и тд., но зарегистрированных пользователей не появляется. Такие лучше банить?
    0
    1. foto
      Администратор 11 декабря 2020 12:45 #
      Без более тщательного анализа сложно что-либо подсказать.
      Но если всего 4 запроса в минуту с одного IP (не VPN?) и больше никакой активности, то проще не обращать внимания.
      0
  19. foto
    Клиент 29 марта 2021 10:42 #
    Навигация по модулю очень долгая, загрузка каждой страницы - это 15-20 сек. И это только пара часов работы модуля.
    Так же - "Размер базы: 0.00 Мб, на 0 записей". Кажется что-то не так.
    0
    1. foto
      Клиент 29 марта 2021 14:30 #
      Просто переустановил и всё стало норм.
      0
  20. foto
    Гость 21 мая 2021 11:00 #
    Если с одного ip на один и тот же адрес заходят несколько раз в течении пару секунд, это скорее всего бот или просто много раз перезагрузили страницу?
    0
  21. foto
    VIP 13 февраля 2022 06:03 #
    Оформление бы сделать под темную тему DLE, а то ничего не видно
    0
  22. foto
    Клиент 10 августа 2024 17:51 #
    Не подскажите как исправить ?
    ?mod=power_log&action=stats

    Fatal error: Uncaught DivisionByZeroError: Division by zero in /var/www/fastuser/data/www/сайт.ru/engine/mods/power_log/admin.php:575
    Stack trace:
    #0 /var/www/fastuser/data/www/сайт.ru/engine/inc/power_log.php(5): include_once()
    #1 /var/www/fastuser/data/www/сайт.ru/engine/inc/include/init.php(531): include_once('/var/www/fastus...')
    #2 /var/www/fastuser/data/www/сайт.ru/admin25436436cms.php(29): require_once('/var/www/fastus...')
    #3 {main}
    thrown in /var/www/fastuser/data/www/сайт.ru/engine/mods/power_log/admin.php on line 575


    В графиках
    Data column(s) for axis #0 cannot be of type string×


    Да и в принципе статистку не пишет.. (хоть плагин и включен)
    +1
    1. foto
      Клиент 13 августа 2024 14:29 #
      Такая же беда.
      0
      1. foto
        Клиент 13 августа 2024 14:49 #
        Как то все заработало))) bowtie
        0
    2. foto
      Администратор 16 августа 2024 13:47 #
      Проблема видна только когда в базе нет записей.
      Обновил архив.
      Можно или весь файл заменить или только 575 строку.
      0
  23. foto
    Клиент 16 августа 2024 17:05 #
    Цитата: Sander
    Проблема видна только когда в базе нет записей.
    Обновил архив.
    Можно или весь файл заменить или только 575 строку.

    Да так и есть. Но архив у вас теперь 0кб на загрузку ))

    Но там есть и еще 1 проблема.
    Это запись логов в другую бд.
    Допустим впишешь другую бд и сохранишь.
    По итогу увидишь просто ошибку
    SQL query:
    SELECT id,ip FROM power_log WHERE country='' LIMIT 500

    Но это и логично. Ведь в новой бд не будет таких таблиц.. т.е. я бы сказал не доработан сам плагин Power-Log, ведь кто не знаком с бд, фтп вашим конфигом и прочим, просто не сможет исправить это самостоятельно.
    0
    1. foto
      Администратор 17 августа 2024 14:36 #
      архив у вас теперь 0кб на загрузку ))

      Спасибо, исправил.

      Но там есть и еще 1 проблема.

      Пункт 7 и 8 из инструкции по установке...

      Но да, стоит признать, что по хорошему следовало бы сделать автоматическое создание этой таблицы. Но нет ни смысла ни желания продолжать заниматься этим модулем. По хорошему его вообще надо с нуля переделать, но это экономически не целесообразно.
      0
  24. foto
    Клиент 14 сентября 2024 21:58 #
    Гарно дякуємо за те, що ви зробили модуль безкоштовно, чи можна б вас ще попросити зробити його в темному стилі? якщо вибраний стиль адмінки темний, то модуль дуже погано виглядає(
    0
Добавить комментарий

Внимание! Все сообщения касающиеся техподдержки будут удалены или проигнорированы

Attention! All messages asking for technical support will be removed or ignored

  • Логин
  • E-mail (не обязательно)
Повторите рисунок:
antibot
© Sander-Development. 2009-2024.
При копировании, ссылка на источник обязательна.