За последние 24 часа нас посетил 22581 программист и 1665 роботов. Сейчас ищут 1957 программистов ...

Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинг

Тема в разделе "PHP Free-Lance", создана пользователем Mix100, 2 мар 2016.

  1. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинга
    Наткнулся на пост(ы), заинтересовало...
    http://www.phpbb-work.ru/topic56.html
    http://c61.su/forum/viewtopic.php?f=11&t=96
    http://www.phpbbguru.net/community/topic42207.html
    https://habrahabr.ru/post/234729/

    Прошу реализовать за вознаграждение (стоимость обсуждается.)
    Нужна защита ресурса:
    - от пользователей TOR, анонимайзеров, прокси - (не от всех, а от большинства)
    - от парсинга (отчет что просмотрено N количество страниц в N времени однотипным действием, можно и забанить на N минут с сообщением неким)
    - с возможностью некой регулировки параметров - (не очень важно)
    - с возможностью смотреть результат работы в виде некоего отчета - (не очень важно)

    Частично что то подобное увидел здесь (от прокси блокирует):
    http://www.testequipmentdepot.com/robots_text.htm
    http://helpdesk.auto.ru/bot.html

    Как идея, было интересно увидеть некую историю по блокируемому IP (его переходы с одно на другой - это поможет вычислить реальный)
    Буду благодарен, если поможете, пишите..., а далее можем созвониться

    P.S. Я понимаю, что нет защиты 100%, но если усложнить "мониторинг" меня от 90% "юзеров-говнюков", то уже хорошо. А те 10% "профи-интернет/дроч..л" мне не интересны и тратить на них деньги большие не собираюсь.
    -------------------------------
    ИТОГ: на 28.03.2016 нет решения, нет предложений, нет исполнителя
     
  2. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.115
    Симпатии:
    1.244
    Адрес:
    там-сям
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Уточните, пожалуйста, какого порядка планируете вознаграждение и укажите способ связи.
     
  3. runcore

    runcore Старожил

    С нами с:
    12 окт 2012
    Сообщения:
    3.625
    Симпатии:
    158
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    100% защиты нет. а следовательно = мартышкин труд.
     
  4. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    все зависит от предложенного решения. Реализовать готовое решение в сети и потратить на это пару часов, стоит наверно вышесказанного
    Если говорить о требуемом/желаемом, то до 10 000 руб.может дойти.
    (Если бы я был "авто ру" например, то с меня можно требовать 100 000, если бы был Газпром, то и 1млн)

    Добавлено спустя 46 секунд:
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинг
    тут же частично реализовано и это "не приятно" для многих...
     
  5. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.115
    Симпатии:
    1.244
    Адрес:
    там-сям
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Готовые решения врядли подойдут. Например в статье на хабре вычисляют "реальный ip" из заголовка X-Forwarded-For, а это НЕдостоверный источник. бот может намеренно его давать чтобы сбить со следа. Эту информацию можно использовать только при определённых условиях. Каких — не готов сказать ))) Так что пары часов скорее всего не хватит.

    В любом случае, тема интересная и за ссылки спасибо!
     
  6. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Ну так оцените и сделайте предложение, бюджет выше был указан
     
  7. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    В чём причина того, что нужно блокировать пользователей? Что конкретно они такого делают? Возможно есть другой, более эффективный метод борьбы с тем, что они делают.
     
  8. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Основные:
    1. Мониторинг цен конкурентами сторонними программа для парсинга. У самого такая. А далее "слив" поставщикам, если цена на какой то товар ниже рекомендованной.
    2. Мониторинг и скачивание текстов, новых товаров, новостей - опять же конкуренция. Я то же всех мониторю и знаю цену такой информации
    3. Эпизодическое появление не адекватных с разного рода постами/отзывами и прочее.
    Блокировка по IP решает часть проблем. Анализ активности посещаемости по IP то же решает часть проблем. C прокси и TOR бы что то порешать.
     
  9. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Премодерация, публиковать текст только после проверки модератора

    От остального (пункт 1 и 2) защиты не будет.

    Думаю просто пустая трата времени и денег.
     
  10. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Я не согласен и готов потратить деньги на это решение, мне оно нужно.
    Я вот сам пользуюсь анонимайзером, но он не прошел этот сайт например http://auto.ru/. Проблема... Надо либо свой IP светить и при этом меня забанят в случае чего, либо искать другие пути/пробовать/тратить время...этим заниматься большая часть не будет, а значит сократит количество не желательных - в этом и задача. Я написал, что мне не 100% нужно заблокировать, а большую часть.
     
  11. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Тогда бюджет должен быть примерно $100 в месяц на это всё дело
     
  12. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Он у меня 10 000 руб за решение разовое.
     
  13. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Бюджет очень маленький, думаю 1000руб или бесплатно кто-то сделает определение tor exit нод, а всё остальное это покупка баз данных или использование сервисов которые дают рейтинг IP адресам, они по сотни долларов в месяц собирают деньги и могут поддерживать эти базы и дёшево предоставить к ним доступ.
    Возможно есть другие способы или просто лапшу на уши повесят, чтобы выполнить заказ.
     
  14. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.115
    Симпатии:
    1.244
    Адрес:
    там-сям
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Mix100, написал в личку. В целом, думаю так же, как denis01.
     
  15. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Моя задача - создать сложность для входящих с прокси, тора и анонимайзера. За это готов выложить 10 000 руб. Отчеты, логи, сопровождение не обязательно (но приветствуется)
     
  16. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Есть списка прокси и анонимайзеров за деньги, только tor exit node бесплатно можно получить.
    Всё остальное можно купить за деньги, но цены там примерно $100 в месяц.
     
  17. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    пул с десятком дедиков на сутки за 30$ решит все проблемы с проксилистами.
     
  18. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Можно поподробней, я юзер еще тот...Я правильно понимаю, что есть некие базы IP анонимайзеров и эти базы обновляются. Надо тупо их копировать в блокировку на вход ?
     
  19. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    За пару дней узнаем все прокси до конца века? Я думал они меняются часто.
     
  20. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    За пару дней заберем весь контент что есть, через месяц придем с другими проксями которых нет в проксилистах.
     
  21. denis01

    denis01 Суперстар
    Команда форума Модератор

    С нами с:
    9 дек 2014
    Сообщения:
    12.227
    Симпатии:
    1.714
    Адрес:
    Молдова, г.Кишинёв
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Zuldek ему нужна защита от прокси и остального, чтобы к нему не могли зайти с тора, прокси и т. д.
     
  22. artoodetoo

    artoodetoo Суперстар
    Команда форума Модератор

    С нами с:
    11 июн 2010
    Сообщения:
    11.115
    Симпатии:
    1.244
    Адрес:
    там-сям
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    denis01, Zuldek взглянул на проблему с другой стороны ))) чтобы знать как защищаться, надо думать как противник.

    тут рулит не знание конкретных адресов (хотя что-то знать надо), а анализ поведения. например бот, сканирующий цены и всё такое, врядли будет сгружать картинки. он, скорее всего, будет открывать адреса только по определённой схеме. а реальный пользователь будет забирать всё со страницы.

    прокси сам по себе не признак зловредности. роскомпозор скоро всех заставит пользоваться прокси. а вот если установить факт, что один и тот же клиент заходит с разных прокси, это уже повод.

    темп открытия, поддержка куки, переходы по адресам, которых реальный пользователь не видит…
     
  23. Zuldek

    Zuldek Старожил

    С нами с:
    13 май 2014
    Сообщения:
    2.381
    Симпатии:
    344
    Адрес:
    Лондон, Тисовая улица, дом 4, чулан под лестницей
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Да вижу прекрасно и читать умею :)
    Ответ указали выше уже. Обход любого анализа поведения прямо пропорционален заинтересованности в контенте. Если мне сильно будет нужно, отдам любые заголовки какие хотите и курсором потыкаю на ваши ссылки. На 10к вы там какой анализ поведения напишите?
    Посему вопрос должен решаться авторизацией или белыми списками. Заведете каптчи при глубоком скане контента - буду тянуть по одной странице с разных адресов.
     
  24. Abyss

    Abyss Старожил

    С нами с:
    12 дек 2015
    Сообщения:
    1.298
    Симпатии:
    218
    Адрес:
    Default city
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Вам сказали, а вы думаете что своим мониторингом вы убережетесь ?
    Я вас умоляю. Вы будете вечно наращивать функционал отлова блох, прежде чем поймёте что нужно играть от обратного.
    Раз у самого такая, то чего вы хотите ? Копайте под программу, смотрите что делает.
    Слышали про копирайт ? Я не сведущ, но уверен, что законы могут вам помочь. По другому никак.
    Модерация.

    Вам на всё ответили уже десяток постов выше. Вы походу коммерс, который не понимает что он хочет сделать. Так я вам скажу, что как бы вы не ограждались, всегда будет прецедент.
     
  25. Mix100

    Mix100 Новичок

    С нами с:
    2 мар 2016
    Сообщения:
    17
    Симпатии:
    0
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и пар

    Я прошу не превращать все в "поиск внеземных цивилизаций". Я предполагал такой вариант развития сценария и сразу сказал, и говорю сейчас снова "Я понимаю, что нет защиты 100%, но если усложнить "мониторинг" меня от 90% "юзеров-говнюков", то уже хорошо. А те 10% "профи-интернет/дроч...л" мне не интересны пока, у меня таких практически нет и я им не интересен"

    Мне нужно усложнить мониторинг меня от тех, кто:
    1. наскоком забежал, хотел "насрать/навредить" или насрал все таки и пришел второй раз...а ему белый лист с информацией "Сайт в разработке, извините" и так каждый раз. В конце концов подумает что я "слился" вообще и успокоится. Таких 50%
    2. защита от тех, кому пришло видение, что свой ip лучше не светить...он стал ходить через анонизммайзер. Ему опять окно с ремонтом сайта...Таких еще 30% и я один из них. Далее, добрая половина этих 30% закончить эти походы, а часть будет искать обходы.
    3. По итогу, оставшиеся 5-10% мне не интересны и тратить на них деньги (люди, время, программы) я не собираюсь.
    Поэтому, давайте не будем искать решения от всего на свете. Задача на самом деле простая, это перекрыть вход для прокси.

    Добавлено спустя 3 минуты 26 секунд:
    Re: Нужна защита ресурса от TOR, анонимайзеров, прокси и парсинг
    Это все не работает или надо тратить уйму времени или просто "разговор ни о чем" Давайте по существу. Есть задача, есть деньги. Я в праве хотеть ЭТО. Позвольте решить самому. А если советовать, то по существу задачи.