Задача

• объединяет несколько независимых площадок в единую ленту новых предложений;
• обнаруживает новинки с минимальной задержкой и фильтрует их по зарплате, ключевым словам, свежести, формату работы и региону;
• работает стабильно и автономно сутками, переживая разрывы сессий, редиректы, смену кодировок и анти-бот-проверки;
• ведет отдельные изолированные профили под разные специализации и аккаунты, не смешивая их данные и сессии;
• гарантирует отсутствие дублей - каждое предложение показывается ровно один раз.

Решение

• Профили и мультиаккаунт. Каждый профиль хранит собственный поисковый запрос, фильтры (зарплата, удаленка, ключевые слова), учетные данные, индивидуальный прокси и набор целевых площадок. Профили обрабатываются независимо и параллельно.
• Реальное время. Фоновые таймеры с раздельными интервалами опроса (фриланс-лента - каждые 30 секунд, вакансии - каждые 5 минут) обеспечивают появление нового заказа в интерфейсе в течение 30–60 секунд после публикации.
• Умная фильтрация. Отсев по порогу зарплаты, OR-фильтр по списку ключевых слов (имя + описание), окно свежести (заказы старше 2 дней отбрасываются), исключение нерелевантных регионов.
• Гарантированная уникальность. Многоуровневая дедупликация: по URL и по композитному ключу «название + зарплата + компания», что снимает повторы при перепубликациях и «премиум-поднятии» объявлений.
• Мгновенное реагирование. Всплывающие уведомления, иконка в трее, email-оповещения и отклик/переход к заказу в один клик с автоматической подстановкой шаблона сопроводительного письма в буфер обмена.

Архитектура и сложности

• Ручная обработка редиректов (AllowAutoRedirect = false, разбор заголовка Location, разрешение относительных URL в абсолютные) - для полного контроля над цепочкой переходов и сохранения cookie на каждом шаге.
• Файловый персистентный cookie-jar с собственным парсингом и сериализацией Set-Cookie, изолированный по аккаунтам. Сессии переживают перезапуск приложения, повторная авторизация не требуется.
• Корректная работа с кодировками - автоопределение windows-1251 / utf-8 по метатегам и принудительное URL-кодирование кириллицы в теле запросов (типичная боль рунет-площадок).
• Прозрачная декомпрессия (gzip/deflate), TLS 1.2, индивидуальный прокси на запрос, поддержка multipart-загрузки и асинхронного скачивания файлов.

Результат

• 3 разнородные площадки объединены в одну ленту с единой моделью данных, фильтрацией и дедупликацией.
• Задержка обнаружения нового предложения - 30–60 секунд: время реакции на заказ сокращено с десятков минут ручного мониторинга до секунд, что напрямую повышает конверсию откликов на конкурентном фрилансе.
• До 500 позиций за один запрос страницы поиска с автоматическим постраничным обходом всей выдачи.
• Близкая к нулю доля дублей благодаря многоуровневой дедупликации - лента не «зашумляется» повторными публикациями.
• Автономная работа 24/7 в фоне с самостоятельным поддержанием авторизованных сессий и устойчивостью к редиректам, сменам кодировок и анти-бот-проверкам.
• Полная изоляция профилей и аккаунтов (отдельные cookie, прокси, фильтры) - одна установка обслуживает несколько специализаций одновременно.
• Сетевое ядро спроектировано как переиспользуемая библиотека и применимо за рамками этого продукта в любых задачах сбора данных.

Стек

• Язык и платформа: C#, .NET Framework 4.8
• UI: WPF / XAML, системный трей (NotifyIcon), всплывающие окна уведомлений
• Доступ к данным: Entity Framework 6 (Code First, Automatic Migrations), MS SQL Server
• Сбор и разбор данных: собственный HTTP-движок поверх HttpWebRequest (cookies, proxy, редиректы, кодировки, multipart, async-загрузка), HtmlAgilityPack (XPath)
• Многопоточность: TPL (Task), DispatcherTimer, маршалинг в UI-поток
• Интеграции: MailKit / MimeKit (SMTP-уведомления), сервисы распознавания капчи (anti-captcha / rucaptcha)
• Прочее: Newtonsoft.Json (конфигурация и сериализация профилей), регулярные выражения для разбора дат, зарплат и токенов