После изучения этого видеопособия вы сформируете полную картину организации парсинга сайтов на PHP

Подробная программа курса:

Урок 1. Умный CURL

• CURL — принципы работы

• Создание класса обёртки

• GET и POST запросы

• Работа с HTTPS

• Работа с куками

• Эмуляция всех заголовков браузера

• Фокусы keep alive

• Проксирование в теории

• Анализ заголовков

• Следование за редиректамиь

Урок 2. Организация парсинга

• Конфигурационные файлы для CURL

• Нативный парсинг

• MoveTo

• ReadTo

• ReadFrom

• Другие полезные функции

• Работа с PHPJqueryDOM

• Объекты и их свойства

• Селекторы и функции

• Сохранение результатовь

Урок 3. Комбинированный парсинг

• Проблемы PHPJqueryDOM

• Доработка нативного класса

• Subtag

• Общая схема парсинга

• Разбор этапов парсинга

• Сохранение результатов в БД

• Класс-обёртка для PDOь

Урок 4. Хранение скачанных данных

• Перенос данных в БД

• Таблица урлов: хорошее SEO + высокая скорость

• Нереальное ускорение - замыкаем урлы в кольцо чисел

• БД: хэш-таблица и коллизии

• Доработка класса БД

• Архитектурные изыски

• Sender vs viewerь

Урок 5. Фреймворк

• Организация PHP-классов

• Создание js-морды

• Две схемы: sender и viewer

• JS для ajax-парсинга

• JS для отображения статистики

• Плюсы и минусы каждой схемы

• Общая идея организации пауковь

Урок 6. Противостояние

• Принцип работы капчи-картинки

• Пример создания простой капчи

• Антикапча

• Антикапча API

• Сохранение и передача изображения

• Ожидание и обработка результата

• Создание класса для антикапчиь

Урок 7. Парсинг изображений

• Настройка парсера на bing

• Скачивание изображений

• Создание библиотеки для уникализации

• Работа с изображениями в PHP

• Освещение, обсцвечивание, сепия

• Отражение, поворотыь

Урок 8. Подведение итогов

• Доработка библиотеки для уникализации

• Приёмы уникализации

• Подведение итогов по темам

• Теория оценки рекламы

• Посетители * просмотры * CTR * стоимость

Автор: Дмитрий Лаврик

Продолжительность: ~14 часов