Ко мне часто обращаются знакомые с просьбами скачать какую-то информацию с другого сайта. Просьбы бывают абсолютно разными: от автоматизации вывода погоды/курса валют, до скачивания целых баз данных (посты с блогов, товары интернет магазинов и т. д.).
Утром мне пришёл СПАМ с рекламой одного парфюмерного магазина, и я решил отомстить им.

Сегодня мы будем парсить интернет-магазин.

англ. parse
1) синтаксический анализ, синтаксический разбор; грамматический разбор;
2) анализировать, разбирать.

То есть, применимо к нашей задаче, парсинг - это процесс анализа и разбора страницы с целью получения конкретных данных (в нашем случае - наименование и параметры товара).

Приступим.

Шаг 0. Предисловие.

Для выполнения поставленной задачи можно использовать разные языки программирования, кучу библиотек или трёхэтажные регулярные выражения. Можно, но не нужно. Давайте договоримся, что мы создадим предельно простую систему, используя элементарные регулярки.

Шаг 1. Изучаем URL.

Открываем http://parfum-collection.ru, смотрим на URL товаров:
http://parfum-collection.ru/product/gardenia/50322.html
http://parfum-collection.ru/product/iris-ukioye/50325.html
http://parfum-collection.ru/product/boadicea-the-victorious/50340.html

Похоже, что на сайте настроено ЧПУ (Человеко-Понятные URL). Если уберем часть URL, получим ссылки, эквивалентные приведенным выше:
http://parfum-collection.ru/product/50322.html
http://parfum-collection.ru/product/50325.html
http://parfum-collection.ru/product/50340.html

Последний сегмент - уникальный id товара.

Чтобы получить информацию о всех товарах на сайте нужно:
1. Зайти на главную страницу, считать все категории товаров.
1.1 Для каждой категории товаров - нужно получить название всех брендов.
1.2 Для каждого бренда получить список всех товаров.
1.3 Скачать информацию по всем товарам.

или

2. Запустить полный перебор товаров от 1 до 60000 (подбираем опытным путём).

Нас устраивает более легкий вариант - полный перебор. Перебор займет чуть больше времени, но гарантирует считывание всех товаров. И помните: мы пошли легким путём.

Шаг 2. Изучаем страницу с товаром.

Кликаем на произвольный товар, к примеру: http://parfum-collection.ru/product/50322.html
Откинув шапку, меню и подвал, получим примерно такую картину:

Важная часть страницы с товаром

Опишем блоки (слева направо, сверху вниз):
1. Наименование товара
2. Путь товара (иерархия его категорий)
3. Блок с картинками
4. Цена. У одного товара может быть несколько вариантов поставки с разной ценой (выбирается из раскрывающегося списка)
5. Текстовое описание
6. Параметры товара

Остальная информация нам не интересна.

Заглянем в исходный код страницы. Весь HTML код хорошо приправлен комментариями. Нам же лучше. Нас интересует часть текста от

<!-- Товар  /-->

<!-- Характеристики товара #END /-->

Основные элементы разметки опишем в следующем пункте.

Шаг 3. Парсим.

Создаем пустой файл parse.php.

max_execution_time - нужен, чтобы ограничить время выполнения скрипта. Из-за большого количества товара полный парсинг может занять значительный промежуток времени. Поэтому выставим 0 - не ограничено.

Страницу загружаем с помощью file_get_contents - как самый простой способ.

В итоге получается код:

<?php
ini_set("max_execution_time", 0); 
 
$id = 50322;
parse ($id);
 
function parse ($id)
{
	$file = file_get_contents("http://parfum-collection.ru/product/{$id}.html");
	var_dump($file);
}
?>

Запустили. Порадовались контенту страницы. Лёд тронулся.

Дальше вырежем центральную часть с информацией о товаре.

preg_match("|<!-- Товар  /-->(.*)<!-- Характеристики товара #END /-->|is", $file, $trunc);

Если регулярное выражение сработало, то в $trunc[1] будет находиться нужный нам контент.

Запускаем. Получаем пустой результат. Проверяем регулярку - все верно. Смотрим на кодировку - ага: Кодировка сайта - UTF-8, а кодировка исходника - win-1251. Меняем кодировку. Запускаем и получаем вырезанный фрагмент. Далее продолжаем работать только с вырезанным фрагментом.

Получаем наименование товара:

Название и категории товара

Получаем категорию товара: Категорию получаем в два этапа: сначала вырезаем div с id=path, после чего, с помощью функции explode, разбиваем на части фрагменты пути. Первый и последний элемент нам не нужны. Делаем им unset.

Получаем картинки товара:

Список изображений товара

Получаем цены и варианты товара:

Варианты и цены

Получаем описание товара:

Описание товара

Получаем характеристики товара:

Параметры товара

Шаг 4. Сохранение и другие фишки.

В статье не описано, как сохранить данные. Но людям, осилившим статью, не составит большого труда сохранить итоговый массив в БД. Так же в статье нет упоминания как сохранять картинки. Всё очень просто, и выглядит примерно так:

# для каждого товара, для каждой картинки товара:
$file = file_get_contents($img_url);
$handle = fopen('new_img_name',"x");
fwrite($handle, $file);
fclose($handle);

Какие недостатки у данной реализации? Самый главный недостаток - использование file_get_contents для получения исходного кода страницы с товаром. В случае подвисания сети - функция будет ожидать 30 секунд. Что бы управлять таймаутом соединения нужно использовать сокеты или CURL. Использование сокетов или curl усложняет работу скрипта (по крайней мере для новичка), но дает множество плюсов. Больше всего я люблю указывать в user-agent "Mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)"

PS.
Исходный код
Итоговая структура данных: