Добрый день. Пришла такая задача мне: разработать альтернативу стандартному обмену товаров.
Причины: при каталоге в 30К товаров обмен без картинок и большинства свойств идет около 4 часов(модуль в 1С стоит, выгрузка идет пакетами отдельно цены, отдельно прочее), при этом если в 1С проводятся какие-то работы, то он отваливается(и не всегда восстанавливает отправку пакета, а просто геймовер), регулярный обмен не работает вообще(выгружает все что хочет и не всегда актуальные данные, как-то выгрузил остатки и цены годовой давности, в общем вопрос с работой самой 1С для текущей задачи не актуален). Если требуется обновить пару сотен товаров с картинками и прочим это тоже часа 3-4, полный обмен приближается к суткам.
Было решено что будет генерироваться xml с упрощенной структурой и по фтп выгружаться на сайт - 1С-ники примерно оценили, что выгрузка такого варианта будет занимать минут 10-15. Дальше типа разбирайте и управляйте каталогом на сайте.
Так вот пытаюсь понять как мне это организовать.
1. нужно распарсить xml
2. нужно куда-то временно разместить полученные данные, с которыми должен будет работать уже другой скрипт, сразу заливать в каталог не думаю что хорошая идея
3. нужна какая-то очередь чтобы не получилось что что-то удалится или не обновится, кроме того может прийти что-то новое, а не обновление текущего
Если с первым пунктом я более-менее ещё понимаю, что делать, хотя тоже вижу проблемы если придет xml в 500Мб и более, то вот 2 и 3 пункт у меня пока вызывает ступор. Кто может подсказать, посоветовать как это все организовать.
В дополнение скажу скрипт получение всех элементов(30К) с 2 полями ID и ACTIVE, и после их update выдает через раз 504, хотя проверка сайта говорит что всё ок, по производительности имеем 74 попугайчика
Причины: при каталоге в 30К товаров обмен без картинок и большинства свойств идет около 4 часов(модуль в 1С стоит, выгрузка идет пакетами отдельно цены, отдельно прочее), при этом если в 1С проводятся какие-то работы, то он отваливается(и не всегда восстанавливает отправку пакета, а просто геймовер), регулярный обмен не работает вообще(выгружает все что хочет и не всегда актуальные данные, как-то выгрузил остатки и цены годовой давности, в общем вопрос с работой самой 1С для текущей задачи не актуален). Если требуется обновить пару сотен товаров с картинками и прочим это тоже часа 3-4, полный обмен приближается к суткам.
Было решено что будет генерироваться xml с упрощенной структурой и по фтп выгружаться на сайт - 1С-ники примерно оценили, что выгрузка такого варианта будет занимать минут 10-15. Дальше типа разбирайте и управляйте каталогом на сайте.
Так вот пытаюсь понять как мне это организовать.
1. нужно распарсить xml
2. нужно куда-то временно разместить полученные данные, с которыми должен будет работать уже другой скрипт, сразу заливать в каталог не думаю что хорошая идея
3. нужна какая-то очередь чтобы не получилось что что-то удалится или не обновится, кроме того может прийти что-то новое, а не обновление текущего
Если с первым пунктом я более-менее ещё понимаю, что делать, хотя тоже вижу проблемы если придет xml в 500Мб и более, то вот 2 и 3 пункт у меня пока вызывает ступор. Кто может подсказать, посоветовать как это все организовать.
В дополнение скажу скрипт получение всех элементов(30К) с 2 полями ID и ACTIVE, и после их update выдает через раз 504, хотя проверка сайта говорит что всё ок, по производительности имеем 74 попугайчика