Доброго времени суток.
Есть самописный парсер контента жестко определенных сайтов. Парсит раз единицу времени. Результат заливает в информационный блок. Сейчас это делается через CIBlockElement:Add,Update,Delete.
Элементов для операций бывает достаточно много - десяток тысяч (понятно, что грузится не все махом, а итерационно), но даже в этом случае за такт в 30 сек обновляется не более 20-40 элементов (включая загрузку картинок где необходимо). Чтобы обновить весь каталог (если вдруг такое произошло) требуется порядка 12 часов (при старте парсера раз в 5 минут).
Облазил API функции массового обновления (пакетом) не нашел, в цикле мне кажется очень по напряжно для сервера. Если пару дней обновлять весь каталог, то apache падает, памяти php не хватает и вешает сайт (да, отладить можно/нужно, но не суть этой темы, раньше было хуже - падало раз в час ). Существует ли возможность массового/пакетного обновления?
PS: Понятно, что можно делать запросы напрямую в базу, но есть необходимость сохранить API и нет желания копаться с разделением элемента и его свойств, отслеживанием взаимосвязей при обновлении/удалении и т.д.
PS2: подскажите какой идеальный вариант работы с неограниченной загрузкой данных в блок (CMLImport, XMLFile...)?
Есть самописный парсер контента жестко определенных сайтов. Парсит раз единицу времени. Результат заливает в информационный блок. Сейчас это делается через CIBlockElement:Add,Update,Delete.
Элементов для операций бывает достаточно много - десяток тысяч (понятно, что грузится не все махом, а итерационно), но даже в этом случае за такт в 30 сек обновляется не более 20-40 элементов (включая загрузку картинок где необходимо). Чтобы обновить весь каталог (если вдруг такое произошло) требуется порядка 12 часов (при старте парсера раз в 5 минут).
Облазил API функции массового обновления (пакетом) не нашел, в цикле мне кажется очень по напряжно для сервера. Если пару дней обновлять весь каталог, то apache падает, памяти php не хватает и вешает сайт (да, отладить можно/нужно, но не суть этой темы, раньше было хуже - падало раз в час ). Существует ли возможность массового/пакетного обновления?
PS: Понятно, что можно делать запросы напрямую в базу, но есть необходимость сохранить API и нет желания копаться с разделением элемента и его свойств, отслеживанием взаимосвязей при обновлении/удалении и т.д.
PS2: подскажите какой идеальный вариант работы с неограниченной загрузкой данных в блок (CMLImport, XMLFile...)?