Форум

Что по крону будет, тут без вариантов. Мне именно нужно продумать как это организовать всё.
Вот пришла xml. Если она маленькая, то тут все пройдет относительно быстро, но нужно рассчитывать на большие, а значит за раз я с данными ничего не сделаю. Значит нужно её разобрать и как-то передать управление другому скрипту чтобы не нагружать все на один который может и не справится. Вот и решил что нужно как-то организовать очередь. Вопрос как? Можно пойти по пути из одного большого файла делать много маленьких, но есть ли в этом резон если я при парсинге уже получу объект или массив.
Можно этот объект в отдельный файл сохранять в виде json и таким образом получить очередь из файлов. Но всё это будет работать долго. А как мне говорят: "в других компаниях xml на сотни тысяч товаров за десятки минут, не часов, обрабатывают, так что ищи решение"

Добрый день. Пришла такая задача мне: разработать альтернативу стандартному обмену товаров.

Причины: при каталоге в 30К товаров обмен без картинок и большинства свойств идет около 4 часов(модуль в 1С стоит, выгрузка идет пакетами отдельно цены, отдельно прочее), при этом если в 1С проводятся какие-то работы, то он отваливается(и не всегда восстанавливает отправку пакета, а просто геймовер), регулярный обмен не работает вообще(выгружает все что хочет и не всегда актуальные данные, как-то выгрузил остатки и цены годовой давности, в общем вопрос с работой самой 1С для текущей задачи не актуален). Если требуется обновить пару сотен товаров с картинками и прочим это тоже часа 3-4, полный обмен приближается к суткам.
Было решено что будет генерироваться xml с упрощенной структурой и по фтп выгружаться на сайт - 1С-ники примерно оценили, что выгрузка такого варианта будет занимать минут 10-15. Дальше типа разбирайте и управляйте каталогом на сайте.

Так вот пытаюсь понять как мне это организовать.
1. нужно распарсить xml
2. нужно куда-то временно разместить полученные данные, с которыми должен будет работать уже другой скрипт, сразу заливать в каталог не думаю что хорошая идея
3. нужна какая-то очередь чтобы не получилось что что-то удалится или не обновится, кроме того может прийти что-то новое, а не обновление текущего

Если с первым пунктом я более-менее ещё понимаю, что делать, хотя тоже вижу проблемы если придет xml в 500Мб и более, то вот 2 и 3 пункт у меня пока вызывает ступор. Кто может подсказать, посоветовать как это все организовать.

В дополнение скажу скрипт получение всех элементов(30К) с 2 полями ID и ACTIVE, и после их update выдает через раз 504, хотя проверка сайта говорит что всё ок, по производительности имеем 74 попугайчика

Такое бывает когда часть контента сильно зависит от каких-то условий. При композите эти условия не работают.

Мне например на одном из проектов пришлось отказаться от композита из-за того, что часть контента была завязана на скрипт определение устройства пользователя(мобильное или нет), в том числе и подключение css и js - переделывать это переписывать весь сайт. А когда подключаешь композит, то по сути идет генерация html страниц, которые и выдаются пользователю вместо динамической, без всяких условий.

[QUOTE]Павел Савилов написал:
как понял этот пункт был в старых версиях[/QUOTE]
почему же в старых, во всех
[URL=https://disk.yandex.ru/d/jK7cy7g0sQOoqg]скрин, почему-то не загружается, поэтому ссылка на яндекс-диск[/URL]

Ну как минумим 2 варианта:
1. вы не админ )))
2. в настройках компонента не выбрано отображать поле SHOW_COUNTER

[QUOTE]<?php $APPLICATION->IncludeComponent(
  "site:page",
  "",
  Array(
     "ELEMENT_ID" => "281"
  )
);?>[/QUOTE]
Если такой вариант, то никто вам не мешает сделать свой компонент обертку

Кроме того можно использовать включаемые области в которыx и разместить ваш компонент и  например
[CODE]<?$APPLICATION->IncludeFile('include_areas/menu.php', array(), array())?>[/CODE]
параметры можете посмотреть [URL=https://dev.1c-bitrix.ru/api_help/main/reference/cmain/includefile.php]тут[/URL]

[QUOTE]Марина Иванова написал:
У этих лишних результатов поиска нет вообще ни в одном поле таких цифр, которые я вбиваю в поиск.[/QUOTE]
Вы проверьте все свойства и поля, может где-то в описании есть, вы не выводите его, но оно есть.
Вот например у вас значение какого-то свойства PROP_484':'401'
[CODE]
...{'ID':'150527','NAME':'','TREE':{'PROP_485':'598','PROP_484':'401'}...
[/CODE]

Не могу понять в чем загвоздка.
Завожу пустой шаблон сайта. Размещаю компонент меню
[CODE]<? $APPLICATION->IncludeComponent("bitrix:menu", "", Array(
"ROOT_MENU_TYPE" => "topnew",
"MAX_LEVEL" => "3",
"CHILD_MENU_TYPE" => "top_child_mobile",
"USE_EXT" => "Y",
"DELAY" => "N",
"ALLOW_MULTI_SELECT" => "N",
"MENU_CACHE_TYPE" => "A",
"MENU_CACHE_TIME" => "36000000",
"MENU_CACHE_USE_GROUPS" => "N",
"CACHE_SELECTED_ITEMS" => "N",
"MENU_CACHE_GET_VARS" => array(),
"COMPONENT_TEMPLATE" => ""
),
false
); ?>[/CODE]
файл .ext
[CODE]

global $APPLICATION;
$aMenuLinksExt = array();

if(CModule::IncludeModule('iblock'))
{

if(defined("BX_COMP_MANAGED_CACHE"))
$GLOBALS["CACHE_MANAGER"]->RegisterTag("iblock_id_40");


$aMenuLinksExt = $APPLICATION->IncludeComponent("bitrix:menu.sections", "", array(
"IS_SEF" => "Y",
"SEF_BASE_URL" => "/internet_shop/",
"SECTION_PAGE_URL" => "#SECTION_CODE_PATH#/",
"DETAIL_PAGE_URL" => "#SECTION_CODE_PATH#/#ELEMENT_CODE#/",
"IBLOCK_TYPE" => "",
"IBLOCK_ID" => '40',
"DEPTH_LEVEL" => "3",
"CACHE_TYPE" => "N",
), false, Array('HIDE_ICONS' => 'N'));


}

$aMenuLinks = array_merge($aMenuLinks, $aMenuLinksExt);
[/CODE]

Включаю отладку и вижу
bitrix:menu.sections: 0.0216 с; Запросов: 213 (0.0075 с)
bitrix:menu: 0.0277 с; Запросов: 10 (0.001 с)

Время создания страницы: 0.0759 сек.
Всего SQL запросов: 333
Время исполнения запросов: 0.015 сек.

установил локально демо-сайт с шаблоном для разработчика с кучей компонентов
ничего не удалял, как есть включаю отладку:
bitrix:menu.sections: 0.0314 с; Запросов: 1 (0.0001 с)
bitrix:menu: 0.008 с

Время создания страницы: 0.6562 сек.
Всего SQL запросов: 108
Время исполнения запросов: 0.0409 сек.

что за фигня не понимаю

А у вас сайт не тормозит? Я сталкивался с похожей ситуацией когда дублировался заказ. Создаются 2-3 заказа у которых привязана 1 корзина. Единственное решение которое нашли это избавляться от тормозов.

Прокрутите в самый низ страницу браузера, там скорее всего будет написана ошибка