Разработчикам

Николай Ефремов (Все сообщения пользователя)

Ошибка полной выгрузки большого каталога при отправке кусков архива, Видимо виноват хостинг. Только в чем он виноват?

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

19.04.2011 09:22:47

Цитата

Александр Мальцев пишет:
Я столковался с такой проблемой, есть 3 пути решения проблемы:

1. Увеличить тайминги для mysql и php;
2. Кастомизировать выгрузку ( уменьшить объём выгружаемой, а значит обрабатываемой информации );
2.1 Возможно совмещение как 1-го пункта, так и 2-го.
3. Загружать кусками ( выставив настройки импорта, так чтобы не удалялось предыдущее ).

1. Тайминги я испробовал разные от 5 секунд до 60 (максимальное время выполнения скрипта, запущенного http-запросом). Все запросы срабатывают нормально, лишь один из ... обламывается и обламывает выгрузку.
2. Это было бы неплохо! Если пережимать под нужный размер картинки перед выгрузкой на сайт можно было бы в размере выиграть примерно, как в вашем случае, но это обратно означает кастомизацию 1с-ки. Впрочем, последнее не исключается.
3. Мне не подходит именно по причине потребности в удалении/деактивации. Можно, конечно, кастомизировать выгрузку битрикса, но это негибкое решение получится.

Цитата

Александр Мальцев пишет:
Лично Николаю Ефремову: Переносите на VDS, т.к. перезапуск apache они делают, скорее всего для того, чтобы долгоиграющие скрипты отваливались smile:) простое решение сложных проблем. У вас я думаю с перезапуском apache шансы грузануть стремятся к 0. Даже если пакеты сжимаются, потом идёт довольно таки долгая обработка на стороне хостинга. У нас к примеру VDS или по другому VPS, который даёт ряд преимуществ в настройке под себя, правда желательно при этом разбираться в Linux.

Да, с учетом ежедневно растущей номенклатуры шансы стремятся в туда.

Сделать же выгрузку вручную проблем не составляет, она может сломаться при обработке один раз, но после продолжения все нормально. Только, понятно, после такой выгрузки 1с-ка не знает, что она была и выгружает все полностью.
Сейчас стоит выбор пути - VDS vs кастомизация 1С. VDS хорошее дело, уже опробовалось, но относително дорогое, тем более с VMBitrix (конечно можно взять подешевле и поставить энвиромент самому). А текущий хостинг в остальном вполне устраивает - сайт у нас достаточно малопосещаемый, поэтому пока рассматриваю возможность доработки со стороны 1с.

Александр, спасибо за советы!

Перейти

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 18.04.2011 08:55:51 Спасибо за совет, Иван! Но думаю это было бы выходом, если бы удачных выгрузок было бы 50% от общего количества. Тут надо что-то радикальней придумать.
	Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

15.04.2011 13:23:35

К сожалению, оно вернулось. После разговоров и письма в ТП выяснилось то, что я, конечно, должен был давно выяснить. :oops:

Используемый нами распределенный хостинг настроен на перезапуск апача каждые полчаса (если были изменения в настройках), а бессонные админы, видимо, меняют настройки и в 3 часа ночи. Текущая полная выгрузка перекрывает это время (между перезапусками - полчаса) почти вдвое, а будет еще больше. По крайней мере, как мне сказали в ТП, часть ошибок связана именно с этим.

ТП мне предложила либо делать обмен в 3 часа

либо переносить все это дело на VDS.

Может Александр Мальцев или Евгений Петриченко, как, судя по всему, специалисты по 1С, или еще кто-нибудь скажет, возможно и сложно ли кастомизовать выгрузку в 1С, так что бы она действовала подобно вышеупомянутому скрипту Евгения. Точнее, чтобы просто в случае неудачи просто повторяла отправку файла или предыдущий запрос. Это, скорее всего, решило бы все проблемы.

Перейти

Выгрузка дополнительных параметров заказа с сайта с 1С, Кто-нибудь с этим сталкивался?

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

12.04.2011 16:37:59

В частности хотелось бы, например, выгружать с заказом номер факса, а не только номер телефона. Но похоже тут нужна кастомизация как со стороны битрикса, так и со стороны 1С-ки. Это можно решить как-нибудь по простому (со стороны 1С)?

Перейти

Как сделать так чтобы при загрузке в Битрикс из 1С не создавался раздел, Как сделать так чтобы при загрузке в Битрикс из 1С не создавался раздел

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 11.04.2011 12:04:10 Понял, да в некоторых случаях это было бы очень полезно. Да и вообще мало гибкости настроек выгрузки структуры.
	Перейти

Не удаляется изображение

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

11.04.2011 09:26:35

Та же проблема со свойствами - если свойство было установлено, затем выгружено, а затем разустановлено, то в Битриксе сброса свойства не происходит. Видимо (судя по файлу экспорта) так сделана система частичной выгрузки в 1С - пустое свойство в выгружаемом xml означает, как отсутствие установленного значения, так и отсутствие изменений. Логичнее было бы выгружать именно тег свойства с пустым содержанием.

Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

11.04.2011 08:39:20

Тьфу-тьфу-тьфу, вроде победил (сейчас уже выгружаются только изменения и выгружаются стабильно). Не знаю что конкретно помогло и помогло ли, но работает - не трогай. Поставил маленький шаг выполнения скриптов интеграции - 10 секунд и поднастроил eaccelerator, уменьшив до минимума время хранения кеша, что, вроде, снизило производительность, но понизило максимальное время реакции.

Перейти

Интеграция::Выгрузка изменений

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 11.04.2011 08:34:10 Alex, посмотрите мою тему, может поможет.
	Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

11.04.2011 08:30:41

Виктор, если я правильно понимаю то, что нужно вопрошающим господам, нужно чтобы группы вообще не создавались, а не только те, что выше. Могу лишь предложить поставить обработчик на создание групп, который будет препятствовать их созданию. Ну и обработчик на создание/изменение элементов, чтобы стирать свойство раздела.

Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

06.04.2011 16:52:03

А еще кто-нибудь может сказать, я правильно понимаю, что судя по всему, при выгрузке битрикс не анализирует флаг активности существующих инфоблоков (и если они присутствуют в файле импорта), а только смотрит их наличие.
В общем, не активирует деактивированные ранее по каким-либо причинам (в том числе при выгрузке).
А чтобы это исправить, похоже, нужно править CIBlockCMLImport.

Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

06.04.2011 15:11:39

Кстати, пробовал вашим, Евгений, полезным скриптом интегрировать загруженное – вылетает в произвольных местах на заполнении таблиц и обработке элементов (то есть самых тяжелых). Видать на хостинге вытесняются и таймаутся долгие запросы. Попробую уменьшить время выполнения.

Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

06.04.2011 11:33:07

Евгений, спасибо, буду их об этом спрашивать. Сегодня прописал в админке заведомо большое время жизни сессии (думал, что в этом дело), и пару раз удалось таки выкачать файлы, но при обработке произошли следующие ошибки:

Код

Выгружено товаров: 2 099
Выгружено картинок: 2 040
Выгружено файлов: 0
Выгружено предложений: 2 099
Произошла ошибка на стороне сервера. Получен неизвестный статус импорта.
Обмен не выполнен
Ответ сервера:
Выгрузка товаров завершена с ошибками!!!

тут вообще ничего не понятно. А обработка уже подходила к концу.

Код

Выгружено товаров: 2 110
Выгружено картинок: 2 057
Выгружено файлов: 1
Выгружено предложений: 2 110
Произошла ошибка на стороне сервера. Получен неизвестный статус импорта.
Обмен не выполнен
Ответ сервера:
<head><title>504 Gateway Time-out</title></head>
<body bgcolor="white">
<center><h1>504 Gateway Time-out</h1></center>
<hr><center>nginx</center>
</body>
</html>

Выгрузка товаров завершена с ошибками!!!

А тут похоже уже прокси недождался ответа. С чем это может быть связано? Просто перегруз сервера?

Перейти

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 06.04.2011 10:36:25 Может быть это как-то связано с тем, что использовался этот хак для http-авторизации?
	Перейти

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 05.04.2011 10:55:07 Спасибо, Ирина, за совет! Только не понятно, что им говорить. Вроде: "во столько-то столько-то что-то случилось, посмотрите, пожалуйста?" Знать бы что конкретно спрашивать, ведь ошибка не постоянная.
	Перейти

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

05.04.2011 10:25:40

Здраствуйте! Кто-нибудь может подсказать в чем конкретно заключается проблема?
Дело в том, что когда случается (а она иногда случается) полная выгрузка каталога из 1С-ки с большой степенью вероятности происходит такая ошибка:

Код

Выгружено товаров: 2 006
Выгружено картинок: 1 948
Выгружено файлов: 0
Выгружено предложений: 2 006
Произошла ошибка на стороне сервера. Не получен статус завершения операции. Файл не отправлен (E:\Documents and Settings\efremov\Local Settings\Temp\9\v8_9_8ed.zip.373).
Обмен не выполнен
Ответ сервера:

HTTP/1.1 200 OK
Server: nginx
Date: Tue, 05 Apr 2011 04:38:30 GMT
Content-Type: text/html; charset=windows-1251
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/5.2.11
P3P: policyref="/bitrix/p3p.xml", CP="NON DSP COR CUR ADM DEV PSA PSD OUR UNR BUS UNI COM NAV INT DEM STA"
X-Powered-CMS: Bitrix Site Manager (e4ebXXXXXXXXXXXXXXXXXXXXXXXXXXXX)
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: BITRIX_SM_SOUND_LOGIN_PLAYED=Y; path=/; domain=www.ourdomain.ru

8
success

0
Выгрузка товаров завершена с ошибками!!!

Загрузка обрывается где-то на произвольном файле. Ошибка происходит в рабочее время, если выгружать ночью, то 3*тьфу, так что дело судя по всему в хостинге (а этот хостер считается лучшим из местных). Хотелось бы понять, что за проблема, может быть на хостинге что-то можно поднастроить.

Перейти

Не отправляется почта.

Пользователь 81613 Постоянный посетитель Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011	# 24.03.2011 16:00:06 Проблема решилась благодаря этому пункту факушки. Конкретно BX_CRONTAB_SUPPORT, судя по всему, на новом хостинге не поддерживается.
	Перейти

Не отправляется почта.

Пользователь 81613

Постоянный посетитель

Сообщений: 332 Баллов: 30 Регистрация: 24.01.2011

22.03.2011 11:23:02

Булат, ну как результаты, поддержка что-то ответила? А то у меня та же проблема.
Причем раньше (на более ранней стадии разработки) письма уходили, а сейчас нет. Вот здесь у человека похоже то же самое, так что нас уже четверо.
Буду вскрывать код :evil:

, кто-бы с какого файла начать.

Перейти

Николай Ефремов (Все сообщения пользователя)

Продукты

Управление сайтом

Битрикс24

Интернет-магазин + CRM

Решения

Для интернет-магазинов

Каталог готовых решений

Внедрение

Выбрать партнера

Проверить партнера

Стать партнером