Всем доброе время суток!
Разрабатывая сервис на Битриксе, столкнулся с проблемой импорта и хранения больших данных.
Имею данные в форматах csv и mysql, больше 500 000 записей.
Создав необходимый инфоблок, запустил импорт стандартными средствами битрикса.
В итоге, за 20 сек импортируется от 100 до 500 элементов.
Такими темпами, я буду импортировать несколько дней..
У меня возникли вопросы:
1) Каким образом можно ускорить процесс? Производительность битрикса - 54.
2) Стоит ли вообще хранить такие данные в инфоблоках? или же лучше хранить в отдельных таблицах(именно отдельных, а не отдельных-инфоблочных)?
Уже подумаю, написать свой небольшой модуль для работы с отдельными таблицами.
Жду Ваших советов и идей.
С Уважением.
== UPD==
Нашел совет на форуме, добавить поле в индекс
create index my_iblock_element_name on b_iblock_element(IBLOCK_ID, NAME)
Скорость увеличилась, за 20 сек ~ 1000 элементов, было от 100-500.
Но, я не знаю что будет с производительностью дальше, данные храню в отдельной-таблице инфоблока.
Но битрикс основную информацию об элементах все равно хранит в общей таблице.
Общее количество элементов будет 1 млн. Будет тяжело?
Разрабатывая сервис на Битриксе, столкнулся с проблемой импорта и хранения больших данных.
Имею данные в форматах csv и mysql, больше 500 000 записей.
Создав необходимый инфоблок, запустил импорт стандартными средствами битрикса.
В итоге, за 20 сек импортируется от 100 до 500 элементов.
Такими темпами, я буду импортировать несколько дней..
У меня возникли вопросы:
1) Каким образом можно ускорить процесс? Производительность битрикса - 54.
2) Стоит ли вообще хранить такие данные в инфоблоках? или же лучше хранить в отдельных таблицах(именно отдельных, а не отдельных-инфоблочных)?
Уже подумаю, написать свой небольшой модуль для работы с отдельными таблицами.
Жду Ваших советов и идей.
С Уважением.
== UPD==
Нашел совет на форуме, добавить поле в индекс
create index my_iblock_element_name on b_iblock_element(IBLOCK_ID, NAME)
Скорость увеличилась, за 20 сек ~ 1000 элементов, было от 100-500.
Но, я не знаю что будет с производительностью дальше, данные храню в отдельной-таблице инфоблока.
Но битрикс основную информацию об элементах все равно хранит в общей таблице.
Общее количество элементов будет 1 млн. Будет тяжело?