Жили были 2 модуля - енисайт и qweb. И жили они вместе счастливо, пока однажды не пришел злой Яндекс и не начал бороться с ними сильнее обычного. Долго бились модули с тираном, каждая сторона выигрывала мелкие битвы, но война все продолжалась. И вот, Яндекс поразил qweb в самое сердце, он упал и умер (http://marketplace.1c-bitrix.ru/solut...scription/). Второй же модуль продолжает сражение почти в одиночку, но одержать победу и ему не удастся...
Пересмотрел что-то фильмов...
Но суть в другом, все как-то не очень. Приходится дописывать эти модули, чтобы они могли нормально работать с маркетом. Они на самом деле отличные, но каждый из них я кастомизировал на столько, что уже какие-то киборги против орков.
Теперь по вечерам клепаю взятый за основу Mlife парсер под свой сайт. Все равно все обходы защиты, предоставленные в модулях меня не устраивают. Надеюсь, когда-нибудь через годик-другой получится детище, которое справится с яндексом на парсинге по 1000 - 10 000 товаров в сутки
Этот пост - крик души. Не все так просто с Яндексом... Приходится парсить товары с проверкой каждого из них из-за вечных перебоев..
Евгений, спасибо за фидбек... Поковыряю, подумаю как по-шустрее все организовать, как время будет. Сейчас мой модуль реально может товаров 500 в сутки забрать и то при постоянном мониторе и замене прокси...
Загальский Андрей, При постоянном мониторинге любой модуль может На самом деле в среднем до 1 минуты на товар, а это от 1500 товаров. Но проблема именно с вечно не работающими прокси и т.п. Прокси можно использовать лишь как прослойку. Тогда парсить можно в 2-3 потока без задержек. И тогда до 10 000 товаров в легкую У всех одна проблема - не вся защита яндекса обходится в модулях.
Ваш модуль хорош из-за возможности легко кастомизировать и настроить парсер под свои нужды. Другие модули как раз идут как коробочные. Поставил и лучше не трогать лишний раз. Сейчас модуль енисата у меня парсит с 3-х разных сайтов - xcom, яндекс.маркет, hikvision.ru. Добавлять новые не очень то и удобно.
Группы на сайте создаются не только сотрудниками «1С-Битрикс», но и партнерами компании. Поэтому мнения участников групп могут не совпадать с позицией компании «1С-Битрикс».