Разработчикам

Не стартует Push

Заглянувший

Сообщений: 16 Баллов: 1 Регистрация: 04.05.2018

06.12.2018 14:41:09

Установлен Centos 7 + BitrixENV
через меню ENV добавлен NodeJS Push
служба не запускается, в чем может быть причина?
[root@bitrix ~]# journalctl -xe
Dec 06 13:49:06 bitrix.www.ru sudo[52665]: pam_unix(sudo:session): session closed for user bitrix

Dec 06 13:49:06 bitrix.www.ru push-server[52673]: start rtn_code=0

Dec 06 13:49:06 bitrix.www.ru push-server-multi[52512]: Start sub-8015 -> start rtn_code=0

Dec 06 13:49:07 bitrix.www.ru push-server[52679]: OK pid=52667 pidf=/var/log/push-server/push-server-sub-8015.pid

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: OK pid=52667 pidf=/var/log/push-server/push-server-sub-8015.pid

Dec 06 13:49:07 bitrix.www.ru push-server[52694]: pid_file=/var/log/push-server/push-server-pub-__PORT__.pid template_file=/etc/push-server/push-server-pub-__PORT__.json service_type=pub

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: pid_file=/var/log/push-server/push-server-pub-__PORT__.pid template_file=/etc/push-server/push-server-pub-__PORT__.json service_type=pub

Dec 06 13:49:07 bitrix.www.ru sudo[52697]: root : TTY=unknown ; PWD=/opt/push-server ; USER=bitrix ; COMMAND=/bin/bash -c ( node server.js --config /etc/push-server/push-server-pub-9010.json 1>/var/log/push-ser

Dec 06 13:49:07 bitrix.www.ru systemd[1]: Started Session c2039 of user bitrix.

-- Subject: Unit session-c2039.scope has finished start-up

-- Defined-By: systemd

-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel

--

-- Unit session-c2039.scope has finished starting up.

--

-- The start-up result is done.

Dec 06 13:49:07 bitrix.www.ru sudo[52697]: pam_unix(sudo:session): session opened for user bitrix by (uid=0)

Dec 06 13:49:07 bitrix.www.ru sudo[52697]: pam_unix(sudo:session): session closed for user bitrix

Dec 06 13:49:07 bitrix.www.ru push-server[52705]: start rtn_code=0

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: Start pub-9010 -> start rtn_code=0

Dec 06 13:49:07 bitrix.www.ru push-server[52715]: OK pid=52699 pidf=/var/log/push-server/push-server-pub-9010.pid

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: OK pid=52699 pidf=/var/log/push-server/push-server-pub-9010.pid

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: pid_file=/var/log/push-server/push-server-pub-__PORT__.pid template_file=/etc/push-server/push-server-pub-__PORT__.json service_type=pub

Dec 06 13:49:07 bitrix.www.ru push-server[52722]: pid_file=/var/log/push-server/push-server-pub-__PORT__.pid template_file=/etc/push-server/push-server-pub-__PORT__.json service_type=pub

Dec 06 13:49:07 bitrix.www.ru sudo[52725]: root : TTY=unknown ; PWD=/opt/push-server ; USER=bitrix ; COMMAND=/bin/bash -c ( node server.js --config /etc/push-server/push-server-pub-9011.json 1>/var/log/push-ser

Dec 06 13:49:07 bitrix.www.ru systemd[1]: Started Session c2040 of user bitrix.

-- Subject: Unit session-c2040.scope has finished start-up

-- Defined-By: systemd

-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel

--

-- Unit session-c2040.scope has finished starting up.

--

-- The start-up result is done.

Dec 06 13:49:07 bitrix.www.ru sudo[52725]: pam_unix(sudo:session): session opened for user bitrix by (uid=0)

Dec 06 13:49:07 bitrix.www.ru sudo[52725]: pam_unix(sudo:session): session closed for user bitrix

Dec 06 13:49:07 bitrix.www.ru push-server[52728]: start rtn_code=0

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: Start pub-9011 -> start rtn_code=0

Dec 06 13:49:07 bitrix.www.ru push-server[52739]: OK pid=52727 pidf=/var/log/push-server/push-server-pub-9011.pid

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52512]: OK pid=52727 pidf=/var/log/push-server/push-server-pub-9011.pid

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52740]: Stop sub-8010 -> Ok

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52740]: Stop sub-8011 -> Ok

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52740]: Stop sub-8012 -> Ok

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52740]: Stop sub-8013 -> Ok

Dec 06 13:49:07 bitrix.www.ru push-server-multi[52740]: Stop sub-8014 -> Ok

Dec 06 13:49:08 bitrix.www.ru push-server-multi[52740]: Stop sub-8015 -> Ok

Dec 06 13:49:08 bitrix.www.ru push-server-multi[52740]: Stop pub-9010 -> Ok

Dec 06 13:49:08 bitrix.www.ru systemd[1]: Removed slice User Slice of bitrix.

-- Subject: Unit user-600.slice has finished shutting down

-- Defined-By: systemd

-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel

--

-- Unit user-600.slice has finished shutting down.

Dec 06 13:49:08 bitrix.www.ru push-server-multi[52740]: Stop pub-9011 -> Ok

Dec 06 13:49:08 bitrix.www.ru systemd[1]: Started RTC service.

-- Subject: Unit push-server.service has finished start-up

-- Defined-By: systemd

-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel

--

-- Unit push-server.service has finished starting up.

--

-- The start-up result is done.

Dec 06 13:49:08 bitrix.www.ru polkitd[7745]: Unregistered Authentication Agent for unix-process:52506:827455 (system bus name :1.4748, object path /org/freedesktop/PolicyKit1/AuthenticationAgent, locale en_GB.UTF-8) (disconnected

[root@bitrix ~]# systemctl restart push-server
[root@bitrix ~]# systemctl status push-server
● push-server.service - RTC service
Loaded: loaded (/etc/systemd/system/push-server.service; enabled; vendor preset: disabled)
Active: activating (auto-restart) since Thu 2018-12-06 13:55:36 MSK; 7s ago
Process: 56862 ExecStop=/etc/init.d/push-server-multi stop (code=exited, status=0/SUCCESS)
Process: 56634 ExecStart=/etc/init.d/push-server-multi start (code=exited, status=0/SUCCESS)

Dec 06 13:55:36 bitrix.www.ru systemd[1]: Started RTC service.

Пользователь 1115941 Заглянувший Сообщений: 4 Баллов: 1 Регистрация: 06.06.2017	#2 10.12.2018 16:52:19 Такая же ситуация на всех свежеустановленных серверах в последние пару недель. Nodejs стартует и через несколько секунд стопится. Внятных логов не пишет. В чём дело-то?

Алексей Шафранский Администратор Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008	#3 10.12.2018 18:09:30 За это спасибо обновлениям CentOS 7.6. Обновление меняет поведение systemd в рамках служб вида forking, как пример push-server.

Пользователь 700673

Заглянувший

Сообщений: 15 Баллов: 1 Регистрация: 15.09.2016

10.12.2018 18:41:28

Да, точно. И у меня пару раз также слетали настройки например, параметра table_open_cache после этих/таких обновлений. Вначале не мог понять, почему вчерась работало, а нынче никак...
Теперь если скрипты не отрабатывают что должны, то вначале проверяю теперь, лезу в mysqld.service проверяю не изменилось ли LimitNOFILE.
Не знаю, куда это прописать чтоб не менялось после обновлений (по аналогии с z_bx_custom.cnf или z_bx_custom.conf, туда вписывал, не работает, может неправильно перестартовал сервисы, по всякому пробовал).

Пользователь 1163543

Посетитель

Сообщений: 26 Баллов: 5 Регистрация: 25.05.2017

11.12.2018 00:10:50

Цитата
Алексей Шафранский написал: За это спасибо обновлениям CentOS 7.6. Обновление меняет поведение systemd в рамках служб вида forking, как пример push-server.

Как это правильнее всего сейчас пофиксить? Нам надо Энтерпрайз разворачивать.

Пользователь 1329903

Эксперт

Сообщений: 297 Баллов: 69 Регистрация: 15.08.2017

11.12.2018 00:54:07

Цитата
vsologubov написал: Не знаю, куда это прописать чтоб не менялось после обновлений (по аналогии с z_bx_custom.cnf или z_bx_custom.conf,

У systemd есть документация.
Можно создать каталог /etc/systemd/system/mysqld.service.d/
В нём создать файл с любым именем, например override.conf
В файле прописать нужные опции.
Например:

Код
[Service] LimitNPROC=65535 LimitNOFILE=1000000

Так можно переопределять любые значения из стандартного unit-файла

Пользователь 2744447 Заглянувший Сообщений: 2 Баллов: 1 Регистрация: 11.12.2018	#7 11.12.2018 09:22:41 Временно решилось путём перегенерации /etc/systemd/system/multi-user.target.wants/push-server.service на основе /etc/init.d/push-server-multi по этой инструкции https://gist.github.com/houtianze/59b89ca71cc2029dd61d3c4bd86e6ee7 Отпишусь в саппорт

Пользователь 2276691

Заглянувший

Сообщений: 6 Регистрация: 03.07.2018

11.12.2018 10:19:08

Цитата
Игорь Штаров написал: Временно решилось путём перегенерации /etc/systemd/system/multi-user.target.wants/push-server.service на основе /etc/init.d/push-server-multi по этой инструкции https://gist.github.com/houtianze/59b89ca71cc2029dd61d3c4bd86e6ee7 Отпишусь в саппорт

Опишите пожалуйста конкретно что нужно сделать?

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

11.12.2018 19:25:55

Временный фикс, который позволит запустить push-сервер и вернуть интерактивность на портал. Повторюсь еще раз - временный!

Останавливаем push-сервер:

Код
systemctl stop push-server.service

В файле /usr/lib/systemd/system/push-server.service находим строку ExecStop=/etc/init.d/push-server-multi stop и комментируем её

Код
#ExecStop=/etc/init.d/push-server-multi stop

Сохраняем файл. Перезапускаем systemd:

Код
systemctl daemon-reload

Запускаем push-сервер:

Код
systemctl start push-server.service

и проверяем что есть 8 процессов nodejs:

Код
ps -ef \| grep node

Ответ будет примерно таким:

Код

bitrix    18137      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8010.json
bitrix    18161      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8011.json
bitrix    18185      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8012.json
bitrix    18213      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8013.json
bitrix    18241      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8014.json
bitrix    18269      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-sub-8015.json
bitrix    18301      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-pub-9010.json
bitrix    18333      1  0 18:18 ?        00:00:00 node server.js --config /etc/push-server/push-server-pub-9011.json

Проверяем работу push на портале, например в чате.

Этот способ позволяет только запустить push-сервер. Перезапуск (systemctl restart push-server.service) или остановка (systemctl stop push-server.service) не будут работать.
Временное решение - использовать команду pkill - "убить" все процессы node:

Код
pkill -TERM node

Пользователь 302646 Заглянувший Сообщений: 36 Баллов: 2 Регистрация: 24.12.2014	#10 15.12.2018 13:53:30 Алексей Шафранский, спасибо тебе, добрый человек! А когда можно будет ждать фикса?

Алексей Шафранский Администратор Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008	#11 17.12.2018 11:32:52 Александр, еще расследуем проблему. Как только так сразу.

Пользователь 1500471 Заглянувший Сообщений: 8 Регистрация: 15.03.2018	#12 17.12.2018 12:18:29 Спасибо, помогло. Жду фикса.

Пользователь 1665267 Заглянувший Сообщений: 5 Регистрация: 19.02.2018	#13 18.12.2018 15:19:31 А если Push&Pull упал после обновления окружения с 7.3.0 до 7.3.3? Постоянно висит "Отсутствует соединение с сервером". Фикс не помог. Обновление было сегодня. Обновление до была 7.3.12 так же не помогло

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

#14

18.12.2018 16:31:00

Роман Разиньков, чтобы обновить окружение, вы обновляете все пакеты в системе. То есть вы обновляете CentOS до версии 7.6. В этой версии и есть проблемы. На образе с 7.3.0 таких проблем нет - потому что там CentOS версии 7.5.

PS: для push-сервера готовим фикс, постараемся выпустить побыстрей.

Пользователь 1665267

Заглянувший

Сообщений: 5 Регистрация: 19.02.2018

#15

19.12.2018 11:01:52

Андрей Шафранский, спасибо за ответ. Ожидаем все фикса. Сообщите, пожалуйста, здесь. Чтобы не искать где-то еще.

PS Очень удивительно, что данный баг пролез через бета-версии и оказался в стабильном релизе веб окружения, сломав в итоге работающий проект. Это крайне негативно влияет на восприятие продукта и стадии его обновления.

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

#16

19.12.2018 11:52:32

Цитата

Роман Разиньков написал:
PS Очень удивительно, что данный баг пролез через бета-версии и оказался в стабильном релизе веб окружения, сломав в итоге работающий проект. Это крайне негативно влияет на восприятие продукта и стадии его обновления.

Роман Разиньков, бета или стабильная версия пакета bitrix-env тут не при чем. Виноват CentOS и его обновления systemd. Очень удивительно, что они выпустили изменения в systemd, которые ломают обратную совместимость сервисов типа forking, не задумываяcь, что этим сервисам придет "каюк")

Пользователь 1500471 Заглянувший Сообщений: 8 Регистрация: 15.03.2018	#17 20.12.2018 10:05:04 Выходит что обновлять bitrix можно как через меню, так и через yum ? нет разницы? Я думал, что как раз обновление через меню - не пропустит такие вещи.

Пользователь 1665267

Заглянувший

Сообщений: 5 Регистрация: 19.02.2018

#18

20.12.2018 10:51:16

Цитата
Евгений написал: Выходит что обновлять bitrix можно как через меню, так и через yum ? нет разницы? Я думал, что как раз обновление через меню - не пропустит такие вещи.

Мы тоже на это надеялись. Что стабильная версия хотя бы на глобальные вещи проверена. И падения не произойдет. В мониторинге было уведомление, что надо срочно обновить окружение. Но оказалось, что это приведет к падению. Я в любом случае не понимаю, почему такой баг ОС попал в релиз веб окружения.

Пользователь 1500471

Заглянувший

Сообщений: 8 Регистрация: 15.03.2018

#19

20.12.2018 10:56:53

Цитата

Роман Разиньков написал:

Цитата
Евгений написал: Выходит что обновлять bitrix можно как через меню, так и через yum ? нет разницы? Я думал, что как раз обновление через меню - не пропустит такие вещи.

А я ещё и через upgrade обновился, думаю подчищу пакеты. Конечно сразу подумал на это, потом ещё раз подумал, что всё же не должен был upgrade именно сломать.))

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

#20

20.12.2018 11:50:23

Цитата
Евгений написал: Выходит что обновлять bitrix можно как через меню, так и через yum ? нет разницы?Я думал, что как раз обновление через меню - не пропустит такие вещи.

Разницы нет. Отличия лишь в том, что в меню можно обновить только пакет с веб окружением или все на выбор.

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

#21

20.12.2018 12:10:00

Цитата

Роман Разиньков написал:
Мы тоже на это надеялись. Что стабильная версия хотя бы на глобальные вещи проверена. И падения не произойдет. В мониторинге было уведомление, что надо срочно обновить окружение. Но оказалось, что это приведет к падению. Я в любом случае не понимаю, почему такой баг ОС попал в релиз веб окружения.

Роман Разиньков, вы путаете релиз/обновления веб окружения и релиз/обновления CentOS. Релиз веб окружения был в средине 18 года, и на то время как вы написали "глобальные вещи" были проверены и работали) Релиз мажорной версии CentOS 7.6 пришелся на декабрь 18 года. Мы тоже не понимаем, почему разработчики CentOS-а выпустили обновления systemd, сломав обратную совместимость. Остается только принимать меры и реагировать.

PS: обновление с исправлением push-сервера 7.3.4 уже скоро.

Пользователь 1665267

Заглянувший

Сообщений: 5 Регистрация: 19.02.2018

#22

20.12.2018 13:46:14

Ну как же. Мы были на 7.3.0 И до конца ноября - начала декабря не было никаких уведомлений в мониторинге. Потом появилась информация, что нужно обновить веб окружение. Мы же не CentOS обновляли, а через консоль окружения именно окружения. Откуда нам при таком подходе знать, что версия 7.3.3 даст падение push сервера из-за обновлений ОС? Почему нельзя было проверить и не выпускать стабильное обновление 7.3.3 до решения проблемы?

Алексей Шафранский

Администратор

Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008

#23

20.12.2018 14:29:04

Цитата
Роман Разиньков написал: Мы были на 7.3.0 И до конца ноября - начала декабря не было никаких уведомлений в мониторинге. Потом появилась информация, что нужно обновить веб окружение.

Это уведомление пришло с обновлением модуля main в проверке системы.

Цитата
Роман Разиньков написал: Мы же не CentOS обновляли, а через консоль окружения именно окружения.

Как раз CentOS вы обновили до версии 7.6. Если бы только пакет окружения 7.3.0 обновили до версии 7.3.3, то ничего бы не сломалось.

Цитата
Роман Разиньков написал: Почему нельзя было проверить и не выпускать стабильное обновление 7.3.3 до решения проблемы?

7.3.3 вышло в сентябре 2018 года. Обновление CentOS 7.6 вышло в декабре 2018. Как вы себе это представляете?

Пользователь 1665267

Заглянувший

Сообщений: 5 Регистрация: 19.02.2018

#24

20.12.2018 15:02:31

Я понял, о чем вы говорите. Выбрал обновление сервера в консоли, я обновил и CentOS и Bitrix env. Но если я в консоли окружения, как мне обновить только окружение, которое мне мониторинг критически рекомендовал обновить? Я в консоли, выбрал обновление сервера. И все. Я как раз при обновлении сервера и надеюсь, что будет что-то проверено и не допущено в т.ч. обновления ОС. А по факту - что обновляй сам CentOS, что в консоли Bitrix env.

Алексей Шафранский Администратор Сообщений: 1074 Баллов: 208 Регистрация: 28.07.2008	#25 20.12.2018 17:40:39 7.3.4 ушел в релиз! Подробности https://dev.1c-bitrix.ru/community/forums/messages/forum32/topic108633/message569109/#message569109

Не стартует Push

Продукты

Управление сайтом

Битрикс24

Интернет-магазин + CRM

Решения

Для интернет-магазинов

Каталог готовых решений

Внедрение

Выбрать партнера

Проверить партнера

Стать партнером