Коллеги, виртуальные машины VMBitrix 7.5.0 и VMBitrix.CRM 7.5.0 вышли в релиз. В этой версии большой пакет изменений:
- адаптация работы механизмов виртуальной машины для ansible новой версии
- возможность добавлять свои настройки nginx к настройкам сайта
- обновлены и доработаны механизмы повышения и понижения версии PHP и MySQL через меню машины
- реализована возможность обновить PHP до версии 7.3, 7.4 и 8.0
- реализована возможность обновить MySQL до версии 8.0
- добавлена новая роль transformer
- усилена безопасность
- исправлены ошибки
rpm пакет доступен для CentOS 6 (только для VMBitrix) и CentOS 7. Дальнейшая поддержка CentOS 6 прекращена, версия 7.5.0 последняя для этой ОС.
Образы обновлены, на борту свежая версия CentOS 7.9.
Обновлены sh-скрипты: bitrix-env.sh и bitrix-env-crm.sh. Способ запуска прежний:
Обновление ПО:
ansible 2.7.9
php 7.3
nginx 1.18.0
nodejs 10
push-server 2.0.0
Основные исправления:
Исправлены сценарии работы виртуальной машины под новую версию ansible.
PHP 7.3 используется по умолчанию.
Добавлена возможность обновить PHP до версии 7.3.
Добавлена возможность обновить PHP до версии 7.4 (только для Centos 7).
Добавлена возможность обновить PHP до версии 8.0 (только для Centos 7).
Добавлена возможность понизить версию PHP с 8.0 (только для Centos 7).
Удалена устаревшая опция PHP mbstring.func_overload.
Добавлена возможность обновить PHP на указанном сервере в кластере.
Добавлена возможность обновить PHP на всех серверах в кластере с ролью Web.
Добавлена возможность обновить MySQL на указанном сервере в кластере.
В меню машины изменен раздел обновления и отката версии PHP и MySQL. Теперь меню требует указание имени сервера пула.
В меню машины переработан раздел обновления и отката версии PHP и MySQL. Добавлены подразделы Upgrade PHP, Downgrade PHP, Upgrade MySQL version.
При повышении или понижении версии PHP возможные варианты действий внутри каждого подраздела теперь строятся динамически и зависят от текущей версии. Пример, текущая версия PHP 7.2. Для Upgrade PHP доступны варианты повысить версию до 7.3 или 7.4, для Downgrade PHP - понизить до 5.6 или 7.0 или 7.1.
Добавлена возможность обновить MySQL Percona Server до версии 8.0 (только для CentOS 7).
Реализована возможность установить виртуальную машину sh скриптом на чистый CentOS с версией MySQL 8.0, используя параметр -m 8.0 (только для CentOS 7).
Исправлены сценарии работы виртуальной машины для новой версии MySQL 8.0 (только для CentOS 7).
Скорректированы сценарии работы репликации MySQL для версий 5.7 и 8.0.
Скорректированы сценарии обновления для старых версий окружений, использующих PHP 5.6 и MySQL 5.5.
nginx обновлен до версии 1.18.0.
В настройках nginx отключены устаревшие версии TLS 1.0 и 1.1.
Реализована возможность добавлять свои настройки nginx к настройкам сайта. Персональные конфигурации nginx для сайта должны быть размещены по пути /etc/nginx/bx/site_settings/<---имя_сайта--->/<--имя_файла--->.conf.
Реализована настройка хранения временных файлов вне корневой директории проекта. Для сайта типа "по умолчанию" (default) и для новых сайтов настройка используется по умолчанию. Для уже имеющихся сайтов добавлена возможность включения настроек через меню виртуальной машины.
Исправлена ошибка конфигурации httpd, возникающая при настройке NTLM для сайта в кодировке windows-1251.
Исправлена ошибка удаления временных файлов, которые создаются при настройке NTLM для сайта.
Исправлена ошибка работы сайтов в кодировке windows-1251.
При создании сайтов в кодировке windows-1251 в dbconn.php добавляется строка mb_internal_encoding('windows-1251');.
Убрана опция Indexes из конфигурационных файлов сайтов службы httpd.
Исправлены сценарии работы с сайтами типа "внешнее ядро" (ext_kernel) и "ссылка на внешнее ядро" (link).
Добавлено создание настроек push сервера в файле /bitrix/.settings.php для сайта типа "внешнее ядро" (ext_kernel), если используется NodeJS Push-сервер.
По умолчанию доступ к репозиториям VMBitrix переведен на HTTPS. Активируется: при обновлении пакетов, при установке машин с помощью sh скриптов, при включении/выключении beta репозитория.
Для sh скриптов исправлено отображение справки при их запуске с параметром -h.
Роль push-server теперь устанавливает NodeJS 10-ой версии.
Пакет push-server обновлен, незначительные изменения.
Исправлена работа роли push в связи с обновлением пакета redis.
Исправлена ошибка настройки мониторинга и показа графиков нагрузки.
Реализованы изменения, направленные на повышение безопасности (конфигурационные файлы nginx, httpd, php, ssh).
Добавлена новая роль transformer, предназначенная для локальной конвертации документов и видео файлов (только для CentOS 7). Для запуска и работы роли требуются модули transformer 20.100.0 и transformercontroller 20.100.0.
Роль transformer доступна только в машине VMBitrix.
Перед запуском роли transformer теперь выдается оповещение об устанавливаемом ПО.
Добавлена конфигурация nginx для быстрой отдачи файлов с помощью Яндекс.Облако.
Добавлена поддержка всех текущих регионов Amazon S3 для быстрой отдачи файлов с помощью nginx.
Для виртуальной машины VMBitrix.CRM добавлена возможность в меню включить NTLM.
Для виртуальной машины VMBitrix.CRM исправлена работа роли push-server при использовании одного из образов виртуализации.
При настройке почты в генерируемый файл .msmtprc добавляется строка aliases /etc/aliases.
Прекращена поддержка CentOS 6. Выпуск данной версии последний для этой ОС.
Исправлена ошибка в просмотре файлов в мобильном приложении при подключенном облачном хранилище.
Исправлена ошибка в задаче обновления всех пакетов виртуальной машины на шаге удаления старых ядер операционной системы.
Исправлена ошибка, возникающая при включении php расширения imagick.
Исправлена ошибка, возникающая в проверке сайта из-за настройки MySQL innodb_strict_mode.
Исправлена ошибка, возникающая при коммите конфигурационных файлов виртуальной машины etckeeper-ом (конфликт из-за daily autocommit).
Примечание A: рекомендуемый способ обновления машин на версию 7.5.0:
1) консоль: yum clean all && yum update
2) меню машины: 2. Configure localhost settings -> 6. Update server
НЕ рекомендуется использовать пункты меню машины 1. Manage servers in the pool -> 4. Update packages on host с выбором значения bitrix или all. Причина - обновление пакета ansible.
Примечание B: дополнение и расшифровка по персональным настройкам nignx для разных типов сайтов:
1) сайт типа "по умолчанию" (default)
Список изменений, происходящих при обновлении пакета для сайта типа default. Путь корневого каталога /home/bitrix/www, имя базы для сайта sitemanager.
Создается общая папка для хранения временных файлов вне корня сайта - /home/bitrix/.bx_temp.
Для сайта создается папка - /home/bitrix/.bx_temp/sitemanager.
В файл /home/bitrix/www/bitrix/php_interface/dbconn.php добавляется строка:
В конфигурациях nginx сайта (два файла /etc/nginx/bx/site_avaliable/s1.conf и /etc/nginx/bx/site_avaliable/ssl.s1.conf) добавляются строки:
Создается общая для всех сайтов папка - /etc/nginx/bx/site_settings.
Для сайта будет создана папка /etc/nginx/bx/site_settings/default, в ней создан файл bx_temp.conf с содержимым:
При установке sh скриптом на чистую машину все что описано выше будет выполнено автоматически, никаких настроек не требуется.
2) сайты разных типов, созданные до обновления (ядро, внешнее ядро, ссылка)
Сайты разных типов, созданные до обновления, затронуты не будут.
Чтобы использовать персональные конфигурации nginx для всех сайтов, нужно в меню машины запустить задание 6. Configure pool sites -> 10. Configure additional site's options -> 2. Configure BX_TEMPORARY_FILES_DIRECTORY.
В списке сайтов в этом пункте не будет сайтов типа внешнее ядро.
Для сайта типа ссылка на внешнее ядро имя базы данных будет показано от сайта типа внешнее ядро.
Пример:
- сайт типа ядро - mykernel.bx, путь /home/bitrix/ext_www/mykernel.bx, имя базы для сайта dbmykernel
- сайт типа внешнее ядро - myextkernel.bx, путь /home/bitrix/ext_www/myextkernel.bx, имя базы для сайта dbmyextkernel
- сайт типа ссылка на внешнее ядро - mylinkonextkernel.bx, путь /home/bitrix/ext_www/mylinkonextkernel.bx, имя базы для сайта dbmyextkernel
Результат на картинке:
3) сайты разных типов, созданные после обновления
Сайты разных типов, созданные после обновления, дополнительно настраивать не нужно, все настройки будут произведены при создании сайта (пример в пункте 1).
4) если до обновления на 7.5.0 уже настроено BX_TEMPORARY_FILES_DIRECTORY согласно рекомендациям Сканера безопасности (/bitrix/admin/security_scanner.php?lang=ru):
4.1) сайт типа "по умолчанию" (default)
При установке обновления создаются все папки как описано выше.
Персональные конфигурации nginx для сайта работают по умолчанию, ничего настраивать не нужно.
Хранения временных файлов вне корневой директории проекта нужно донастроить, т.к. файл /bitrix/php_interface/dbconn.php не трогается.
Настройка не сложная, в файле /bitrix/php_interface/dbconn.php меняем путь с
на
4.2) сайты разных типов, созданные до обновления (ядро, внешнее ядро, ссылка)
В меню машины нужно запустить задание 6. Configure pool sites -> 10. Configure additional site's options -> 2. Configure BX_TEMPORARY_FILES_DIRECTORY. И аналогично пункту 4.1 поменять путь в константе BX_TEMPORARY_FILES_DIRECTORY.
Примечание C: MySQL 8
По умолчанию все еще используется MySQL 5.7 Percona Server. Обновить до MySQL 8.0 Percona Server можно только на машины с CentOS 7.
sh скрипты по умолчанию ставят версию MySQL 5.7. Для установки версии 8.0 нужно использовать параметр -m 8.0, для 5.7 - -m 5.7. Пример команд:
./bitrix-env.sh -m 8.0
./bitrix-env-crm.sh -m 8.0
Полная справка по параметрам:
Апгрейд версии MySQL на уже имеющихся машинах производится через меню, нужно пройти по шагам:
для VMBitrix
1. Manage servers in the pool -> 8. Update PHP and MySQL -> имя_сервера_пула -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
для VMBitrix.CRM
1. Manage servers in the pool -> 6. Update PHP and MySQL -> имя_сервера_пула -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
Запустится задача bx_upgrade_mysql80_**********, которая выполнит бэкап бд каждого сайта в папку /home/bitrix/backup/archive, удалит MySQL 5.7, поставит, настроит и запустит MySQL 8.0.
Если у вас MySQL 5.5 MariaDB Server, то сначала нужно обновить MySQL до MySQL 5.7 Percona Server, потом до MySQL 8.0 Percona Server.
Актуализированы сценарии работы виртуальной машины с новой версией MySQL 8.0, в том числе работа роли в кластере.
Примечание D: репликация MySQL
Разработчики MySQL отказались от терминологии master, slave и т.д. SQL запросы вида SHOW SLAVE STATUS на текущей версии MySQL 8 выдают предупреждение, в будущих будет ошибка.
Скорректировали сценарии работы репликации MySQL в зависимости от версии:
- для 5.7 все остается как было (по примеру выше SHOW SLAVE STATUS)
- для 8.0 запрос изменится (по примеру выше SHOW REPLICA STATUS)
Примечание E: механизмы повышения и понижения версии PHP и MySQL
Убраны промежуточные шаги при повышении или понижении версии PHP. Пример, 7.0 -> 7.4 или 7.3 -> 7.1 теперь выполняются за один шаг.
Для VMBitrix.CRM понизить версию PHP можно только до 7.1.
Также, в меню машины добавлен шаг, требующий указать имя сервера пула, для которого будут проводится повышение/понижение версии PHP и повышение версии MySQL.
Благодаря шагу выше меню машины теперь позволяет обновлять PHP/MySQL на указанном сервере в кластере.
Например, в пуле два сервера с именами server11 и server12. На главном 11-ом версии PHP 7.4 и MySQL 8.0, на 12-ом PHP 7.3 и MySQL 5.7.
Для обновления PHP до 7.4 на server12 в меню машины на server11 проходим по шагам:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> server12 -> 1. Upgrade PHP -> 1. Update PHP to version 7.4
Для обновления MySQL на sever12 в меню машины на server11 проходим по шагам:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> server12 -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
Аналогично, меню машины теперь позволяет обновить PHP на всех серверах в кластере с ролью Web.
Например, в пуле три сервера с именами server11, server12 и server13. Для 12-го и 13-го запущена роль Web. На всех трех серверах версия PHP 7.2.
Для обновления PHP до 7.4 на всех трех серверах пула с ролью Web в меню машины на server11 проходим по шагам и указываем all:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> all -> 1. Upgrade PHP -> 1. Update PHP to version 7.4
Для CentOS 6 обновить PHP до версии 7.4 невозможно, сообщество не собирает пакеты php под эту версию.
Подраздел Upgrade MySQL version будет отображаться только если у вас старая версия MySQL 5.5 MariaDB.
Примечание F: PHP 8.0
Добавлена возможность обновить PHP до версии 8.0 и понизить версию PHP с 8.0.
Данный функционал выпускается заранее, использовать сейчас его НЕ рекомендуется. Проекты будут "фаталить" и выдавать ошибки без обновления продукта.
PS: будем считать это намеком на то, что ядро и модули Битрикс уже работают на PHP 8.0
. На волнительный вопрос о сроках "когда?", ответ такой: подготовлено 200+ обновлений модулей продукта. Ждите анонса выпуска и следите за ченджлогами обновлений.
Примечание G: mbstring.func_overload
Устаревшая опция удалена, сценарии работы виртуальной машины скорректированы. Продублировали изменения, вышедшие в версии 7.4.4, в текущую 7.5.0.
Примечание H: Push-сервер и NodeJS 10
Роль push-server теперь устанавливает NodeJS 10-ой версии вместо 8-ой как раньше.
Происходит это при первом запуске процесса перехода на push сервер на NodeJS или при установке VMBitrix.CRM на чистый CentOS.
Если у вас NodeJS 8 никаких дополнительных действий не требуется.
Если все же хотите использовать NodeJS 10, нужно удалить роль push на NodeJS через меню машины и установить её снова.
Примечание I: redis
В начале марта вышло обновление redis версии 6.2.ххх. Было скорректировано расположение конфигурационных файлов redis и путей для systemd.
Стабильную версию VMBitrix 7.4.4 эти изменения не затрагивают.
В BETA версии VMBitrix подломали роль push. В этом обновлении поправили сценарии роли push.
Если вы использовали BETA в марте и уже пробовали включать push на NodeJS - рекомендуем обновить машину до версии 7.5.0, удалить роль push и установить её снова.
Примечание J: CentOS 6
Поддержка CentOS 6 прекращена. Выпуск данной версии последний. Больше никаких обновлений для 6-ки выпускаться не будет.
Это обновление выпускается для поддержки клиентов со старыми версиями окружения (PHP 5.6 и MySQL 5.5). Основной фикс - "ослабили" проверку версий php/mysql/модуля main для обновления старых версий клиентов до текущих.
Если у вас CentOS 6 - переходите на CentOS 7.
Примечание K: новая роль Transformer
В примерах ниже используется локальный домен vms.local, где:
- server44 - отдельная виртуальная машина, версия окружения 7.5.0, у которой:
-- server44.vms.local - дефолтный сайт (default)
-- b24ru.server44.vms.local - созданный сайт в меню машины, русский дистрибутив Битрикс24
-- b24en.server44.vms.local - созданный сайт в меню машины, западный дистрибутив Битрикс24
- server215 - отдельная виртуальная машина, версия окружения 7.4.4, у которой:
-- server215.vms.local - дефолтный сайт (default)
На всех сайтах выше установлен дистрибутив Битрикс24 в коробке разных редакций.
Подготовка сайта для роли transformer, основные моменты
Для работы новой роли необходимо чтобы на сайте были установлены:
- модуль Конвертер файлов (transformer) версии 20.100.0 и выше
- модуль Сервер конвертации файлов (transformercontroller) версии 20.100.0 и выше
Модуль transformercontroller доступен в редакции Битрикс24: Энтерпрайз.
Роли нет в меню машины VMBitrix.CRM в связи с недоступностью модуля transformercontroller в редакции Битрикс24.CRM.
На странице Система обновлений (/bitrix/admin/update_system.php?lang=ru) загружаем/обновляем эти модули.
На странице Управление модулями (/bitrix/admin/module_admin.php?lang=ru) устанавливаем оба модуля, если не установлены.
После установки модулей их настройка не требуется, новая роль при её активации для вашего сайта сама настроит нужные опции.
Если заглянуть в настройки модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer), то там будет заполнено поле Публичный адрес сайта:
Если заглянуть в настройки модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) то на вкладках Общее, Настройки RabbitMQ, Настройка очередей, Статус настроек не будет:
Например, таб Статус будет показывать:
Это нормальное поведение.
Запуск роли transformer
Перед запуском роли transformer меню машины будет выдавать оповещение об устанавливаемом ПО:
LibreOffice
RabbitMQ Server
FFmpeg
Erlang
Запускаем новую роль для указанного сайта - в меню машины проходим по шагам 11. Configure Transformer service -> 1. Configure Transformer service и указываем имя сайта - default.
Запустится задача configure_transformer_**********, которая:
- установит пакеты erlang, rabbitmq, libreoffice6.4, ffmpeg и т.д. и их связи
- настроит модули Конвертер файлов (transformer) и Сервер конвертации файлов (transformercontroller) для указанного сайта.
Снова смотрим в настройки модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) - необходимые поля заполнены.
Примечание: в полях Путь для добавления команд на конвертацию файлов и Публичный адрес сайта будет указано , что для дефолтного сайта машины считается нормой.
Также снова смотрим в настройки модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller). Итого:
- на вкладке Общее сайт default присутствует в поле Адреса через запятую, с которых должны обрабатываться запросы на конвертацию:
- на вкладке Настройки RabbitMQ заданы настройки во все поля:
- на вкладке Статус все проверки "зеленые":
Последний не менее важный шаг: на странице Настройки Битрикс24 (/configs/) или на странице Настройки модуля Диск (/bitrix/admin/settings.php?lang=ru&mid=disk) необходимо установить опцию Просматривать документы с помощью в значение Битрикс24.
Для любого другого сайта машины (не default, созданный через меню машины) настройка аналогична описанной выше.
Проверка работы
После настройки новой роли для сайта проверить работу можно в нескольких местах публичной части продукта, например:
1) страница Новости (живая лента), преобразование документов и видео файлов постов или комментариев:
2) раздел Диск, просмотр файлов:
3) раздел CRM, генерация документов по шаблонам, например для сделок:
Удаление роли transformer
Для удаления роли в меню машины проходим по шагам 11. Configure Transformer service -> 2. Remove Transformer service -> 1. Remove Transformer service.
Запустится задача remove_transformer_**********, которая:
- деактивирует запущенные раннее сервисы, удалит их данные
- сбросит настройки модулей Конвертер файлов (transformer) и Сервер конвертации файлов (transformercontroller)
Ограничения
Нельзя удалить сайт, если для него настроена роль transformer (сначала удаляем роль, потом сайт).
Вынос роли transformer на отдельный сервер в кластере не предусмотрен.
Возможна установка только 1 роли transformer на машину для одного из сайтов машины.
Использование роли transformer другими сайтами
Рассмотрим пример как это настроить. Среда:
- b24ru.server44.vms.local: новый сайт, созданный на машине server44 с версией окружения 7.5.0, для которого уже настроена роль transformer по примеру выше.
- b24en.server44.vms.local: на той же самой машине есть еще один сайт, созданный через меню машины.
- server215.vms.local: дефолтный сайт (default), работающий на другой машине server215 с версией окружения 7.4.4.
Для сайтов, которые будут обращаться к серверу (сайту с ролью transformer) за конвертацией данных, версия окружения не важна.
Важно наличие установленного модуля Конвертер файлов (transformer) версии 20.100.0 и выше.
Настройка сервера
На сайте b24ru.server44.vms.local в настройках модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) указываем:
- Адреса через запятую, с которых должны обрабатываться запросы на конвертацию - добавляем b24en.server44.vms.local.
Сохраняем настройки модуля.
Настройка сайта клиента
На сайте b24en.server44.vms.local в настройках модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) указываем:
- Путь для добавления команд на конвертацию файлов:
- Публичный адрес сайта:
Сохраняем настройки модуля
Проверяем работу связки как описано выше.
Аналогичным образом настраивается для сайтов, находящихся вне машины с ролью transformer.
Пример, сайт server215.vms.local:
На сайте server215.vms.local в настройках модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) указываем:
- Путь для добавления команд на конвертацию файлов:
- Публичный адрес сайта:
Сохраняем настройки модуля
На сайте b24ru.server44.vms.local в настройках модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) указываем:
- Адреса через запятую, с которых должны обрабатываться запросы на конвертацию - добавляем server215.vms.local
Сохраняем настройки модуля
Проверяем работу связки как описано выше.
Нагрузка, логирование
Работа серверной части может потреблять значительные ресурсы процессора и оперативной памяти вашего сервера, особенно при конвертации видео файлов. Стоит это учитывать.
Лог клиентской части (сайта) будет храниться в папке /bitrix/modules/ сайта при условии, что включен режим отладки в настройках модуля Конвертер файлов (transformer).
Пути лога:
- для сайта default: /home/bitrix/www/bitrix/modules/transformer.log
- для сайта не default: /home/bitrix/ext_www/b24ru.server44.vms.local/bitrix/modules/transformer.log
Логи серверной части роли хранятся в папках:
/var/log/rabbitmq/
/var/log/transformer/
Статусы демонов rabbitmq и transformer можно проверить командами:
- systemctl status rabbitmq-server.service, вывод команды:
- systemctl status transformer.service, вывод команды:
Логи сервера будут в json формате. Примеры логов при различных конвертациях:
- Конвертация видео avi -> mp4, лог сервера:
- Конвертация видео avi -> mp4, лог клиента:
- Конвертация документа doc -> pdf, лог сервера:
- Конвертация документа doc -> pdf, лог клиента:
- Создание счета CRM по шаблону docx -> pdf, лог сервера:
- Создание счета CRM по шаблону docx -> pdf, лог клиента:
При возникновении каких-либо ошибок стоит проверить логи сервера и логи клиента.
Ссылки для скачивания VMBitrix:
Ссылки для скачивания VMBitrix.CRM:
Список AMI VMBitrix для Amazon:
EXE:
Коллеги, виртуальная машина VMBitrix.CRM 7.5.0 с вариантом поставки exe вышла в релиз.
Основные исправления:
Версия VirtualBox поднята до 6.1.xx (было 6.0.xx).
Как это работает?
Файл vm-bitrix24-installer.exe:
1) скачает и установит VirtualBox
2) скачает образ виртуальной машины VMBitrix.CRM 7.5.0 и импортирует его в VirtualBox
3) установит сервис по вашему желанию
4) запустит машину и получит IP
После останется установить Битрикс24.CRM или восстановить ваш бекап проекта.
Если устанавливался сервис - при перезагрузке компьютера виртуальная машина будет запущена в фоновом режиме.
Совместимо с Windows 7/8/10, Windows Server 2008/2012/2016/2019.
Примечание: для работы нового сервиса у пользователя Windows должен быть установлен пароль.
Исходники пакетов:
Добавляем файл для репозитория:
1) для стабильной версии - /etc/yum.repos.d/bitrix-source.repo с содержимым:
2) или для бета версии - /etc/yum.repos.d/bitrix-source-beta.repo с содержимым:
Убедимся что есть пакет yum-utils:
Скачиваем все исходники: VMBitrix, VMBitrix.CRM, bx-nginx, bx-ansible, bx-push-server
Примерный ответ в консоли - исходники стабильной версии:
PS: для VMBitrix.BETA в репозиторий добавлены пакеты 7.5.0. Можно обновляться.
Информация в этом посте будет дополнена.
Всем удачи и позитивного заряда весны. Спасибо за обратную связь!
- адаптация работы механизмов виртуальной машины для ansible новой версии
- возможность добавлять свои настройки nginx к настройкам сайта
- обновлены и доработаны механизмы повышения и понижения версии PHP и MySQL через меню машины
- реализована возможность обновить PHP до версии 7.3, 7.4 и 8.0
- реализована возможность обновить MySQL до версии 8.0
- добавлена новая роль transformer
- усилена безопасность
- исправлены ошибки
rpm пакет доступен для CentOS 6 (только для VMBitrix) и CentOS 7. Дальнейшая поддержка CentOS 6 прекращена, версия 7.5.0 последняя для этой ОС.
Образы обновлены, на борту свежая версия CentOS 7.9.
Обновлены sh-скрипты: bitrix-env.sh и bitrix-env-crm.sh. Способ запуска прежний:
| Код |
|---|
wget https://repos.1c-bitrix.ru/yum/bitrix-env.sh && chmod +x bitrix-env.sh && ./bitrix-env.sh wget https://repos.1c-bitrix.ru/yum/bitrix-env-crm.sh && chmod +x bitrix-env-crm.sh && ./bitrix-env-crm.sh |
Обновление ПО:
ansible 2.7.9
php 7.3
nginx 1.18.0
nodejs 10
push-server 2.0.0
Основные исправления:
Исправлены сценарии работы виртуальной машины под новую версию ansible.
PHP 7.3 используется по умолчанию.
Добавлена возможность обновить PHP до версии 7.3.
Добавлена возможность обновить PHP до версии 7.4 (только для Centos 7).
Добавлена возможность обновить PHP до версии 8.0 (только для Centos 7).
Добавлена возможность понизить версию PHP с 8.0 (только для Centos 7).
Удалена устаревшая опция PHP mbstring.func_overload.
Добавлена возможность обновить PHP на указанном сервере в кластере.
Добавлена возможность обновить PHP на всех серверах в кластере с ролью Web.
Добавлена возможность обновить MySQL на указанном сервере в кластере.
В меню машины изменен раздел обновления и отката версии PHP и MySQL. Теперь меню требует указание имени сервера пула.
В меню машины переработан раздел обновления и отката версии PHP и MySQL. Добавлены подразделы Upgrade PHP, Downgrade PHP, Upgrade MySQL version.
При повышении или понижении версии PHP возможные варианты действий внутри каждого подраздела теперь строятся динамически и зависят от текущей версии. Пример, текущая версия PHP 7.2. Для Upgrade PHP доступны варианты повысить версию до 7.3 или 7.4, для Downgrade PHP - понизить до 5.6 или 7.0 или 7.1.
Добавлена возможность обновить MySQL Percona Server до версии 8.0 (только для CentOS 7).
Реализована возможность установить виртуальную машину sh скриптом на чистый CentOS с версией MySQL 8.0, используя параметр -m 8.0 (только для CentOS 7).
Исправлены сценарии работы виртуальной машины для новой версии MySQL 8.0 (только для CentOS 7).
Скорректированы сценарии работы репликации MySQL для версий 5.7 и 8.0.
Скорректированы сценарии обновления для старых версий окружений, использующих PHP 5.6 и MySQL 5.5.
nginx обновлен до версии 1.18.0.
В настройках nginx отключены устаревшие версии TLS 1.0 и 1.1.
Реализована возможность добавлять свои настройки nginx к настройкам сайта. Персональные конфигурации nginx для сайта должны быть размещены по пути /etc/nginx/bx/site_settings/<---имя_сайта--->/<--имя_файла--->.conf.
Реализована настройка хранения временных файлов вне корневой директории проекта. Для сайта типа "по умолчанию" (default) и для новых сайтов настройка используется по умолчанию. Для уже имеющихся сайтов добавлена возможность включения настроек через меню виртуальной машины.
Исправлена ошибка конфигурации httpd, возникающая при настройке NTLM для сайта в кодировке windows-1251.
Исправлена ошибка удаления временных файлов, которые создаются при настройке NTLM для сайта.
Исправлена ошибка работы сайтов в кодировке windows-1251.
При создании сайтов в кодировке windows-1251 в dbconn.php добавляется строка mb_internal_encoding('windows-1251');.
Убрана опция Indexes из конфигурационных файлов сайтов службы httpd.
Исправлены сценарии работы с сайтами типа "внешнее ядро" (ext_kernel) и "ссылка на внешнее ядро" (link).
Добавлено создание настроек push сервера в файле /bitrix/.settings.php для сайта типа "внешнее ядро" (ext_kernel), если используется NodeJS Push-сервер.
По умолчанию доступ к репозиториям VMBitrix переведен на HTTPS. Активируется: при обновлении пакетов, при установке машин с помощью sh скриптов, при включении/выключении beta репозитория.
Для sh скриптов исправлено отображение справки при их запуске с параметром -h.
Роль push-server теперь устанавливает NodeJS 10-ой версии.
Пакет push-server обновлен, незначительные изменения.
Исправлена работа роли push в связи с обновлением пакета redis.
Исправлена ошибка настройки мониторинга и показа графиков нагрузки.
Реализованы изменения, направленные на повышение безопасности (конфигурационные файлы nginx, httpd, php, ssh).
Добавлена новая роль transformer, предназначенная для локальной конвертации документов и видео файлов (только для CentOS 7). Для запуска и работы роли требуются модули transformer 20.100.0 и transformercontroller 20.100.0.
Роль transformer доступна только в машине VMBitrix.
Перед запуском роли transformer теперь выдается оповещение об устанавливаемом ПО.
Добавлена конфигурация nginx для быстрой отдачи файлов с помощью Яндекс.Облако.
Добавлена поддержка всех текущих регионов Amazon S3 для быстрой отдачи файлов с помощью nginx.
Для виртуальной машины VMBitrix.CRM добавлена возможность в меню включить NTLM.
Для виртуальной машины VMBitrix.CRM исправлена работа роли push-server при использовании одного из образов виртуализации.
При настройке почты в генерируемый файл .msmtprc добавляется строка aliases /etc/aliases.
Прекращена поддержка CentOS 6. Выпуск данной версии последний для этой ОС.
Исправлена ошибка в просмотре файлов в мобильном приложении при подключенном облачном хранилище.
Исправлена ошибка в задаче обновления всех пакетов виртуальной машины на шаге удаления старых ядер операционной системы.
Исправлена ошибка, возникающая при включении php расширения imagick.
Исправлена ошибка, возникающая в проверке сайта из-за настройки MySQL innodb_strict_mode.
Исправлена ошибка, возникающая при коммите конфигурационных файлов виртуальной машины etckeeper-ом (конфликт из-за daily autocommit).
Примечание A: рекомендуемый способ обновления машин на версию 7.5.0:
1) консоль: yum clean all && yum update
2) меню машины: 2. Configure localhost settings -> 6. Update server
НЕ рекомендуется использовать пункты меню машины 1. Manage servers in the pool -> 4. Update packages on host с выбором значения bitrix или all. Причина - обновление пакета ansible.
Примечание B: дополнение и расшифровка по персональным настройкам nignx для разных типов сайтов:
1) сайт типа "по умолчанию" (default)
Список изменений, происходящих при обновлении пакета для сайта типа default. Путь корневого каталога /home/bitrix/www, имя базы для сайта sitemanager.
Создается общая папка для хранения временных файлов вне корня сайта - /home/bitrix/.bx_temp.
Для сайта создается папка - /home/bitrix/.bx_temp/sitemanager.
В файл /home/bitrix/www/bitrix/php_interface/dbconn.php добавляется строка:
| Код |
|---|
define("BX_TEMPORARY_FILES_DIRECTORY", "/home/bitrix/.bx_temp/sitemanager/"); |
В конфигурациях nginx сайта (два файла /etc/nginx/bx/site_avaliable/s1.conf и /etc/nginx/bx/site_avaliable/ssl.s1.conf) добавляются строки:
| Код |
|---|
# custom options for sites; doesn't changes on update include bx/site_settings/default/*.conf; |
Создается общая для всех сайтов папка - /etc/nginx/bx/site_settings.
Для сайта будет создана папка /etc/nginx/bx/site_settings/default, в ней создан файл bx_temp.conf с содержимым:
| Код |
|---|
location ~* ^/bx_tmp_download/ {
internal;
rewrite /bx_tmp_download/(.+) /.bx_temp/sitemanager/$1 last;
}
location ~* ^/.bx_temp/sitemanager/ {
internal;
root /home/bitrix;
} |
При установке sh скриптом на чистую машину все что описано выше будет выполнено автоматически, никаких настроек не требуется.
2) сайты разных типов, созданные до обновления (ядро, внешнее ядро, ссылка)
Сайты разных типов, созданные до обновления, затронуты не будут.
Чтобы использовать персональные конфигурации nginx для всех сайтов, нужно в меню машины запустить задание 6. Configure pool sites -> 10. Configure additional site's options -> 2. Configure BX_TEMPORARY_FILES_DIRECTORY.
В списке сайтов в этом пункте не будет сайтов типа внешнее ядро.
Для сайта типа ссылка на внешнее ядро имя базы данных будет показано от сайта типа внешнее ядро.
Пример:
- сайт типа ядро - mykernel.bx, путь /home/bitrix/ext_www/mykernel.bx, имя базы для сайта dbmykernel
- сайт типа внешнее ядро - myextkernel.bx, путь /home/bitrix/ext_www/myextkernel.bx, имя базы для сайта dbmyextkernel
- сайт типа ссылка на внешнее ядро - mylinkonextkernel.bx, путь /home/bitrix/ext_www/mylinkonextkernel.bx, имя базы для сайта dbmyextkernel
Результат на картинке:
3) сайты разных типов, созданные после обновления
Сайты разных типов, созданные после обновления, дополнительно настраивать не нужно, все настройки будут произведены при создании сайта (пример в пункте 1).
4) если до обновления на 7.5.0 уже настроено BX_TEMPORARY_FILES_DIRECTORY согласно рекомендациям Сканера безопасности (/bitrix/admin/security_scanner.php?lang=ru):
4.1) сайт типа "по умолчанию" (default)
При установке обновления создаются все папки как описано выше.
Персональные конфигурации nginx для сайта работают по умолчанию, ничего настраивать не нужно.
Хранения временных файлов вне корневой директории проекта нужно донастроить, т.к. файл /bitrix/php_interface/dbconn.php не трогается.
Настройка не сложная, в файле /bitrix/php_interface/dbconn.php меняем путь с
| Код |
|---|
define("BX_TEMPORARY_FILES_DIRECTORY", "/home/bitrix/tmp"); |
на
| Код |
|---|
define("BX_TEMPORARY_FILES_DIRECTORY", "/home/bitrix/.bx_temp/sitemanager"); |
4.2) сайты разных типов, созданные до обновления (ядро, внешнее ядро, ссылка)
В меню машины нужно запустить задание 6. Configure pool sites -> 10. Configure additional site's options -> 2. Configure BX_TEMPORARY_FILES_DIRECTORY. И аналогично пункту 4.1 поменять путь в константе BX_TEMPORARY_FILES_DIRECTORY.
Примечание C: MySQL 8
По умолчанию все еще используется MySQL 5.7 Percona Server. Обновить до MySQL 8.0 Percona Server можно только на машины с CentOS 7.
sh скрипты по умолчанию ставят версию MySQL 5.7. Для установки версии 8.0 нужно использовать параметр -m 8.0, для 5.7 - -m 5.7. Пример команд:
./bitrix-env.sh -m 8.0
./bitrix-env-crm.sh -m 8.0
Полная справка по параметрам:
| Код |
|---|
./bitrix-env.sh -h ./bitrix-env-crm.sh -h |
Апгрейд версии MySQL на уже имеющихся машинах производится через меню, нужно пройти по шагам:
для VMBitrix
1. Manage servers in the pool -> 8. Update PHP and MySQL -> имя_сервера_пула -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
для VMBitrix.CRM
1. Manage servers in the pool -> 6. Update PHP and MySQL -> имя_сервера_пула -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
Запустится задача bx_upgrade_mysql80_**********, которая выполнит бэкап бд каждого сайта в папку /home/bitrix/backup/archive, удалит MySQL 5.7, поставит, настроит и запустит MySQL 8.0.
Если у вас MySQL 5.5 MariaDB Server, то сначала нужно обновить MySQL до MySQL 5.7 Percona Server, потом до MySQL 8.0 Percona Server.
Актуализированы сценарии работы виртуальной машины с новой версией MySQL 8.0, в том числе работа роли в кластере.
Примечание D: репликация MySQL
Разработчики MySQL отказались от терминологии master, slave и т.д. SQL запросы вида SHOW SLAVE STATUS на текущей версии MySQL 8 выдают предупреждение, в будущих будет ошибка.
Скорректировали сценарии работы репликации MySQL в зависимости от версии:
- для 5.7 все остается как было (по примеру выше SHOW SLAVE STATUS)
- для 8.0 запрос изменится (по примеру выше SHOW REPLICA STATUS)
Примечание E: механизмы повышения и понижения версии PHP и MySQL
Убраны промежуточные шаги при повышении или понижении версии PHP. Пример, 7.0 -> 7.4 или 7.3 -> 7.1 теперь выполняются за один шаг.
Для VMBitrix.CRM понизить версию PHP можно только до 7.1.
Также, в меню машины добавлен шаг, требующий указать имя сервера пула, для которого будут проводится повышение/понижение версии PHP и повышение версии MySQL.
Благодаря шагу выше меню машины теперь позволяет обновлять PHP/MySQL на указанном сервере в кластере.
Например, в пуле два сервера с именами server11 и server12. На главном 11-ом версии PHP 7.4 и MySQL 8.0, на 12-ом PHP 7.3 и MySQL 5.7.
Для обновления PHP до 7.4 на server12 в меню машины на server11 проходим по шагам:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> server12 -> 1. Upgrade PHP -> 1. Update PHP to version 7.4
Для обновления MySQL на sever12 в меню машины на server11 проходим по шагам:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> server12 -> 3. Upgrade MySQL version -> 1. Upgrade MySQL to version 8.0
Аналогично, меню машины теперь позволяет обновить PHP на всех серверах в кластере с ролью Web.
Например, в пуле три сервера с именами server11, server12 и server13. Для 12-го и 13-го запущена роль Web. На всех трех серверах версия PHP 7.2.
Для обновления PHP до 7.4 на всех трех серверах пула с ролью Web в меню машины на server11 проходим по шагам и указываем all:
1. Manage servers in the pool -> 8. Update PHP and MySQL -> all -> 1. Upgrade PHP -> 1. Update PHP to version 7.4
Для CentOS 6 обновить PHP до версии 7.4 невозможно, сообщество не собирает пакеты php под эту версию.
Подраздел Upgrade MySQL version будет отображаться только если у вас старая версия MySQL 5.5 MariaDB.
Примечание F: PHP 8.0
Добавлена возможность обновить PHP до версии 8.0 и понизить версию PHP с 8.0.
Данный функционал выпускается заранее, использовать сейчас его НЕ рекомендуется. Проекты будут "фаталить" и выдавать ошибки без обновления продукта.
PS: будем считать это намеком на то, что ядро и модули Битрикс уже работают на PHP 8.0
. На волнительный вопрос о сроках "когда?", ответ такой: подготовлено 200+ обновлений модулей продукта. Ждите анонса выпуска и следите за ченджлогами обновлений.Примечание G: mbstring.func_overload
Устаревшая опция удалена, сценарии работы виртуальной машины скорректированы. Продублировали изменения, вышедшие в версии 7.4.4, в текущую 7.5.0.
Примечание H: Push-сервер и NodeJS 10
Роль push-server теперь устанавливает NodeJS 10-ой версии вместо 8-ой как раньше.
Происходит это при первом запуске процесса перехода на push сервер на NodeJS или при установке VMBitrix.CRM на чистый CentOS.
Если у вас NodeJS 8 никаких дополнительных действий не требуется.
Если все же хотите использовать NodeJS 10, нужно удалить роль push на NodeJS через меню машины и установить её снова.
Примечание I: redis
В начале марта вышло обновление redis версии 6.2.ххх. Было скорректировано расположение конфигурационных файлов redis и путей для systemd.
Стабильную версию VMBitrix 7.4.4 эти изменения не затрагивают.
В BETA версии VMBitrix подломали роль push. В этом обновлении поправили сценарии роли push.
Если вы использовали BETA в марте и уже пробовали включать push на NodeJS - рекомендуем обновить машину до версии 7.5.0, удалить роль push и установить её снова.
Примечание J: CentOS 6
Поддержка CentOS 6 прекращена. Выпуск данной версии последний. Больше никаких обновлений для 6-ки выпускаться не будет.
Это обновление выпускается для поддержки клиентов со старыми версиями окружения (PHP 5.6 и MySQL 5.5). Основной фикс - "ослабили" проверку версий php/mysql/модуля main для обновления старых версий клиентов до текущих.
Если у вас CentOS 6 - переходите на CentOS 7.
Примечание K: новая роль Transformer
В примерах ниже используется локальный домен vms.local, где:
- server44 - отдельная виртуальная машина, версия окружения 7.5.0, у которой:
-- server44.vms.local - дефолтный сайт (default)
-- b24ru.server44.vms.local - созданный сайт в меню машины, русский дистрибутив Битрикс24
-- b24en.server44.vms.local - созданный сайт в меню машины, западный дистрибутив Битрикс24
- server215 - отдельная виртуальная машина, версия окружения 7.4.4, у которой:
-- server215.vms.local - дефолтный сайт (default)
На всех сайтах выше установлен дистрибутив Битрикс24 в коробке разных редакций.
Подготовка сайта для роли transformer, основные моменты
Для работы новой роли необходимо чтобы на сайте были установлены:
- модуль Конвертер файлов (transformer) версии 20.100.0 и выше
- модуль Сервер конвертации файлов (transformercontroller) версии 20.100.0 и выше
Модуль transformercontroller доступен в редакции Битрикс24: Энтерпрайз.
Роли нет в меню машины VMBitrix.CRM в связи с недоступностью модуля transformercontroller в редакции Битрикс24.CRM.
На странице Система обновлений (/bitrix/admin/update_system.php?lang=ru) загружаем/обновляем эти модули.
На странице Управление модулями (/bitrix/admin/module_admin.php?lang=ru) устанавливаем оба модуля, если не установлены.
После установки модулей их настройка не требуется, новая роль при её активации для вашего сайта сама настроит нужные опции.
Если заглянуть в настройки модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer), то там будет заполнено поле Публичный адрес сайта:
Если заглянуть в настройки модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) то на вкладках Общее, Настройки RabbitMQ, Настройка очередей, Статус настроек не будет:
Например, таб Статус будет показывать:
| Код |
|---|
Расширение php-amqp: Не работает Функция exec: Работает Доступ к rabbitMQ: Неизвестно Пакет LibreOffice: Неизвестно Запущено обработчиков: -1 |
Это нормальное поведение.
Запуск роли transformer
Перед запуском роли transformer меню машины будет выдавать оповещение об устанавливаемом ПО:
LibreOffice
RabbitMQ Server
FFmpeg
Erlang
Запускаем новую роль для указанного сайта - в меню машины проходим по шагам 11. Configure Transformer service -> 1. Configure Transformer service и указываем имя сайта - default.
Запустится задача configure_transformer_**********, которая:
- установит пакеты erlang, rabbitmq, libreoffice6.4, ffmpeg и т.д. и их связи
- настроит модули Конвертер файлов (transformer) и Сервер конвертации файлов (transformercontroller) для указанного сайта.
Снова смотрим в настройки модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) - необходимые поля заполнены.
Примечание: в полях Путь для добавления команд на конвертацию файлов и Публичный адрес сайта будет указано , что для дефолтного сайта машины считается нормой.
Также снова смотрим в настройки модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller). Итого:
- на вкладке Общее сайт default присутствует в поле Адреса через запятую, с которых должны обрабатываться запросы на конвертацию:
- на вкладке Настройки RabbitMQ заданы настройки во все поля:
- на вкладке Статус все проверки "зеленые":
Последний не менее важный шаг: на странице Настройки Битрикс24 (/configs/) или на странице Настройки модуля Диск (/bitrix/admin/settings.php?lang=ru&mid=disk) необходимо установить опцию Просматривать документы с помощью в значение Битрикс24.
Для любого другого сайта машины (не default, созданный через меню машины) настройка аналогична описанной выше.
Проверка работы
После настройки новой роли для сайта проверить работу можно в нескольких местах публичной части продукта, например:
1) страница Новости (живая лента), преобразование документов и видео файлов постов или комментариев:
2) раздел Диск, просмотр файлов:
3) раздел CRM, генерация документов по шаблонам, например для сделок:
Удаление роли transformer
Для удаления роли в меню машины проходим по шагам 11. Configure Transformer service -> 2. Remove Transformer service -> 1. Remove Transformer service.
Запустится задача remove_transformer_**********, которая:
- деактивирует запущенные раннее сервисы, удалит их данные
- сбросит настройки модулей Конвертер файлов (transformer) и Сервер конвертации файлов (transformercontroller)
Ограничения
Нельзя удалить сайт, если для него настроена роль transformer (сначала удаляем роль, потом сайт).
Вынос роли transformer на отдельный сервер в кластере не предусмотрен.
Возможна установка только 1 роли transformer на машину для одного из сайтов машины.
Использование роли transformer другими сайтами
Рассмотрим пример как это настроить. Среда:
- b24ru.server44.vms.local: новый сайт, созданный на машине server44 с версией окружения 7.5.0, для которого уже настроена роль transformer по примеру выше.
- b24en.server44.vms.local: на той же самой машине есть еще один сайт, созданный через меню машины.
- server215.vms.local: дефолтный сайт (default), работающий на другой машине server215 с версией окружения 7.4.4.
Для сайтов, которые будут обращаться к серверу (сайту с ролью transformer) за конвертацией данных, версия окружения не важна.
Важно наличие установленного модуля Конвертер файлов (transformer) версии 20.100.0 и выше.
Настройка сервера
На сайте b24ru.server44.vms.local в настройках модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) указываем:
- Адреса через запятую, с которых должны обрабатываться запросы на конвертацию - добавляем b24en.server44.vms.local.
Сохраняем настройки модуля.
Настройка сайта клиента
На сайте b24en.server44.vms.local в настройках модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) указываем:
- Путь для добавления команд на конвертацию файлов:
- Публичный адрес сайта:
Сохраняем настройки модуля
Проверяем работу связки как описано выше.
Аналогичным образом настраивается для сайтов, находящихся вне машины с ролью transformer.
Пример, сайт server215.vms.local:
На сайте server215.vms.local в настройках модуля Конвертер файлов (transformer) (/bitrix/admin/settings.php?lang=ru&mid=transformer) указываем:
- Путь для добавления команд на конвертацию файлов:
- Публичный адрес сайта:
Сохраняем настройки модуля
На сайте b24ru.server44.vms.local в настройках модуля Сервер конвертации файлов (transformercontroller) (/bitrix/admin/settings.php?lang=ru&mid=transformercontroller) указываем:
- Адреса через запятую, с которых должны обрабатываться запросы на конвертацию - добавляем server215.vms.local
Сохраняем настройки модуля
Проверяем работу связки как описано выше.
Нагрузка, логирование
Работа серверной части может потреблять значительные ресурсы процессора и оперативной памяти вашего сервера, особенно при конвертации видео файлов. Стоит это учитывать.
Лог клиентской части (сайта) будет храниться в папке /bitrix/modules/ сайта при условии, что включен режим отладки в настройках модуля Конвертер файлов (transformer).
Пути лога:
- для сайта default: /home/bitrix/www/bitrix/modules/transformer.log
- для сайта не default: /home/bitrix/ext_www/b24ru.server44.vms.local/bitrix/modules/transformer.log
Логи серверной части роли хранятся в папках:
/var/log/rabbitmq/
/var/log/transformer/
Статусы демонов rabbitmq и transformer можно проверить командами:
- systemctl status rabbitmq-server.service, вывод команды:
Скрытый текст |
|---|
| ? rabbitmq-server.service - RabbitMQ broker Loaded: loaded (/usr/lib/systemd/system/rabbitmq-server.service; enabled; vendor preset: disabled) Active: active (running) since Tue 2021-02-02 12:38:41 EET; 3h 15min ago Main PID: 63057 (beam.smp) Status: "Initialized" CGroup: /system.slice/rabbitmq-server.service +-63057 /usr/lib64/erlang/erts-11.1.7/bin/beam.smp -W w -MBas ageffcbf -MHas ageffcbf -MBlmbcs 512 -MHlmbcs 512 -MMmcs 30 -P 1048576 -t 5000000 -stbt db -zdbbl 128000 -A 128 -- -root /usr/lib64/... +-63199 erl_child_setup 32768 +-63229 /usr/lib64/erlang/erts-11.1.7/bin/epmd -daemon +-63256 inet_gethost 4 L-63257 inet_gethost 4 Feb 02 12:38:40 server44 rabbitmq-server[63057]: ########## Licensed under the MPL 2.0. Website: Feb 02 12:38:40 server44 rabbitmq-server[63057]: Doc guides: Feb 02 12:38:40 server44 rabbitmq-server[63057]: Support: Feb 02 12:38:40 server44 rabbitmq-server[63057]: Tutorials: Feb 02 12:38:40 server44 rabbitmq-server[63057]: Monitoring: Feb 02 12:38:40 server44 rabbitmq-server[63057]: Logs: /var/log/rabbitmq/ Feb 02 12:38:40 server44 rabbitmq-server[63057]: /var/log/rabbitmq/ Feb 02 12:38:40 server44 rabbitmq-server[63057]: Config file(s): /etc/rabbitmq/rabbitmq.conf Feb 02 12:38:41 server44 rabbitmq-server[63057]: Starting broker... completed with 0 plugins. Feb 02 12:38:41 server44 systemd[1]: Started RabbitMQ broker. |
- systemctl status transformer.service, вывод команды:
Скрытый текст |
|---|
| ? transformer.service - Transformer worker daemon Loaded: loaded (/etc/systemd/system/transformer.service; enabled; vendor preset: disabled) Active: active (running) since Tue 2021-02-02 12:42:29 EET; 3h 12min ago Process: 66444 ExecStart=/bin/bash /usr/local/sbin/transformer-workerd start (code=exited, status=0/SUCCESS) Main PID: 66449 (php) CGroup: /system.slice/transformer.service +-66449 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66848 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66849 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66850 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66851 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66852 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66854 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66855 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66856 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66857 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66858 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66859 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66860 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66862 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66863 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66864 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66865 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66866 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66867 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66868 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66869 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66870 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66871 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66872 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66873 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66875 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-66876 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-75386 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-84400 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ +-84789 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ L-84938 /usr/bin/php -f /home/bitrix/www/bitrix/modules/transformercontroller/tools/ Feb 02 12:42:29 server44 systemd[1]: Starting Transformer worker daemon... Feb 02 12:42:29 server44 systemd[1]: Started Transformer worker daemon. |
Логи сервера будут в json формате. Примеры логов при различных конвертациях:
- Конвертация видео avi -> mp4, лог сервера:
Скрытый текст |
|---|
| {"time":"02.02.2021 15:42:26","pid":66846,"type":"worker","commandName":"Bitrix\\TransformerController\\Video","guid":"cdVcYveTAP601956c29f86d","queue":"main_preview","message":"get Bitrix\\TransformerController\\Video with id cdVcYveTAP601956c29f86d from queue main_preview"} {"time":"02.02.2021 15:42:53","pid":66846,"message":"file \/home\/bitrix\/www\/upload\/transformercontroller\/video\/0 {"time":"02.02.2021 15:42:53","pid":66846,"message":"file \/home\/bitrix\/www\/upload\/transformercontroller\/video\/0 {"time":"02.02.2021 15:42:53","pid":66846,"type":"worker","responseOnComplete":"{\u0022success\u0022:\u0022OK\u0022}"} {"time":"02.02.2021 15:42:53","pid":66846,"type":"worker","message":"worker has finished"} {"time":"02.02.2021 15:42:54","pid":66449,"message":"A Child 66846 completed with status 0\n"} {"time":"02.02.2021 15:42:54","pid":84400,"type":"worker","queue":"main_preview","endTime":"03:52:54","message":"worker for queue main_preview has started at 1612273374 end time is 03:52:54"} |
- Конвертация видео avi -> mp4, лог клиента:
Скрытый текст |
|---|
| 02.02.2021 03:42:26: COMMAND: Array ( [command] => Bitrix\TransformerController\Video [params] => Array ( [id] => 47 [fileId] => 105 [queue] => main_preview [file] => [fileSize] => 2279794 [formats] => Array ( [0] => jpg [1] => mp4 ) [back_url] => ) [QUEUE] => main_preview [BX_LICENCE] => ******************************** [BX_DOMAIN] => [BX_TYPE] => BOX [BX_VERSION] => 1 [BX_HASH] => ******************************** ) 02.02.2021 03:42:26: RESPONSE: {"success":true} 02.02.2021 03:42:26: updateStatus in cdVcYveTAP601956c29f86d from 100 to 200 02.02.2021 03:42:53: updateStatus in cdVcYveTAP601956c29f86d from 200 to 300 02.02.2021 03:42:53: updateStatus in cdVcYveTAP601956c29f86d from 300 to 400 |
- Конвертация документа doc -> pdf, лог сервера:
Скрытый текст |
|---|
| {"time":"02.02.2021 15:42:54","pid":84400,"type":"worker","queue":"main_preview","endTime":"03:52:54","message":"worker for queue main_preview has started at 1612273374 end time is 03:52:54"} {"time":"02.02.2021 15:46:20","pid":66847,"type":"worker","commandName":"Bitrix\\TransformerController\\Document","guid":"2wMKYKKFdu601957ac24231","queue":"main_preview","message":"get Bitrix\\TransformerController\\Document with id 2wMKYKKFdu601957ac24231 from queue main_preview"} {"time":"02.02.2021 15:46:24","pid":66847,"message":"file \/home\/bitrix\/www\/u2d4ph09zb.pdf uploaded to http:\/\/default\/bitrix\/tools\/transformer_result.php?id=2wMKYKKFdu601957ac24231","type":"file_uploader","url":"http:\/\/default\/bitrix\/tools\/transformer_result.php?id=2wMKYKKFdu601957ac24231","file":"\/home\/bitrix\/www\/u2d4ph09zb.pdf"} {"time":"02.02.2021 15:46:24","pid":66847,"type":"worker","responseOnComplete":"{\u0022success\u0022:\u0022OK\u0022}"} {"time":"02.02.2021 15:46:24","pid":66847,"type":"worker","message":"worker has finished"} {"time":"02.02.2021 15:46:24","pid":66449,"message":"A Child 66847 completed with status 0\n"} {"time":"02.02.2021 15:46:24","pid":84789,"type":"worker","queue":"main_preview","endTime":"03:56:24","message":"worker for queue main_preview has started at 1612273584 end time is 03:56:24"} |
- Конвертация документа doc -> pdf, лог клиента:
Скрытый текст |
|---|
| 02.02.2021 03:46:20: COMMAND: Array ( [command] => Bitrix\TransformerController\Document [params] => Array ( [id] => 108 [fileId] => 108 [queue] => main_preview [file] => [fileSize] => 80896 [formats] => Array ( [0] => pdf ) [back_url] => ) [QUEUE] => main_preview [BX_LICENCE] => ******************************** [BX_DOMAIN] => [BX_TYPE] => BOX [BX_VERSION] => 1 [BX_HASH] => ******************************** ) 02.02.2021 03:46:20: RESPONSE: {"success":true} 02.02.2021 03:46:20: updateStatus in 2wMKYKKFdu601957ac24231 from 100 to 200 02.02.2021 03:46:24: updateStatus in 2wMKYKKFdu601957ac24231 from 200 to 300 02.02.2021 03:46:24: updateStatus in 2wMKYKKFdu601957ac24231 from 300 to 400 |
- Создание счета CRM по шаблону docx -> pdf, лог сервера:
Скрытый текст |
|---|
| {"time":"02.02.2021 15:47:48","pid":66861,"type":"worker","commandName":"Bitrix\\TransformerController\\Document","guid":"7Ha6NWtL1H60195803e00fc","queue":"documentgenerator_create","message":"get Bitrix\\TransformerController\\Document with id 7Ha6NWtL1H60195803e00fc from queue documentgenerator_create"} {"time":"02.02.2021 15:47:53","pid":66861,"message":"file \/home\/bitrix\/www\/exs3k6rtfg.pdf uploaded to http:\/\/default\/bitrix\/tools\/transformer_result.php?id=7Ha6NWtL1H60195803e00fc","type":"file_uploader","url":"http:\/\/default\/bitrix\/tools\/transformer_result.php?id=7Ha6NWtL1H60195803e00fc","file":"\/home\/bitrix\/www\/exs3k6rtfg.pdf"} {"time":"02.02.2021 15:47:53","pid":66861,"message":"file \/home\/bitrix\/www\/exs3k6rtfg.jpg uploaded to http:\/\/default\/bitrix\/tools\/transformer_result.php?id=7Ha6NWtL1H60195803e00fc","type":"file_uploader","url":"http:\/\/default\/bitrix\/tools\/transformer_result.php?id=7Ha6NWtL1H60195803e00fc","file":"\/home\/bitrix\/www\/exs3k6rtfg.jpg"} {"time":"02.02.2021 15:47:53","pid":66861,"type":"worker","responseOnComplete":"{\u0022success\u0022:\u0022OK\u0022}"} {"time":"02.02.2021 15:47:53","pid":66861,"type":"worker","message":"worker has finished"} {"time":"02.02.2021 15:47:54","pid":66449,"message":"A Child 66861 completed with status 0\n"} {"time":"02.02.2021 15:47:54","pid":84938,"type":"worker","queue":"documentgenerator_create","endTime":"03:55:54","message":"worker for queue documentgenerator_create has started at 1612273674 end time is 03:55:54"} |
- Создание счета CRM по шаблону docx -> pdf, лог клиента:
Скрытый текст |
|---|
| 02.02.2021 03:47:47: COMMAND: Array ( [command] => Bitrix\TransformerController\Document [params] => Array ( [documentId] => 1 [queue] => documentgenerator_create [file] => [fileSize] => 45513 [formats] => Array ( [jpg] => jpg [pdf] => pdf ) [back_url] => ) [QUEUE] => documentgenerator_create [BX_LICENCE] => ******************************** [BX_DOMAIN] => [BX_TYPE] => BOX [BX_VERSION] => 1 [BX_HASH] => ******************************** ) 02.02.2021 03:47:48: RESPONSE: {"success":true} 02.02.2021 03:47:48: updateStatus in 7Ha6NWtL1H60195803e00fc from 100 to 200 02.02.2021 03:47:53: updateStatus in 7Ha6NWtL1H60195803e00fc from 200 to 300 02.02.2021 03:47:53: updateStatus in 7Ha6NWtL1H60195803e00fc from 300 to 400 |
При возникновении каких-либо ошибок стоит проверить логи сервера и логи клиента.
Ссылки для скачивания VMBitrix:
Ссылки для скачивания VMBitrix.CRM:
Список AMI VMBitrix для Amazon:
| Region | BitrixVM-7.5-0_CentOS7.9_x64_HVM_EBS |
| us-east-1 | ami-0613a7c520f12334b |
| us-west-1 | ami-04c5c0714839f9f49 |
| us-west-2 | ami-0e4203d8cecd243b9 |
| eu-west-1 | ami-069abaa1d70b6f3ee |
| ap-southeast-1 | ami-0924adf7cbe591b20 |
| ap-northeast-1 | ami-0734a9f06e7dd197b |
| sa-east-1 | ami-0e8c7e60e1ad0b30d |
| eu-central-1 | ami-0e359e5f14b791de3 |
| ap-southeast-2 | ami-043681080c96a2cdf |
| ap-south-1 | ami-02f2b4708c154b8f0 |
EXE:
Коллеги, виртуальная машина VMBitrix.CRM 7.5.0 с вариантом поставки exe вышла в релиз.
Основные исправления:
Версия VirtualBox поднята до 6.1.xx (было 6.0.xx).
Как это работает?
Файл vm-bitrix24-installer.exe:
1) скачает и установит VirtualBox
2) скачает образ виртуальной машины VMBitrix.CRM 7.5.0 и импортирует его в VirtualBox
3) установит сервис по вашему желанию
4) запустит машину и получит IP
После останется установить Битрикс24.CRM или восстановить ваш бекап проекта.
Если устанавливался сервис - при перезагрузке компьютера виртуальная машина будет запущена в фоновом режиме.
Совместимо с Windows 7/8/10, Windows Server 2008/2012/2016/2019.
Примечание: для работы нового сервиса у пользователя Windows должен быть установлен пароль.
Исходники пакетов:
Добавляем файл для репозитория:
1) для стабильной версии - /etc/yum.repos.d/bitrix-source.repo с содержимым:
| Код |
|---|
[bitrix-source] name=$OS $releasever - source failovermethod=priority baseurl=https://repos.1c-bitrix.ru/yum/SRPMS enabled=1 gpgcheck=1 gpgkey=https://repos.1c-bitrix.ru/yum/RPM-GPG-KEY-BitrixEnv |
2) или для бета версии - /etc/yum.repos.d/bitrix-source-beta.repo с содержимым:
| Код |
|---|
[bitrix-source-beta] name=$OS $releasever - source failovermethod=priority baseurl=https://repos.1c-bitrix.ru/yum-beta/SRPMS enabled=1 gpgcheck=1 gpgkey=https://repos.1c-bitrix.ru/yum/RPM-GPG-KEY-BitrixEnv |
Убедимся что есть пакет yum-utils:
| Код |
|---|
yum clean all && yum install yum-utils |
Скачиваем все исходники: VMBitrix, VMBitrix.CRM, bx-nginx, bx-ansible, bx-push-server
| Код |
|---|
yumdownloader --source bitrix-env bitrix-env-crm bx-ansible bx-nginx bx-push-server |
Примерный ответ в консоли - исходники стабильной версии:
| Код |
|---|
[root@vm48 ~]# yumdownloader --source bitrix-env bitrix-env-crm bx-ansible bx-nginx bx-push-server Loaded plugins: etckeeper, fastestmirror Enabling base-source repository Enabling extras-source repository Enabling epel-source repository Enabling updates-source repository Loading mirror speeds from cached hostfile epel-source/x86_64/metalink | 17 kB 00:00:00 * base: mirror.corbina.net * epel: ftp.fau.de * epel-source: ftp.fau.de * extras: mirror.sale-dedic.com * remi: remi.schlundtech.de * remi-php73: remi.schlundtech.de * remi-safe: remi.schlundtech.de * updates: mirror.corbina.net base-source | 2.9 kB 00:00:00 epel-source | 3.5 kB 00:00:00 extras-source | 2.9 kB 00:00:00 updates-source | 2.9 kB 00:00:00 (1/5): epel-source/x86_64/updateinfo | 1.0 MB 00:00:00 (2/5): epel-source/x86_64/primary_db | 2.4 MB 00:00:00 (3/5): base-source/7/primary_db | 974 kB 00:00:01 (4/5): extras-source/7/primary_db | 27 kB 00:00:00 (5/5): updates-source/7/primary_db | 118 kB 00:00:00 ............ Package bitrix-env-7.5-0.src.rpm is not signed | 6.9 MB 00:00:21 ETA (1/5): bitrix-env-7.5-0.src.rpm | 7.8 MB 00:00:01 (2/5): bitrix-env-crm-7.5-0.src.rpm | 7.8 MB 00:00:02 (3/5): bx-ansible-2.7.9-1.src.rpm | 12 MB 00:00:01 (4/5): bx-push-server-2.0.0-8.src.rpm | 69 kB 00:00:00 (5/5): bx-nginx-1.18.0-1.ngx.src.rpm | 100 MB 00:00:07 |
PS: для VMBitrix.BETA в репозиторий добавлены пакеты 7.5.0. Можно обновляться.
Информация в этом посте будет дополнена.
Всем удачи и позитивного заряда весны. Спасибо за обратную связь!
