Разработчикам

Пользователь 287523

24 Февраль, 2018 0:06

Docker, reverse-proxy и бесплатный SSL-сертификат letsencrypt.

Захотелось сделать для рабочих проектов ssl. Не самоподписной, не платный (сейчас бы в 2018 году за воздух платить), а нормальный бесплатный, от letsencrypt. И чтобы он автоматически продлялся (ибо срок его действия лишь 3 месяца).

Благо, все уже изобретено до нас.

Для развертывания сайта у меня был голый debian с установленными docker и docker-compose (настроенными для выполнения от рядового пользователя).

Сначала создаем docker-compose.yml, описывающий запуск небезывестной связки jwilder/nginx-proxy (реверс-прокси на nginx) и jrcs/letsencrypt-nginx-proxy-companion (certbot по сути). В добавок к ним я добавил популярный portainer/portainer, чтобы можно было мониторить, что происходит с контейнерами, и управлять ими из удобного веб-интерфейса.

// Предварительно создадим сеть
$ docker network create nginx-proxy

// Заведем для всей этой кухни свою папочку, для удобства я назвал и сеть, и контейнер, и директорию одинаково.
$ mkdir nginx-proxy
$ cd nginx-proxy

// Для хранения сертификатов и некоторых автогенерируемых цертботом файлов нам потребуется пара директорий
$ mkdir certs
$ mkdir vhost.d

// собственно файлик с описанием сервисов
$ touch docker-compose.yml

Содержимое файла:

version: "2"

services:
  nginx-proxy:
    image: jwilder/nginx-proxy
    container_name: nginx-proxy
    labels:
      - "com.github.jrcs.letsencrypt_nginx_proxy_companion.nginx_proxy"
      # такой лейбл позволит контейнеру с цертботом понять, какой из запущенных nginx - реверс-прокси.
    ports:
      - "80:80"
      - "443:443"
    volumes:
      - /var/run/docker.sock:/tmp/docker.sock:ro
      - ./certs:/etc/nginx/certs:ro
      - ./vhost.d:/etc/nginx/vhost.d:ro
      - /usr/share/nginx/html

  letsencrypt-companion:
    image: jrcs/letsencrypt-nginx-proxy-companion
    container_name: letsencrypt-companion
    volumes_from:
      - nginx-proxy
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - ./certs:/etc/nginx/certs:rw
      - ./vhost.d:/etc/nginx/vhost.d:rw

  portainer:
    image: portainer/portainer
    container_name: portainer
    ports:
      - 9000
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /opt/portainer/data:/data
    environment:
        - VIRTUAL_HOST=portainer.devserver.com
        - VIRTUAL_PORT=9000
        - LETSENCRYPT_HOST=portainer.devserver.com
        - LETSENCRYPT_EMAIL=admin@devserver.com

# по умолчанию подключаем к сети, в которой будут находиться будущие сайты
networks:
  default:
    external:
      name: nginx-proxy

Доменное имя для portainer указано для примера. Единственное условия - чтобы оно было доступно извне для сервисов letsencrypt.
Уже по коду этого файла видно, как примерно работает эта связка. Если запустить ее

$ docker-compose up -d

подождать, пока сгенерируется сертификат (обычно около 1-2 минут), то можно уже заходить по адресу, который мы указали в переменной VIRTUAL_HOST и увидеть работающий portainer. Причем уже по протоколу ssl. Если нажать на зеленый замочек, то мы увидим, что это действующий сертификат от letsencrypt.

Далее можно создавать контейнеры с помощью портейнера, а можно пойти более "простым" путем. Принцип подключения сайтов к виртуальной сети, в которой крутится reverse-proxy и certbot, остается тот же - использование переменных VIRTUAL_HOST, LETSENCRYPT_HOST и LETSENCRYPT_EMAIL.

Например, это простенький docker-compose.yml, описывающий связку сервисов для запуска битрикса:

version: '2.1'

# сеть по умолчанию - та же, что и сеть реверса и цертбота
networks:
  default:
    external:
      name: nginx-proxy


### Services

services:
    nginx:
        image: nginx:${NGINX_VERSION}
        container_name: ${PROJECT_CODE}_nginx
        environment:
            - VIRTUAL_HOST=$PROJECT_DOMAIN
            - LETSENCRYPT_HOST=$PROJECT_DOMAIN
            - LETSENCRYPT_EMAIL=$PROJECT_EMAIL
        volumes:
            - "${PROJECT_PATH}:/var/www/html/:ro"
            ## тут можно пробросить в контейнер нужные вам конфиги, например правильно указанный upstream
            - "./nginx/project.conf:/etc/nginx/sites-available/project.conf:ro"
            - "./nginx/upstream.conf:/etc/nginx/conf.d/upstream.conf:ro"
        links:
            - php

    php:
        image: alterway/php:${PHP_VERSION}-${BACKEND}
        container_name: ${PROJECT_CODE}_php
        environment:
            - PHP_php5enmod=mcrypt memcached mysqli opcache gd mbstring soap zip
            - PHP__date.timezone
            - PHP__display_errors
            - PHP__log_errors
            - PHP__magic_quotes_gpc
            - PHP__memory_limit
            - PHP__upload_max_filesize
            - PHP__post_max_size
            - PHP__max_execution_time
            - PHP__mbstring.func_overload
            - PHP__mbstring.internal_encoding
            - PHP__opcache.enable
            - PHP__opcache.revalidate_freq
            - PHP__opcache.validate_timestamps
            - PHP__opcache.memory_consumption
            - PHP__opcache.max_accelerated_files
            - PHP__realpath_cache_size
            - PHP__max_input_vars
        volumes:
            - "${PROJECT_PATH}/:/var/www/html/"

    db:
        image: mysql:${MYSQL_VERSION}
        container_name: ${PROJECT_CODE}_db
        volumes:
            ## это чтобы не потерять базу после перезапуска контейнера
            - "${VOLUMESDIR}/db/:/var/lib/mysql/"
            ## тут можно пробросить в контейнер нужные конфиги и прочее
        environment:
            MYSQL_DATABASE: ${MYSQL_DATABASE}
            MYSQL_USER: ${MYSQL_USER}
            MYSQL_PASSWORD: ${MYSQL_PASSWORD}
            MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD}

    memcached:
        image: memcached:${MEMCACHED_VERSION}
        container_name: ${PROJECT_CODE}_mem
        volumes:
            ## это чтобы не потерять кэш после перезапуска контейнера
            - "${VOLUMESDIR}/cache/:/var/lib/memcached/"

и соответствующий ему .env файлик:

## Project settings
PROJECT_CODE=mynewsite
PROJECT_DOMAIN=mynewsite.ru
PROJECT_EMAIL=admin@mynewsite.ru
PROJECT_REPO=yournamespace
PROJECT_MAINTAINER=Your Name <yourname@youremail.com>

PROJECT_PATH=./www
VOLUMESDIR=./.volume

## Services versions ##
NGINX_VERSION=latest
PHP_VERSION=5.6
# fpm or apache
BACKEND=apache
MYSQL_VERSION=5.6
MEMCACHED_VERSION=latest

## MYSQL
MYSQL_DATABASE=project_database
MYSQL_USER=project_user
MYSQL_PASSWORD=project_p@sZw0rd
MYSQL_ROOT_PASSWORD=root

## Bitrix php specific settings
PHP__date.timezone=Europe/Moscow
PHP__display_errors=On
PHP__log_errors=On
PHP__magic_quotes_gpc=Off
PHP__memory_limit=128M
PHP__upload_max_filesize=50M
PHP__post_max_size=50M
PHP__max_execution_time=60
PHP__mbstring.func_overload=2
PHP__mbstring.internal_encoding='UTF-8'
PHP__opcache.enable=1
PHP__opcache.revalidate_freq=0
PHP__opcache.validate_timestamps=1
PHP__opcache.memory_consumption=64
PHP__opcache.max_accelerated_files=100000
PHP__realpath_cache_size=4096k
PHP__max_input_vars=10000

База хранится на хосте в .volume/db, мемкэш - в .volume/cache, сайт в www. Как-то так.

После чего, делаем запуск этих сервисов

$ docker-compose up -d

Ждем, пока сгенерируется сертификат для новоиспеченного сайта, скачаются и соберутся образы, запустятся контейнеры, и можно открывать сайт в браузере (предварительно конечно прописав в .settings.php подключение к БД, где хостом будет название сервиса, в вышеприведенном случае - db; а параметрами подключения - значения из переменных .env-файлика).

И этот сайт сразу будет доступен по https с сертификатом от letsencrypt.

Алгоритм этой связки достаточно прост. В общих чертах если, то сервис nginx-proxy следит за появлением в сети новых сервисов с переменной VIRTUAL_HOST, и создает для них конфигурации server, подключает и запускает. Что позволяет пробиться к сервисам сквозь прокси.
Помощник letsencrypt таким же образом следит за сервисами с переменными LETSENCRYPT_ и генерирует для них сертификаты на соответствующее доменное имя. Попутно он дописывает конфигурации server у nginx-proxy, чтобы обеспечить подключение этих самых сертификатов и работу по https. Плюс, раз в час этот помощник проверяет, не устарели ли сертификаты, и генерирует их по новой, если надо.

Теги:

Docker, jrcs/letsencrypt-nginx-proxy-companion, jwilder/nginx-proxy, LetsEncrypt, reverse proxy

5 Комментировать

Комментарии: 14 0 14

Ещё 256

Предыдущие комментарии 11

Игорь

Пользователь 287523 26 Февраль, 2018 10:39

Шубин Александр, volume что именованный, что простой как раз идеально подходят. В примере конфига как раз используется простой проброс тома внутрь (дабы не усложнять статью). В работе пробовал именованные, но с ними есть некоторые проблемы по части прав на корневую директорию именованного тома.
Если же вы про директиву VOLUME в докерфайле, то я пока особо не вникал, как оно работает.

0 Ещё

Шубин Александр

Пользователь 40761 26 Февраль, 2018 11:20

Игорь, да. Примерно как в статье. Только не для разработки, а прям уже под нагрузкой для реальных людей.

Смущает две вещи
1. Перерасход ресурсов. У меня все таки меньше запросов для БД подключенную через volume получается. Причем заметно
2. Надежность. На хабре была статья, в которой по надежности много чего плохого сказали. Что саму файловую систему докер может убить. И в целом если один контейнер поднимать, то он может упасть легко, то есть надо видимо кластер сразу делать.

Щас насколько я понимаю практика в том, чтоб БД не в докер пихать, а рядом отдельный сервер с базами ставить. Где уже безо всяких контейнеров БД стоит.

Вот интересна реальная практика, как оно все на живых сайтах с посетителями

БД на отдельном сервере поставленная как обычно? Или в контейнере все же

0 Ещё

Игорь

Пользователь 287523 28 Февраль, 2018 10:00

Александр, думается, что убить файловую систему можно и регулярной массовой работой с файлами. Я так себе один жесткий и один ssd уже убил на рабочей машине - регулярно работал с более чем 40 проектами на битриксе, копировал туда-сюда, удалял гигабайтами. Это неизбежность:) Решение действительно одно - дублирование данных, рейд-массивы, не класть все в одну корзину (то есть раскидывать через именованные волюмы по разным локациям базу, файлы сайта, аплоад, кэш). Думаю, это все вопросы хайлоада.

Моя статья лишь пример для dev-копий. Когда нужны dev-stage-test-preproduction окружения, для показа клиенту, для обсуждения, совместных правок. Докер в этом случае идеально подходит, чтобы быстро развернуть копию боевого проекта (преварительно конечно вы составляете список того, что установлено на боевом и находите в сети подходящие компоненты и сервисы для докера). Не предполагается, что на такие окружения будут валить толпами боты и посетители:)

Насчет разницы между проброшенным волюмом и скопированной внутрь контейнера базой - конечно скопированная база будет выполняться быстрее. Более того, если вы на винде пробросите волюм, вы получите примерно 10-кратное падение скорости чтения с него, т.к. монтируется это все в виртуалке через самбу (вроде бы). Один и тот же сайт в докере на лиунксе и винде выдает разницу в попугаях, и основной причиной является файловая система. Но винда/мак и докер это вообще понятия слабо совместимые, как мне подсказывает опыт.

P.S. А началось все вообще с того, что мне потребовался SSL для (!) проверки браузерной геолокации, хром как известно, без https не дает доступ к этому API, а hsts лень обходить

0 Ещё

показать полностью

Пользователь 287523 -> Всем

29 Декабрь, 2017 21:01

Переопределение extension в CJSCore (подмена версии jquery).

Не так давно столкнулся с проблемой. Партнерский модуль на разрабатываемом сайте подключал jquery с помощью CJSCore::init().
Это привело к тому, что при работе сайта подключалась устаревшая и вобщем-то ненужная в проекте битриксовая версия jquery (1.8.3). Это в дополнение к версии jquery, подключаемой в шаблоне. Как же заставить подключать нужную версию jquery?

Решено было переделать подключение моей версии jquery посредством регистрации в CJSCore расширения с таким же именем:

$jquery = [
   'js' => "https://ajax.googleapis.com/ajax/libs/jquery/1.12.4/jquery.min.js",
   'skip_core' => true,
];
\CJSCore::RegisterExt('jquery', $jquery);
\CJSCore::Init('jquery');

Поместил этот код в шапку шаблона сайта - и мой jquery перестал вообще загружаться. Зато стал грузиться исключительно битриксовый. Даже когда я отключил партнерский модуль для проверки - все равно в итоге инициализируется битриксовый jquery.

Стало очевидно, что проблема в битриксе, точнее его внутренностях.
Немножко нырнул в глубины ядра и сразу наткнулся на следующее:

   public static function Init($arExt = array(), $bReturn = false)
   {
      global $USER;

      if (!self::$bInited)
      {
         self::_RegisterStandardExt();
         self::$bInited = true;
      }

Осознав причину, нашелся и выход из ситуации.
1. Сначала инициализировать каким-либо способом любое расширение. Можно пустое.
1.2. Автоматически зарегистрируются стандартные расширения (их список можно найти в /bitrix/modules/main/jscore.php).
2. Инициализировать свою версию расширения, обозвав ее также, как и стандартное расширение. Это позволит переопределить содержимое расширения. В моем случае - размещение и версию библиотеки.

Получился такой метод

   public static function registerJquery ()
   {
      //Hack: when init first extension - bitrix register standart extensions
      $emptyHack = [
         'css' => "",
         'skip_core' => true,
      ];
      \CJSCore::RegisterExt('emptyHack', $emptyHack);
      \CJSCore::Init('emptyHack');

      $jquery = [
         'js' => "https://ajax.googleapis.com/ajax/libs/jquery/1.12.4/jquery.min.js",
         'skip_core' => true,
      ];
      \CJSCore::RegisterExt('jquery', $jquery);
   }

Вешаем этот код на такое событие, чтобы обойти возможные попытки другого кода подключить одноименное расширение:

AddEventHandler("main", "OnBeforeProlog", array("\Custom\Tools", "registerJquery"), 1);

И подключаем расширение в нужном нам месте (в моем случае это был хедер шаблона):

\CJSCore::Init('jquery');

Теперь будет загружено уже переопределенное расширение.

Аналогично можно действовать и с остальными стандартными расширениями. В частности, это также способ предоставлять более свежие версии js-библиотек, загружаемых битриксом.

Теги:

CJSCore, jQuery

6 Комментировать

Комментарии: 2 0 2

Ещё 393

Зайцев Артемий

Пользователь 25773 12 Январь, 2018 18:00

За статью спасибо

Но при разработке модуля принудительно подключать в публичке встронную jQuery - очень плохо.

Если мы встречаем модуль, который подключает jquery в публичной части сайта, делаем так:
- убиваем в модуле подключение jQuery, оставляем нашу,
- пишем разработчику, чтобы он добавил опцию "подключать jQuery"

CJSCore::Init('jquery'); - хорошо работает в админке. Можно ставить проверку на ADMIN_SECTION

0 Ещё

Игорь

Пользователь 287523 12 Январь, 2018 21:19

Зайцев Артемий, согласен, если бы я разрабатывал модуль, то оставил бы на усмотрение Клиента подключение версии jquery. С другой стороны, у большинства все работает нормально, мне пришлось менять версию только потому, что бутстрап ругался. Как вариант - попросить битрикс обновить jquery до 1.9.1

Однако, речь в посте в том числе и о конкретной проблеме, когда инициализация любого пакета расширения (в модуле ли, в шаблоне ли), автоматически регистрирует пакет jquery из встроенного в битрикс. И чтобы обойти эту проблему - как раз требуется вот такой хак с подключением пустого пакета.

Честно говоря, даже не знаю как битрикс смог бы исправить это. Наверное, только если они сделают регистрацию встроенных пакетов принудительной в onprolog (трата оперативной памяти), или добавят какой-нибудь параметр в \CJSCore::Init(), типа инициализировать без регистрации встроенных пакетов. И введут отдельным публичным методом регистрацию этих пакетов (благо приватный метод есть, достаточно дать доступ к нему разработчикам).

0 Ещё

показать полностью

Пользователь 287523 -> Всем

21 Апрель, 2017 21:59

Как использовать ID элемента в своих функциях для шаблонов SEO.

Случилась необходимость написать свою функцию для шаблонизатора SEO-свойств инфоблока. И по задаче нужно было, чтобы функция могла работать не только с приходящими значениями свойств и полей, но и с другими данными элемента.

Нужно сделать нечто вроде этого:

namespace Custom\Iproperty\Template;

// Создает функцию-обработчик для SEO-шаблонов инфоблока
// {=namedValue "PROPERTY_CODE"} - выведет название свойства с кодом PROPERTY_CODE, двоеточие и значение свойства. Например, Ширина: 120см
class NamedValue extends \Bitrix\Iblock\Template\Functions\FunctionBase
{
   // Метод добавляет нашу функцию в реестр доступных
   public static function eventHandler($event)
   {
      $parameters = $event->getParameters();
                // Обратите внимание, что название функции приходит в нижнем регистре
      $functionName = $parameters[0];
      if ($functionName === "namedvalue")
      {
         //обработчик должен вернуть SUCCESS и имя класса
         //который будет отвечать за вычисления
         return new \Bitrix\Main\EventResult(
            \Bitrix\Main\EventResult::SUCCESS,
            "Custom\IpropertyFunction\NamedValue"
         );
      }
   }
        
        // Метод позволяет обработать параметры - а заодно перехватить данные Entity, в данном случае это может быть инфоблок, раздел или элемент
   public function onPrepareParameters(\Bitrix\Iblock\Template\Entity\Base $entity, array $parameters)
   {
      $arguments = array();
      // Перехватываем id элемента, чтобы можно было обращаться к его свойствам
      $this->data['id'] = $entity->getId();
      /** @var \Bitrix\Iblock\Template\NodeBase $parameter */
      foreach ($parameters as $parameter)
      {
         $arguments[] = $parameter->process($entity);
      }
      return $arguments;
   }

   //собственно функция выполняющая "магию"
   public function calculate($parameters)
   {
      // Получаем все свойства инфоблока
                $el = \CIBlockElement::getByID($this->data['id']);
      $props = $el->getNextElement()->getProperties();
                // Получаем параметры для нашей функции
      $result = $this->parametersToArray($parameters);
      $code = $result[0];
                $property = $props[$code];

      if( array_key_exists($code, $props) )
          return "{$property['NAME']}: {$property['VALUE']}";
      else
          return '';
   }
}

Если в методе onPrepareParameters посмотреть значение переменной $entity, то можно увидеть нечто вроде такого:

object(Bitrix\Iblock\Template\Entity\Element)[327]
  protected 'property' => null
  protected 'iblock' => null
  protected 'parent' => null
  protected 'sections' => null
  protected 'catalog' => null
  protected 'id' => int 3
  protected 'fields' => null
  protected 'fieldMap' => 
    array (size=7)
      'name' => string 'NAME' (length=4)
      'previewtext' => string 'PREVIEW_TEXT' (length=12)
      'detailtext' => string 'DETAIL_TEXT' (length=11)
      'code' => string 'CODE' (length=4)
      'ID' => string 'ID' (length=2)
      'IBLOCK_ID' => string 'IBLOCK_ID' (length=9)
      'IBLOCK_SECTION_ID' => string 'IBLOCK_SECTION_ID' (length=17)

Мягко говоря, информации немного, но нужная нам, ID элемента, присутствует, и по ней мы уже можем вытянуть все необходимое.

Пока я копался в ядре, я сделал для себя несколько выводов:
1. Функция вызывается для разных типов $entity, по классу объекта можно получить представление, с чем мы в текущий момент работаем - элемент, раздел, инфоблок.
2. Можно без проблем вытянуть ID объекта через $entity->getId(). В случае Entity\Element это ID элемента, для Entity\Section это ID раздела, ну а для Entity\Iblock, как вы уже догадались - это ID инфоблока.
3. Жаль, что приходится много копаться в ядре, чтобы потом еще столько же делать эксперименты, чтобы получить хоть какой-то результат. Катастрофически не хватает примеров.

Теги:

\Bitrix\Iblock\Template\Entity, \Bitrix\Iblock\Template\Functions\FunctionBase, seo свойства api

8 Комментировать

Комментарии: 2 0 2

Ещё 282

Kriachek Mikhail

Пользователь 9700 25 Апрель, 2017 2:40

onPrepareParameters мне кажется лучше немного упростить до

public function onPrepareParameters(\Bitrix\Iblock\Template\Entity\Base $entity, array $parameters){
$this->data['id'] = $entity->getId();
return parent::onPrepareParameters($entity, $parameters);
}

А то кто его знает как код потом разработчики перепишут...

А так, молодцом, хоть и костыль, но наименее болезненный.

0 Ещё

Игорь

Пользователь 287523 25 Апрель, 2017 13:47

Kryachek Mikhail, верно, я просто утащил код из какого-то метода, даже не вникал, что он там делает:)

0 Ещё

показать полностью

Пользователь 287523 -> Всем

28 Январь, 2016 19:18

Суровый анализ и разгром БУС Битрикса от не менее сурового разработчика

Теги:

сарказм

0 Комментировать

Комментарии: 15 0 15

Ещё 4

Предыдущие комментарии 12

Игорь

Пользователь 287523 2 Февраль, 2016 17:26

Евгений Микулич, если поясните, в чем загвоздка, то, возможно, я подскажу решение.

0 Ещё

Загальский Андрей

Пользователь 87386 2 Февраль, 2016 17:41

Igor Barkowsky, ну я не писал что они не решаемы.... Проблемы с избыточным кешем. Невозможности распределения кеша(файлы и мемкеш одновременно)... Несовершенный механизм тег кеша... Но у меня уже давно есть своя обёртка над кешем - и у меня все пучком..

Но такие подходы трудоёмким и оправданы на крупных проектах.. А с коробки - все плохо. Но лучше в разы чем у любых аналогов описанных в посте..

Да и кстати уверен, что никто не заморачивается с оптимизацией кеша в битриксе... Необходимость возникает на крупных проектах уже в процессе работы сайта...

Но это никак не проблема отсутствия ссылки на логотипе на главную как в посте... Думаю обсуждать такие проьлемы в данной ветке явно бессмысленно

.. А чтобы донести до битрикса - нужно проделать огромную коллективную работу и найти того кто будет этим заниматься.

0 Ещё

Микулич Евгений

Пользователь 227946 3 Февраль, 2016 7:18

Igor Barkowsky, ну да, есть набор компонентов например модуля sale. во всех есть параметр PATH_TO_BASKET любому дураку понятно что ссылка на корзину на сайте в 99% случаев будет одна, и я не хочу параметры общие для части компонентов ходить и менять по всему сайту, почему нельзя сделать наследуемые установленные параметры? Отсюда вытекла вторая проблема ООП введено для разработчиков, а все остальные компоненты не переписаны, к тому же я хочу влиять на подключение компонентов, то есть использовать свой класс чтобы реализовать свои события, но битрикс мне этого не даст - пока я не отнаследуюсь в ООП, которого нет.

0 Ещё

Группы на сайте создаются не только сотрудниками «1С-Битрикс», но и партнерами компании. Поэтому мнения участников групп могут не совпадать с позицией компании «1С-Битрикс».

Пользователь 287523

Продукты

Управление сайтом

Битрикс24

Интернет-магазин + CRM

Решения

Для интернет-магазинов

Каталог готовых решений

Внедрение

Выбрать партнера

Проверить партнера

Стать партнером