Разработчикам

Mysql-bin После обновления стали расти логи и жрать место как не в себя.

Пользователь 1595269 Заглянувший Сообщений: 40 Баллов: 2 Регистрация: 05.12.2017	#1 06.12.2019 14:22:55 После обновления VM до 7.4.3 стали катастрофически расти логи mysql. sync_binlog = 0 По 3.5 гига в день( Я уже в панике куда смотреть...

Пользователь 581523 Посетитель Сообщений: 43 Баллов: 6 Регистрация: 10.05.2016	#2 06.12.2019 14:54:53 Ответы будут полезнее, если привести записи из логов. Хоть парочку.

Пользователь 1595269 Заглянувший Сообщений: 40 Баллов: 2 Регистрация: 05.12.2017	#3 10.12.2019 14:07:25 Разобрался. Включенное хранение в сессий в БД.

Пользователь 1608163 Заглянувший Сообщений: 25 Баллов: 2 Регистрация: 11.12.2017	#4 16.04.2020 13:15:53 Приветствую! У меня вышла такая же история на BitrixVM CentOS 7. Файлы mysql-bin создаются раз в несколько минут. Хранение сессий в бд отключено. Просьба помочь советом.

Алексей Шафранский Администратор Сообщений: 1152 Баллов: 223 Регистрация: 28.07.2008	#5 16.04.2020 19:35:55 zlodei, вполне возможно что это штатная работа mysql. Попробуйте посмотреть в сторону mysqlbinlog.

Пользователь 1608163

Заглянувший

Сообщений: 25 Баллов: 2 Регистрация: 11.12.2017

16.04.2020 21:30:24

Цитата
Алексей Шафранский написал: zlodei , вполне возможно что это штатная работа mysql. Попробуйте посмотреть в сторону mysqlbinlog.

Если не чистить, то логи весят 18гб за 2 дня - это точно не нормальная штатная работа mysql.

Екатерина Шемаева

Администратор

Сообщений: 144 Баллов: 18 Регистрация: 08.08.2013

17.04.2020 11:17:41

Цитата
zlodei написал: Если не чистить, то логи весят 18гб за 2 дня - это точно не нормальная штатная работа mysql.

Это зависит от нагрузки на MySQL сервер - это нормальная ситуация для MySQL писать в бинлоги все что ему пришло на изменение.

Проверить можно следующее:
1) Убедиться что формат бинлогов MIXED:

Код
show global variables like "binlog_format"

Если стоит не он, а RAW - поменять (этот будет занимать больше места)
2) Посмотреть через mysqlbinlog что пишется (что за функционал, таблицы)
Что-то типа этого:

Код

mysqlbinlog -vvv mysql-bin.044523 | grep '\(INSERT\|DELETE\|UPDATE\)' | awk '{print $1,$2,$3, $4}' | sort | uniq -c | sort -nr | head
   2419 ### INSERT INTO `portal`.`b_bp_tracking`
   1839 ### UPDATE `portal`.`b_pull_watch`
   1730 ### INSERT INTO `portal`.`b_disk_tmp_simple_right`
   1730 ### INSERT INTO `portal`.`b_disk_simple_right`
   1730 ### DELETE FROM `portal`.`b_disk_tmp_simple_right`
   1627 ### INSERT INTO `portal`.`b_cache_tag`
   1519 ### UPDATE `portal`.`b_bp_workflow_instance`
   1364 ### UPDATE `portal`.`b_crm_act`
   1361 ### DELETE FROM `portal`.`b_disk_simple_right`
   1330 ### UPDATE `portal`.`b_im_relation`

Дальше в зависимости от Вашего топа, разбираться - нужно ли не нужно. Это может быть запись в какую-нибудь таблицу статистики (которая не нужна и включена была для проверки, но потом забыли отключить), а может быть что-то нужно.
Через тот же mysqlbinlog можно детально посмотреть запрос.

3) Если поймете что логи действительно выросли в соответствие с Вашим количеством пользователей, функционалом, то можно уменьшить время хранения логов:

Код
expire_logs_days

Пользователь 22203

Эксперт

Сообщений: 529 Баллов: 87 Регистрация: 12.03.2008

28.04.2020 07:09:58

Если MySQL так уж необходимо создавать столько логов (иногда в минуту несколько файлов размером 1 Гб каждый), то каким образом можно вручную безопасно чистить эти файлы?

Сегодня за 13 часов создано 152 файла общим размером более 15 гигабайт.

VMBitrix 7.4.11

Прикрепленные файлы

28-04-2020 12-58-34.png (75.95 КБ)

Пользователь 11847

Эксперт

Сообщений: 1146 Баллов: 197 Регистрация: 15.05.2007

28.04.2020 10:29:12

bin-log нужен для репликации и восстановления данных в InnoDB-движке (при сбое). Если репликация не используется, незачем хранить binlog в несколько суток. Да и вообще, незачем его такой громадный хранить.

expire_logs_days = 2 - ограничить время хранения 2мя днями (сколько не жалко)
max-bin-log-size = 500M - ограничим размер в 500М (или сколько вам не жалко. Учитывайте, что InnoDB не сразу может писать данные в базу, т.к. является транзакионным движком. Но уж за пару минут-то запишет)

Еще можно попробовать добавить:
binlog-cache-size = 128K
max-binlog-cache-size = 100M - макс. размер кеша бинлога

Пробуйте.

Естественно, после добавления или изменения настроек, перезапустить сервер MySQL

www.alfoweb.ru

Пользователь 1608163

Заглянувший

Сообщений: 25 Баллов: 2 Регистрация: 11.12.2017

#10

28.04.2020 13:27:41

Цитата

Екатерина Шемаева написал:

Цитата
zlodei написал: Если не чистить, то логи весят 18гб за 2 дня - это точно не нормальная штатная работа mysql.

Код
show global variables like "binlog_format"

Код

  mysqlbinlog  -vvv mysql-bin. 044523  | grep  '\(INSERT\|DELETE\|UPDATE\)'  | awk  '{print  $1 , $2 , $3 ,  $4 }'  | sort | uniq -c | sort -nr | head
    2419   ### INS ERT IN TO `portal`.`b_bp_tracking` 
    1839   ### UPDATE `portal`.`b_pull_watch` 
    1730   ### INS ERT IN TO `portal`.`b_disk_tmp_simple_right` 
    1730   ### INS ERT IN TO `portal`.`b_disk_simple_right` 
    1730   ### DELETE FROM `portal`.`b_disk_tmp_simple_right` 
    1627   ### INS ERT IN TO `portal`.`b_cache_tag` 
    1519   ### UPDATE `portal`.`b_bp_workflow_instance` 
    1364   ### UPDATE `portal`.`b_crm_act` 
    1361   ### DELETE FROM `portal`.`b_disk_simple_right` 
    1330   ### UPDATE `portal`.`b_im_relation`

Код
expire_logs_days

Екатерина спасибо! Ценная инструкция - скопировал на будущее.
Лично мне пришлось переустановить BitrixVM на чистом сервере - так гораздо проще для меня.

Пользователь 3333723 Заглянувший Сообщений: 2 Регистрация: 23.08.2019	#11 11.06.2023 11:48:05 Подскажите, а можно ли как то отключить создание bin логов?

Пользователь 901959 Постоянный посетитель Сообщений: 191 Баллов: 34 Регистрация: 28.12.2017	#12 26.06.2023 14:42:40 Тоже интересно, а нужны ли бинлоги вообще на отдельном серевере без репликации?

Пользователь 7343840 Заглянувший Сообщений: 2 Регистрация: 13.06.2023	#13 26.06.2023 15:28:53 Не могу поменять пароль ?? Может мне создать новый логин и пароль? Прошу подсказать. Спасибо.

Пользователь 12947

Постоянный посетитель

Сообщений: 111 Баллов: 14 Регистрация: 21.06.2007

#14

30.06.2023 03:32:47

Цитата
написал: Тоже интересно, а нужны ли бинлоги вообще на отдельном серевере без репликации?

нет

Пользователь 901959

Постоянный посетитель

Сообщений: 191 Баллов: 34 Регистрация: 28.12.2017

#15

07.10.2023 16:15:59

Цитата

написал:

Цитата
написал: Тоже интересно, а нужны ли бинлоги вообще на отдельном серевере без репликации?

нет

Но mysql их все равно формирует и хранит, хоть час там поставишь хранения - логи все равно будут. Их можно отключить вообще? Или это такая часть журналирования транзакций которая в принципе системная и не отключается?

Mysql-bin После обновления стали расти логи и жрать место как не в себя.

Продукты

Управление сайтом

Битрикс24

Интернет-магазин + CRM

Решения

Для интернет-магазинов

Каталог готовых решений

Внедрение

Выбрать партнера

Проверить партнера

Стать партнером