Разработчикам

Нерегулярные медленные UPDATE на страницах

RSS

[ Закрыто ] Нерегулярные медленные UPDATE на страницах

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

22.10.2014 14:22:35

На VMBITRIX 4.3.4, где много сайтов и обычные жесткие диски (не SSD), часто притормаживают страницы.

Причем 95-99% дает первый запрос UPDATE в коде страницы.

Это может быть запрос UPDATE к веб-аналитике, или обновление текущей даты посещения автора в своем блоге, или еще какой-нибудь запрос на запись.

Техподдержка не знает что с этим делать. И повторить медленный UPDATE мне крайне трудно. Техподдержка не видит проблемы.

Сервер нормальный:

Из замечаний на странице проверки настроек БД есть только:

Цитата

Кеш открытых таблиц 13.43% Эффективность кеша открытых таблиц (Open_tables / Opened_tables). Если значение эффективности менее 20%, то требуется увеличить значение параметра table_open_cache (текущее значение: 14240). Увеличивайте параметр постепенно чтобы избежать превышения лимитов на количество одновременно открытых файлов в операционной системе.

Выглядит проблема так:

Запрос Update в прологе:

Я мог подумать, что проблемы с соединением. Но первые запросы SELECT нормально отрабатывают.

Сам код запроса элементарный. Даже если поле одно и таблица почти пустая, то UPDATE может отрабатывать несколько секунд. (12 секунд и более, я видел).

При каких условиях бывает такой медленный UPDATE? Какие параметры MySQL влияют на UPDATE? Куда смотреть?

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 203730

Посетитель

Сообщений: 62 Баллов: 5 Регистрация: 27.06.2013

22.10.2014 15:05:38

Из ваших картинок видно что этот UPDATE пишет в таблицу модуля Веб-аналитики (b_stat_session).
Тупое решение - удалить модуль.

Если хотите поразбираться, то в соответствии вот с этим курсом (глава Профилирование БД) https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=38&LESSON_ID=3445&LESSON_PATH=3909.5800.4906.3445
советую Вам взять код запроса и выполнить его включив профилирование.

Вот так: https://www.evernote.com/shard/s303/sh/247cef30-c10a-4cfe-b660-651d5a5d5be4/3dcd67266558d0fbe049b13ef77f32b3
В результате увидите табличку из которой станет хоть немного понятно что именно тормозит при выполнении UPDATE-а https://www.evernote.com/shard/s303/sh/406cd1bf-8032-42e5-9760-b527046fe536/6a8e1be4491d2f08c159790c9f738d53

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

23.10.2014 00:07:24

Модуль аналитики я давно удалил на корпоративном портале. Тормоза сильно всех бесили.

Но на другом сайте компонент catalog.element использует счетчик показов, и тогда может быть 9 секунд на пустом месте.

За ссылки спасибо. Буду изучать и пробовать.

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 25773 Эксперт Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008	#4 23.10.2014 00:37:06 Установка следующего времени запуска агента: Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

04.11.2014 14:54:52

Сделал тестовый запрос:

Код
UPD ATE test SE T TEXT = 'много текста', TIMESTAMP_X = now() WHERE ID=2;

Время тестового запроса 15.49321700 сек.

Status Duration
starting 0.000342
checking permissions 0.000005
Opening tables 0.000004
System lock 0.000002
Table lock 0.000002
init 0.000023
Updating 0.000104
end 0.000106
query end 0.000002
freeing items15.492538
logging slow query 0.000012
logging slow query 0.000071
cleaning up 0.000006

freeing items - медленнее всего 99.99 % времени

И что с этим делать?

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 23242

Постоянный посетитель

Сообщений: 108 Баллов: 12 Регистрация: 07.04.2008

08.11.2014 01:40:19

Было бы здорово увидеть результат выполнения команды:

Код
echo show variables \| mysql

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

08.11.2014 16:14:27

[CODE]+-----------------------------------------+-------------------------------------------------------------------------------------------+
| Variable_name | Value |
+-----------------------------------------+-------------------------------------------------------------------------------------------+
| auto_increment_increment | 1 |
| auto_increment_offset | 1 |
| autocommit | ON |
| automatic_sp_privileges | ON |
| back_log | 50 |
| basedir | /usr/ |
| big_tables | OFF |
| binlog_cache_size | 32768 |
| binlog_direct_non_transactional_updates | OFF |
| binlog_format | STATEMENT |
| bulk_insert_buffer_size | 2097152 |
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
| collation_connection | utf8_unicode_ci |
| collation_database | utf8_unicode_ci |
| collation_server | utf8_unicode_ci |
| completion_type | 0 |
| concurrent_insert | 1 |
| connect_timeout | 10 |
| datadir | /var/lib/mysql/ |
| date_format | %Y-%m-%d |
| datetime_format | %Y-%m-%d %H:%i:%s |
| default_week_format | 0 |
| delay_key_write | ON |
| delayed_insert_limit | 100 |
| delayed_insert_timeout | 300 |
| delayed_queue_size | 1000 |
| div_precision_increment | 4 |
| engine_condition_pushdown | ON |
| error_count | 0 |
| event_scheduler | OFF |
| expire_logs_days | 10 |
| flush | OFF |
| flush_time | 0 |
| foreign_key_checks | ON |
| ft_boolean_syntax | + -><()~*:""&| |
| ft_max_word_len | 84 |
| ft_min_word_len | 4 |
| ft_query_expansion_limit | 20 |
| ft_stopword_file | (built-in) |
| general_log | OFF |
| general_log_file | /var/run/mysqld/mysqld.log |
| group_concat_max_len | 1024 |
| have_community_features | YES |
| have_compress | YES |
| have_crypt | YES |
| have_csv | YES |
| have_dynamic_loading | YES |
| have_geometry | YES |
| have_innodb | YES |
| have_ndbcluster | NO |
| have_openssl | DISABLED |
| have_partitioning | YES |
| have_query_cache | YES |
| have_rtree_keys | YES |
| have_ssl | DISABLED |
| have_symlink | YES |
| hostname | askaron.com |
| identity | 0 |
| ignore_builtin_innodb | OFF |
| init_connect | SET NAMES utf8 COLLATE utf8_unicode_ci |
| init_file | |
| init_slave | |
| innodb_adaptive_hash_index | ON |
| innodb_additional_mem_pool_size | 1048576 |
| innodb_autoextend_increment | 8 |
| innodb_autoinc_lock_mode | 1 |
| innodb_buffer_pool_size | 8388608000 |
| innodb_checksums | ON |
| innodb_commit_concurrency | 0 |
| innodb_concurrency_tickets | 500 |
| innodb_data_file_path | ibdata1:10M:autoextend |
| innodb_data_home_dir | |
| innodb_doublewrite | ON |
| innodb_fast_shutdown | 1 |
| innodb_file_io_threads | 4 |
| innodb_file_per_table | ON |
| innodb_flush_log_at_trx_commit | 2 |
| innodb_flush_method | O_DIRECT |
| innodb_force_recovery | 0 |
| innodb_lock_wait_timeout | 50 |
| innodb_locks_unsafe_for_binlog | OFF |
| innodb_log_buffer_size | 1048576 |
| innodb_log_file_size | 67108864 |
| innodb_log_files_in_group | 2 |
| innodb_log_group_home_dir | ./ |
| innodb_max_dirty_pages_pct | 90 |
| innodb_max_purge_lag | 0 |
| innodb_mirrored_log_groups | 1 |
| innodb_open_files | 300 |
| innodb_rollback_on_timeout | OFF |
| innodb_stats_method | nulls_equal |
| innodb_stats_on_metadata | ON |
| innodb_support_xa | ON |
| innodb_sync_spin_loops | 20 |
| innodb_table_locks | ON |
| innodb_thread_concurrency | 8 |
| innodb_thread_sleep_delay | 10000 |
| innodb_use_legacy_cardinality_algorithm | ON |
| insert_id | 0 |
| interactive_timeout | 28800 |
| join_buffer_size | 12582912 |
| keep_files_on_create | OFF |
| key_buffer_size | 134217728 |
| key_cache_age_threshold | 300 |
| key_cache_block_size | 1024 |
| key_cache_division_limit | 100 |
| language | /usr/share/mysql/english/ |
| large_files_support | ON |
| large_page_size | 0 |
| large_pages | OFF |
| last_insert_id | 0 |
| lc_time_names | en_US |
| license | GPL |
| local_infile | ON |
| locked_in_memory | OFF |
| log | OFF |
| log_bin | OFF |
| log_bin_trust_function_creators | OFF |
| log_bin_trust_routine_creators | OFF |
| log_error | /var/log/mysql/log-error.log |
| log_output | FILE |
| log_queries_not_using_indexes | OFF |
| log_slave_updates | OFF |
| log_slow_queries | ON |
| log_warnings | 1 |
| long_query_time | 3.000000 |
| low_priority_updates | OFF |
| lower_case_file_system | OFF |
| lower_case_table_names | 0 |
| max_allowed_packet | 16777216 |
| max_binlog_cache_size | 18446744073709547520 |
| max_binlog_size | 104857600 |
| max_connect_errors | 10 |
| max_connections | 70 |
| max_delayed_threads | 20 |
| max_error_count | 64 |
| max_heap_table_size | 134217728 |
| max_insert_delayed_threads | 20 |
| max_join_size | 18446744073709551615 |
| max_length_for_sort_data | 1024 |
| max_long_data_size | 16777216 |
| max_prepared_stmt_count | 16382 |
| max_relay_log_size | 0 |
| max_seeks_for_key | 18446744073709551615 |
| max_sort_length | 1024 |
| max_sp_recursion_depth | 0 |
| max_tmp_tables | 32 |
| max_user_connections | 0 |
| max_write_lock_count | 18446744073709551615 |
| min_examined_row_limit | 0 |
| multi_range_count | 256 |
| myisam_data_pointer_size | 6 |
| myisam_max_sort_file_size | 9223372036853727232 |
| myisam_mmap_size | 18446744073709551615 |
| myisam_recover_options | BACKUP |
| myisam_repair_threads | 1 |
| myisam_sort_buffer_size | 8388608 |
| myisam_stats_method | nulls_unequal |
| myisam_use_mmap | OFF |
| net_buffer_length | 16384 |
| net_read_timeout | 30 |
| net_retry_count | 10 |
| net_write_timeout | 60 |
| new | OFF |
| old | OFF |
| old_alter_table | OFF |
| old_passwords | OFF |
| open_files_limit | 28560 |
| optimizer_prune_level | 1 |
| optimizer_search_depth | 62 |
| optimizer_switch | index_merge=on,index_merge_union=on,index_merge_sort_union=on,index_merge_intersection=on |
| pid_file | /var/run/mysqld/mysqld.pid |
| plugin_dir | /usr/lib64/mysql/plugin |
| port | 3306 |
| preload_buffer_size | 32768 |
| profiling | OFF |
| profiling_history_size | 15 |
| protocol_version | 10 |
| pseudo_thread_id | 901533 |
| query_alloc_block_size | 8192 |
| query_cache_limit | 8388608 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 134217728 |
| query_cache_type | ON |
| query_cache_wlock_invalidate | OFF |
| query_prealloc_size | 8192 |
| rand_seed1 | |
| rand_seed2 | |
| range_alloc_block_size | 4096 |
| read_buffer_size | 131072 |
| read_only | OFF |
| read_rnd_buffer_size | 262144 |
| relay_log | |
| relay_log_index | |
| relay_log_info_file | relay-log.info |
| relay_log_purge | ON |
| relay_log_space_limit | 0 |
| report_host | |
| report_password | |
| report_port | 3306 |
| report_user | |
| rpl_recovery_rank | 0 |
| secure_auth | OFF |
| secure_file_priv | |
| server_id | 0 |
| skip_external_locking | ON |
| skip_name_resolve | OFF |
| skip_networking | OFF |
| skip_show_database | OFF |
| slave_compressed_protocol | OFF |
| slave_exec_mode | STRICT |
| slave_load_tmpdir | /tmp |
| slave_max_allowed_packet | 1073741824 |
| slave_net_timeout | 3600 |
| slave_skip_errors | OFF |
| slave_transaction_retries | 10 |
| slow_launch_time | 2 |
| slow_query_log | ON |
| slow_query_log_file | /var/log/mysql/slow_query_log_file.log |
| socket | /var/lib/mysqld/mysqld.sock |
| sort_buffer_size | 12582912 |
| sql_auto_is_null | ON |
| sql_big_selects | ON |
| sql_big_tables | OFF |
| sql_buffer_result | OFF |
| sql_log_bin | ON |
| sql_log_off | OFF |
| sql_log_update | ON |
| sql_low_priority_updates | OFF |
| sql_max_join_size | 18446744073709551615 |
| sql_mode | |
| sql_notes | ON |
| sql_quote_show_create | ON |
| sql_safe_updates | OFF |
| sql_select_limit | 18446744073709551615 |
| sql_slave_skip_counter | |
| sql_warnings | OFF |
| ssl_ca | |
| ssl_capath | |
| ssl_cert | |
| ssl_cipher | |
| ssl_key | |
| storage_engine | InnoDB |
| sync_binlog | 0 |
| sync_frm | ON |
| system_time_zone | MSK |
| table_definition_cache | 256 |
| table_lock_wait_timeout | 50 |
| table_open_cache | 14240 |
| table_type | InnoDB |
| thread_cache_size | 32 |
| thread_handling | one-thread-per-connection |
| thread_stack | 131072 |
| time_format | %H:%i:%s |
| time_zone | SYSTEM |
| timed_mutexes | OFF |
| timestamp | 1415452415 |
| tmp_table_size | 134217728 |
| tmpdir | /tmp |
| transaction_alloc_block_size | 8192 |
| transaction_prealloc_size | 4096

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

08.11.2014 16:21:07

Если поможет. Я повесил тестовый запрос на крон и он мне присылает отчеты "SHOW PROFILE;" и "show processlist;":

SHOW PROFILE;

Цитата
Время тестового запроса 15.26999700 сек. Status Duration starting 0.000350 checking permissions 0.000004 Opening tables 0.000003 System lock 0.000002 Table lock 0.000002 init 0.000027 Updating 0.000106 end 0.000010 query end 0.000002 freeing items 15.269326 logging slow query 0.000012 logging slow query 0.000145 cleaning up 0.000008

show processlist;

Цитата

Id User Host db Command Time State Info

892661 regionoved localhost regionoved Query 0 freeing items UPD ATE b_agent SET DATE_CHECK=DATE_ADD(IF(DATE_CHECK IS NULL, now(), DATE_CHECK), INTERVAL 600 SECON

892662 prosmsaskaron localhost prosmsaskaron Query 0 freeing items UPD ATE b_agent SET DATE_CHECK=DATE_ADD(IF(DATE_CHECK IS NULL, now(), DATE_CHECK), INTERVAL 600 SECON

892664 askaron localhost askaron Query 0 freeing items UPD ATE b_agent SE T DATE_CHECK=DATE_ADD(IF(DATE_CHECK IS NULL, now(), DATE_CHECK), INTERVAL 600 SECON

892665 root localhost lab_askaron Query 0 freeing items UPDATE b_agent SE T DATE_CHECK=DATE_ADD(IF(DATE_CHECK IS NULL, now(), DATE_CHECK), INTERVAL 600 SECON

892666 root localhost lab_askaron Query 0 show processlist

892667 prosmsaskaron localhost prosmsaskaron Sleep 0

892668 portal_askaron localhost portal_askaron Query 0 freeing items UPDATE b_agent SE T DATE_CHECK=DATE_ADD(IF(DATE_CHECK IS NULL, now(), DATE_CHECK), INTERVAL 600 SECON

892669 ntpp localhost ntpp Sleep 0

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

08.11.2014 16:24:58

Я пытался отключать агенты на кроне. Они не влияют. Бывает, UPDATE зависает, когда вместе с ним вообще ничего не выполняется.

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

#10

08.11.2014 16:30:15

Еще бывает (совсем редко) такая картинка:

Цитата
Время тестового запроса 26.25978400 сек. Status Duration starting 0.000349 checking permissions 0.000003 Opening tables 0.000003 System lock 0.000002 Table lock 0.000002 init 0.000021 Updating 26.126854 end 0.000235 query end 0.000007 freeing items 0.132204 logging slow query 0.000024 logging slow query 0.000070 cleaning up 0.000010

Зависает на шаге Updating. Но, как правило, зависание происходит на freeing items, как было выше.

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Пользователь 23242

Постоянный посетитель

Сообщений: 108 Баллов: 12 Регистрация: 07.04.2008

#11

09.11.2014 16:30:56

К сожалению, в данном случае я вряд ли смогу помочь, так как тут используется MySQL 5.1 и плагин InnoDB 1.0 — старые версии со своим зоопарком проблем, которые я почти не застал, и которые не актуальны для современных версий MySQL.

Короткий поиск в Интернете предлагает попробовать следующие решения:

1) Отключить Adaptive Hash Indexing, путем добавления следующей строки в my.cnf:

Код
innodb_adaptive_hash_index = 0

2) Отключить кеширование запросов (только если проект не слишком посещаемый):

Код
query_cache_type = 0

3) Увеличить число потоков внутри движка InnoDB:

Код
innodb_thread_concurrency = 16

Гарантий что одно из решений окажется рабочим нет, но попробовать их последовательно все-таки стоит.

Лучшим же выходом, на мой взгляд, будет обновление MySQL с 5.1 до 5.5. Благо, с появления версии 5.5 прошло уже более пяти лет. Практически наверняка это позволит избавиться от проблемы. Кроме того, разумно будет задуматься о переходе на MariaDB или PerconaDB. Последнюю уже давно используем на проектах с миллионной суточной посещаемостью и еще ни разу она не подводила.

Пользователь 57829 Гуру Сообщений: 3754 Баллов: 320 Регистрация: 17.02.2010	#12 09.11.2014 17:18:41 Про PerconaDB и MariaDB давно спрашивал, а почему собственно в BitrixEnv используют ванильный MySQL а не более продвинутые форки, так толком никто и не ответил Карточка партнера Наш сайт

Пользователь 17315

Постоянный посетитель

Сообщений: 187 Баллов: 37 Регистрация: 06.11.2007

#13

20.12.2018 01:39:24

Сорри за некропостинг, но 4 дня потратил на эту проблему и нашел солюшн, который возможно сэкономит вам время.
Значит, один в один как у ТС ситуация - нерегулярные долгие апдейты, до 21 секунды на очень мощной машине. Под нагрузкой тормозит чаще, без нагрузки - реже, но все те же значения от 2 до 16 секунд.

Копался в my.cnf - не помогло.
Обновлял все что можно - не помогло
Создал индексы для всех полей всех таблиц - не помогло.

Пошёл разбираться глубже. Короче, дело было в файловой системе, на которой лежала машина.

В файловых системах BTRFS и ZFS с контролем четности и компрессией не рекомендуется держать виртуалки, базы данных и прочий подобный контент.
У меня была BTRFS со всеми этими атрибутами.
Только переместил в папку с отключенной компрессией и контролем четности - всё стало работать, скорость выросла примерно в 10 раз, этот синдром исчез.

Пользователь 25773

Эксперт

Сообщений: 866 Баллов: 153 Регистрация: 16.06.2008

#14

20.12.2018 15:53:40

Цитата

В файловых системах BTRFS и ZFS с контролем четности и компрессией не рекомендуется держать виртуалки, базы данных и прочий подобный контент.
У меня была BTRFS со всеми этими атрибутами.
Только переместил в папку с отключенной компрессией и контролем четности - всё стало работать, скорость выросла примерно в 10 раз, этот синдром исчез.

Большое спасибо. Мы уже давно поменяли сервер, и не могу сказать какая файловая система у нас была. Но кому-нибудь поможет ваш совет.

Модуль «Продвинутый обмен с 1C» http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/, создание сайтов и интеграция с 1С http://askaron.ru,

Нерегулярные медленные UPDATE на страницах

Продукты

Управление сайтом

Битрикс24

Интернет-магазин + CRM

Решения

Для интернет-магазинов

Каталог готовых решений

Внедрение

Выбрать партнера

Проверить партнера

Стать партнером