Как-то мне пришлось работать с проектом, на котором после сбоя на хостинге, нескольких восстановлений базы и переносов с кодировками стало всё плохо.
Нормального бэкапа нет, а данные в базе перемешаны: часть данных отображается нормально, часть кракозябрами.
Т.е. выполнить какую-то конвертацию таблиц не представляется возможным. Мне пришлось включить голову и найти решение.
Сразу скажу, что не дам простого готового инструмента, наподобие того, что делал для .
Тут нужно хорошо понимать, что делается. Но, надеюсь, программист разберется. Главная цель этого сообщения - донести, что в любой ситуации можно найти решение.
Итак, имеем сайт, где файлы нормальные, а в базе данных часть информации хранится нормально, а часть испорчена перекодировкой.
0. Сделайте бэкап
Все знают, но не всегда помнят: какая бы плохая ситуация не была, её всегда можно сделать хуже. Поэтому не спешите что-то исправлять когда что-то сломалось. Начните с сохранения того, что есть.
1. Выясните, каким образом испорчены данные
Есть ряд сервисов, позволяющих определить, как произошла перекодировка текста. Мне понравился и помог . Скопируйте туда плохой текст и поймете, как его можно восстановить.
2. Проверьте на фрагменте текста восстановление используя свой метод перекодировки
Прежде всего нужна функция, которая будет проверять, хороший ли текст к нам пришел. У меня сайт работал в utf-8, поэтому функция имела вид:
Для cp1251 код будет чуть сложнее:
Теперь нужна функция, которая будет лечить наши кракозябры.
Мне декодер Лебедева сказал:
Соответственно, лечение будет заключаться в аналогичном преобразовании:
3. Дальше надо обернуть это в код, который аккуратно будет перебирать все записи из базы и лечить их
Обратите внимание, код не работает по шагам, но его можно запускать несколько раз: "хорошие" данные или не содержащие русских букв затронуты не будут.
На одном проекте он сослужил хорошую службу. Хорошо если кто-то подключит голову и воспользуется для решения своей проблемы.
Нормального бэкапа нет, а данные в базе перемешаны: часть данных отображается нормально, часть кракозябрами.
Т.е. выполнить какую-то конвертацию таблиц не представляется возможным. Мне пришлось включить голову и найти решение.
Сразу скажу, что не дам простого готового инструмента, наподобие того, что делал для .
Тут нужно хорошо понимать, что делается. Но, надеюсь, программист разберется. Главная цель этого сообщения - донести, что в любой ситуации можно найти решение.
Итак, имеем сайт, где файлы нормальные, а в базе данных часть информации хранится нормально, а часть испорчена перекодировкой.
0. Сделайте бэкап
Все знают, но не всегда помнят: какая бы плохая ситуация не была, её всегда можно сделать хуже. Поэтому не спешите что-то исправлять когда что-то сломалось. Начните с сохранения того, что есть.
1. Выясните, каким образом испорчены данные
Есть ряд сервисов, позволяющих определить, как произошла перекодировка текста. Мне понравился и помог . Скопируйте туда плохой текст и поймете, как его можно восстановить.
2. Проверьте на фрагменте текста восстановление используя свой метод перекодировки
Прежде всего нужна функция, которая будет проверять, хороший ли текст к нам пришел. У меня сайт работал в utf-8, поэтому функция имела вид:
function good($str)
{
return preg_match('#[а-яА-Я]#u',$str);
} |
Для cp1251 код будет чуть сложнее:
function good($str)
{
$str = mb_convert_encoding($str, 'windows-1251', 'utf-8');
return preg_match('#[а-яА-Я]#u',$str);
} |
Теперь нужна функция, которая будет лечить наши кракозябры.
Мне декодер Лебедева сказал:
| Как нам пришлось помучиться CP1252 → UTF-8 |
function heal($str)
{
$str = mb_convert_encoding($str, 'windows-1252', 'utf-8');
if (good($str))
return $str;
return false;
} |
3. Дальше надо обернуть это в код, который аккуратно будет перебирать все записи из базы и лечить их
$rs = $DB->Query('show tables');
while($f = $rs->Fetch()) // таблицы
{
list($k,$t) = each($f);
$rs0 = $DB->Query('show table status like "'.$t.'"');
$f0 = $rs0->Fetch();
if ($f0['Rows'] == 0)
continue;
$arCols = array();
$id = '';
$rs0 = $DB->Query('show columns from '.$t);
while($f0 = $rs0->Fetch()) // столбцы
{
if ($f0['Key'] == 'PRI')
$id = $f0['Field'];
if (preg_match('#char|text#',$f0['Type']))
$arCols[] = $f0['Field'];
}
if (!$id)
{
echo('Нет поля ID: '.$t.'<br>');
continue;
}
if ($id == 'ID')
continue;
foreach($arCols as $fld)
{
if (!$rs1 = $DB->Query('SELECT `'.$id.'`,`'.$fld.'` FROM '.$t))
{
echo('Нет поля ID: '.$t.'<br>');
break;
}
while($f1 = $rs1->Fetch()) // строки
{
if (!$f1['ID'])
if (!trim($f1[$fld]))
continue;
if ($new = heal($f1[$fld]))
{
$q = 'UPDATE '.$t.' SET '.$fld.'="'.$DB->ForSQL($new).'" WHERE '.$id.'="'.$DB->ForSQL($f1[$id]).'"';
$DB->Query($q);
if ($yyy++ < 10)
echo $q.'<br>';
}
}
}
}
echo '$iii='.$iii;
|
Обратите внимание, код не работает по шагам, но его можно запускать несколько раз: "хорошие" данные или не содержащие русских букв затронуты не будут.
На одном проекте он сослужил хорошую службу. Хорошо если кто-то подключит голову и воспользуется для решения своей проблемы.
Группы на сайте создаются не только сотрудниками «1С-Битрикс», но и партнерами компании. Поэтому мнения участников групп могут не совпадать с позицией компании «1С-Битрикс».
