Перенос данных на чистую базу (постановка)
Материал из GedeminWiki
(Различия между версиями)
SYSDBA (обсуждение | вклад) |
SYSDBA (обсуждение | вклад) |
||
| Строка 1: | Строка 1: | ||
Принципы ускорения: | Принципы ускорения: | ||
| − | + | * последовательное неиндексированное чтение исходных данных | |
| − | + | * отключение индексов, триггеров, ключей, ограничений на конечной базе данных | |
| − | + | * обработка множества идентификаторов в оперативной памяти | |
| − | + | * пересылка данных между базами внутри сервера | |
Примем: | Примем: | ||
| − | + | A -- исходная база данных. | |
| − | + | B -- конечная база данных. | |
Перед началом процесса проверяем базу А: | Перед началом процесса проверяем базу А: | ||
| − | # отключенные внешние ключи должны быть включены | + | # отключенные внешние ключи должны быть включены |
| − | # блокировка периода должна быть снята | + | # блокировка периода должна быть снята |
| − | # кэш не должен превышать 500 Мб | + | # кэш не должен превышать 500 Мб |
| − | # | + | # аудит должен быть отключен |
| − | Пользователю рекомендуется провести бэкап-разбэкап исходной базы. | + | Пользователю рекомендуется провести бэкап-разбэкап исходной базы перед началом процесса. |
| − | + | B создается из копии метаданных А. На время переноса данных отключается принудительная запись и размер кэша устанавливается не более 500 Мб. Генератор идентификаторов базы B увеличивается на заданную дельту. | |
| − | принудительная запись и размер кэша устанавливается не более 500 Мб. | + | |
| − | Генератор идентификаторов базы | + | |
| − | В | + | В базе B создаем структуры: |
| − | # для хранения структуры БД в части удаленных\отключенных объектов метаданных | + | # для хранения структуры БД в части удаленных\отключенных объектов метаданных |
| − | # для хранения информации о записях с начальным сальдо | + | # для хранения информации о записях с начальным сальдо |
| − | # для хранения лога изменения данных | + | # для хранения лога изменения данных |
| + | # для хранения информации об исходной БД | ||
| − | Считываем и запоминаем структуру базы | + | Считываем и запоминаем структуру базы B. Деактивируем или удаляем следующие объекты метаданных: триггеры, индексы, чеки, внешние ключи, первичные ключи, вычисляемые поля. |
| − | объекты метаданных: триггеры, индексы, чеки, внешние ключи, первичные ключи, | + | |
| − | вычисляемые поля. | + | |
| − | Создаем множество R для идентификаторов объектов, подлежащих переносу из А в | + | Создаем множество R для идентификаторов объектов, подлежащих переносу из А в B. |
| − | Выводим сальдовые значения и помещаем их в | + | Выводим сальдовые значения и помещаем их в B. Помещаем в R идентификаторы объектов, необходимых для суммарных значений. |
| − | объектов, необходимых для суммарных значений. | + | |
Все таблицы мы подразделяем на: | Все таблицы мы подразделяем на: | ||
| Строка 67: | Строка 63: | ||
## добавляем ее идентификатор в R. | ## добавляем ее идентификатор в R. | ||
# Если в процессе выполнения пунктов 3-6 в R добавлен хотя бы один новый идентификатор, то повторяем цикл начиная с шага 3. | # Если в процессе выполнения пунктов 3-6 в R добавлен хотя бы один новый идентификатор, то повторяем цикл начиная с шага 3. | ||
| − | # Переносим данные из А в | + | # Переносим данные из А в B: |
## все данные прочих таблиц | ## все данные прочих таблиц | ||
## для таблиц с идентификаторами -- все записи, которые зафиксированы в R | ## для таблиц с идентификаторами -- все записи, которые зафиксированы в R | ||
| − | ## для таблиц-связок | + | ## для таблиц-связок -- все записи, относящиеся к объектам из R |
| − | Примечание: при выполнении шагов 5 и 6, если таблица имеет древовидную структуру, то | + | Примечание: при выполнении шагов 5 и 6, если таблица имеет древовидную структуру, то организуется цикл от первой до последней записи, который повторяется пока в процессе обработки не было добавлено ни одного нового ИД в R. |
| − | организуется цикл от первой до последней записи, который повторяется пока в процессе обработки | + | |
| − | не было добавлено ни одного нового ИД в R. | + | |
| − | Восстанавливаем в | + | Восстанавливаем в B удаленные и деактивированные объекты метаданных. |
| − | + | В базе B на каждую таблицу создаются триггеры после изменения и после удаления, которые синхронизируют изменения с базой А. (или фиксируют изменения для последующей синхронизации). | |
| − | + | Создаем в А таблицу и записываем параметры базы B. | |
| − | + | ||
| − | + | ||
| − | + | ==== Работа с базой А после разделения ==== | |
| − | = | + | IDA -- значение генератора из БД А на момент старта процесса. |
| + | IDB = IDA + 1000000 -- значение генератора в БД B, устанавливаемое на момент окончания процесса. | ||
| − | + | В базе А создается триггер на коммит транзакции, который проверяет, если значение генератора больше, чем IDB - дельта, то выдается исключение. | |
| − | + | ||
| − | + | ==== Слияние баз А и B ==== | |
| − | + | ||
| − | + | ||
| − | + | Сначала выполняются все отложенные операции синхронизации изменений в B. | |
| − | + | Создается база C, как копия метаданных базы B. Запоминается ее структура. Отключаются индексы, чеки, триггеры, ключи. Переносится на нее информация из A и из B. Не переносятся суммарные данные. Восстанавливаются ключи, индексы, триггеры, чеки. | |
| − | + | В общем случае потребуется на базу А накатить все настройки, которые были установлены на B с момента разъединения этих баз. | |
| − | + | [[Category:Постановка]] | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
Версия 14:37, 20 июня 2011
Принципы ускорения:
- последовательное неиндексированное чтение исходных данных
- отключение индексов, триггеров, ключей, ограничений на конечной базе данных
- обработка множества идентификаторов в оперативной памяти
- пересылка данных между базами внутри сервера
Примем:
A -- исходная база данных. B -- конечная база данных.
Перед началом процесса проверяем базу А:
- отключенные внешние ключи должны быть включены
- блокировка периода должна быть снята
- кэш не должен превышать 500 Мб
- аудит должен быть отключен
Пользователю рекомендуется провести бэкап-разбэкап исходной базы перед началом процесса.
B создается из копии метаданных А. На время переноса данных отключается принудительная запись и размер кэша устанавливается не более 500 Мб. Генератор идентификаторов базы B увеличивается на заданную дельту.
В базе B создаем структуры:
- для хранения структуры БД в части удаленных\отключенных объектов метаданных
- для хранения информации о записях с начальным сальдо
- для хранения лога изменения данных
- для хранения информации об исходной БД
Считываем и запоминаем структуру базы B. Деактивируем или удаляем следующие объекты метаданных: триггеры, индексы, чеки, внешние ключи, первичные ключи, вычисляемые поля.
Создаем множество R для идентификаторов объектов, подлежащих переносу из А в B.
Выводим сальдовые значения и помещаем их в B. Помещаем в R идентификаторы объектов, необходимых для суммарных значений.
Все таблицы мы подразделяем на:
- таблицу gd_document
- главные таблицы БО (кроме gd_document)
- таблицы, связанные 1-к-1 в реляционной модели
- детальные таблицы (таблицы с дополнительной информацией, таблицы с позициями документов, таблицы документов)
- таблицы-связки для атрибутов типа множество
- прочие таблицы (без идентификатора ИД или со сложным первичным ключем)
Списки таблиц упорядочиваем по возрастанию количества внешних ссылок на таблицу.
Алгоритм переноса:
- Проходимся по таблицам-связкам для множеств и помещаем в R все встреченные идентификаторы элементов множеств.
- Организуем цикл по прочим таблицам. Для каждой сканируем все записи и добавляем все встреченные ссылки в R.
- Сканируем шапки из таблицы gd_document. Проверям на условия переноса. Если условия выполнены и ИД записи еще нет в R то:
- сканируем все поля-ссылки в этой записи и добавляем в R идентификаторы.
- добавляем ее идентификатор в R.
- Сканируем позиции из таблицы gd_document. Если ИД записи еще нет в R и ИД шапки находится в R, то:
- сканируем все поля-ссылки в этой записи и добавляем в R идентификаторы.
- добавляем ее идентификатор в R.
- Организуем цикл по главным таблицам БО. Внутри каждой таблицы организуем цикл по всем записям. Если ИД записи не в R и по условиям она подлегает переносу, то:
- сканируем все поля-ссылки в этой записи и добавляем в R идентификаторы.
- добавляем ее идентификатор в R.
- Организуем цикл по детальным таблицам и по таблицам 1-к-1. Если ИД главной записи находится в R, то:
- сканируем все поля-ссылки в этой записи и добавляем в R идентификаторы.
- добавляем ее идентификатор в R.
- Если в процессе выполнения пунктов 3-6 в R добавлен хотя бы один новый идентификатор, то повторяем цикл начиная с шага 3.
- Переносим данные из А в B:
- все данные прочих таблиц
- для таблиц с идентификаторами -- все записи, которые зафиксированы в R
- для таблиц-связок -- все записи, относящиеся к объектам из R
Примечание: при выполнении шагов 5 и 6, если таблица имеет древовидную структуру, то организуется цикл от первой до последней записи, который повторяется пока в процессе обработки не было добавлено ни одного нового ИД в R.
Восстанавливаем в B удаленные и деактивированные объекты метаданных.
В базе B на каждую таблицу создаются триггеры после изменения и после удаления, которые синхронизируют изменения с базой А. (или фиксируют изменения для последующей синхронизации).
Создаем в А таблицу и записываем параметры базы B.
Работа с базой А после разделения
IDA -- значение генератора из БД А на момент старта процесса. IDB = IDA + 1000000 -- значение генератора в БД B, устанавливаемое на момент окончания процесса.
В базе А создается триггер на коммит транзакции, который проверяет, если значение генератора больше, чем IDB - дельта, то выдается исключение.
Слияние баз А и B
Сначала выполняются все отложенные операции синхронизации изменений в B.
Создается база C, как копия метаданных базы B. Запоминается ее структура. Отключаются индексы, чеки, триггеры, ключи. Переносится на нее информация из A и из B. Не переносятся суммарные данные. Восстанавливаются ключи, индексы, триггеры, чеки.
В общем случае потребуется на базу А накатить все настройки, которые были установлены на B с момента разъединения этих баз.
