Мультинаправленная репликация между базами (постановка)

Материал из GedeminWiki
(Различия между версиями)
Перейти к: навигация, поиск
(Вопросы)
 
(не показаны 32 промежуточные версии 1 участника)
Строка 1: Строка 1:
Мы будем рассматривать вариант мультинаправленной асинхронной дельта репликации в топографии "звезда".
+
Мы будем рассматривать вариант мультинаправленной асинхронной дельта репликации в топографии "звезда", опираясь на принципы взаимодействия, описанные в статье [[Двунаправленная репликация между двумя базами (постановка)|"Двунаправленная репликация между двумя базами"]].
  
 
http://gsbelarus.com/gs/images/gs/2009/repl_1.png
 
http://gsbelarus.com/gs/images/gs/2009/repl_1.png
Строка 7: Строка 7:
 
Совокупность всех УБД и ЦБД, включенных в схему репликации, называется '''Распределенной базой данных''' (РБД).
 
Совокупность всех УБД и ЦБД, включенных в схему репликации, называется '''Распределенной базой данных''' (РБД).
  
Циркуляция изменений в рамках распределенной базы данных происходит внутри т.н. '''доменов'''. Домен может состоять только из ЦБД, или ЦБД и одной или нескольких УБД. Каждый объект может принадлежать одному или нескольким доменам одновременно. В РБД одновременно может существовать неограниченное количество доменов.
+
=== Домены ===
  
На рисунке ниже показана РБД с двумя доменами. Согласно представленной схеме, если некоторый объект принадлежит только "Домену 1", то его изменения, сделанные на УБД1, будут переданы (реплицированы) на ЦБД и УБД3, но не попадут на УБД2, так как она не входит в "Домен 1". Аналогично, изменения объекта из "Домена 2" будут передаваться только между УБД2 и ЦБД.
+
Циркуляция изменений в рамках распределенной базы данных происходит внутри т.н. '''доменов'''. Домен может состоять только из ЦБД, или ЦБД и одной или нескольких УБД. В РБД одновременно может существовать неограниченное количество доменов.
 +
 
 +
Каждый объект может принадлежать только одному домену. Объекты, явно не принадлежащие ни одному из доменов, реплицируются по всей РБД. Т.е. можно говорить что такие объекты принадлежит некоему '''глобальному домену''', который существует изначально и покрывает всю РБД.
 +
 
 +
На рисунке ниже показана РБД с двумя доменами. Согласно представленной схеме, если некоторый объект принадлежит "Домену 1", то его изменения, сделанные на УБД1, будут переданы (реплицированы) на ЦБД и УБД3, но не попадут на УБД2, так как она не входит в "Домен 1". Аналогично, изменения объекта из "Домена 2" будут передаваться только между УБД2 и ЦБД.
  
 
http://gsbelarus.com/gs/images/gs/2009/repl_2.png
 
http://gsbelarus.com/gs/images/gs/2009/repl_2.png
  
Принадлежность объекта домену может устанавливаться только на основании его класса (вертикальное разбиение) или класса и принадлежности некоторому множеству (горизонтальное разбиение). Пример вертикального разбиения -- все объекты класса "Компания". Пример горизонтального -- все объекты класса "Компания", входящие в папку "Общие клиенты" справочника контактов.
+
Принадлежность объекта домену может устанавливаться только на основании его класса (вертикальное разбиение) или класса и принадлежности некоторому множеству (горизонтальное разбиение). Пример вертикального разбиения — все объекты класса "Компания". Пример горизонтального — все объекты класса "Компания", входящие в папку "Общие клиенты" справочника контактов.
 +
 
 +
После создания объекта, его принадлежность домену не может изменяться.
 +
 
 +
В один момент времени изменение объектов в рамках одного домена возможно только на одной из баз, которая называется '''Активной базой данных домена''' (АБД). Активная база данных в начальный момент времени задается схемой репликации и называется '''Главной базой данных домена''' (ГБД). Статус активности передается по запросу от одной базы данных к другой. ГБД передает статус активности на ограниченный промежуток времени T<sub>a</sub>, по истечении которого ГБД снова становится активной, даже если она не посылала соответствующего запроса.
 +
 
 +
После передачи статуса активности БД становится неактивной. '''Неактивная база даных''' (НБД) функционирует в режиме только для чтения.
 +
 
 +
Мы будем использовать термин '''база данных''' (БД) в тех случаях, когда для нас не имеет значение является ли указанная база ЦБД или УБД в схеме репликации, имеет ли она статус активной или нет.
 +
 
 +
Порядок выполнения действий над объектами на исходной базе должен строго сохраняться при переносе. Транспорт передачи сообщений не гарантирует нам ни сохранности и целости конкретного сообщения, ни сохранения порядка при передаче нескольких сообщений.
 +
 
 +
= Концептуальная схема =
 +
 
 +
Отличие от двунаправленной репликации между двумя базами заключается в том, что теперь мы имеем несколько баз и возможно несколько доменов. Внутри каждого домена ведется автономная нумерация изменений. В лог на УБД следует добавить поле привязки объекта к домену. На ЦБД мы будем вести по логу для каждой из УБД. При поступлении изменения с УБД, кроме фиксации состояния R в '''ее логе''' на ЦБД, одновременно формируются записи состояния L в логах остальных баз, принадлежащих домену. Только тогда, когда эти записи перейдут в соcтоние C, на исходную базу будет послано подтверждение о передаче объекта.
 +
 
 +
= Реализация =
 +
 
 +
== Метаданные ==
 +
 
 +
=== Типы данных ===
 +
 
 +
Состояние объекта:
 +
 +
  /* в основном логе */
 +
  CREATE DOMAIN rp2_dstate AS CHAR(1)
 +
    CHECK(VALUE IN ('L', 'B', 'S', 'F'));
 +
 +
  /* в архивном логе */
 +
  CREATE DOMAIN rp2_dstate_arch AS CHAR(1)
 +
    CHECK(VALUE IN ('I', 'C', 'R'));
 +
 
 +
Типы операций:
 +
 
 +
  CREATE DOMAIN rp2_doptype AS CHAR(1)
 +
    CHECK(VALUE IN ('I', 'U', 'D'))
 +
 
 +
=== Таблицы УБД ===
 +
 
 +
  CREATE TABLE rp2_rlog (
 +
    domainkey
 +
    rec_num
 +
    obj_id UNIQUE
 +
    obj_class
 +
    obj_subtype
 +
    obj_table
 +
    obj_state
 +
    obj_operation
 +
    logged
 +
 
 +
    PRIMARY KEY (domainkey, rec_num)
 +
  )
 +
 
 +
  CREATE TABLE rp2_rlog_arch (
 +
    domainkey
 +
    rec_num
 +
    obj_id
 +
    obj_class
 +
    obj_subtype
 +
    obj_table
 +
    obj_state_arch
 +
    obj_operation
 +
    logged
 +
 
 +
    PRIMARY KEY (domainkey, rec_num)
 +
  )
 +
 
 +
  CREATE TABLE rp2_rdomain (
 +
    domainkey
 +
    expiration
 +
  )
 +
 
 +
  CREATE TABLE rp2_rbase (
 +
    basekey
 +
  )
 +
 
 +
=== Таблицы ЦБД ===
 +
 
 +
Список баз данных, участвующих в схеме репликации:
 +
 
 +
  CREATE TABLE rp2_base (
 +
    id              dintkey,
 +
    name            dname UNIQUE,
 +
    connection_data dtext254,
 +
 
 +
    CONSTRAINT rp2_pk_base_id PRIMARY KEY (id) 
 +
  )
 +
 
 +
Идентификатор ЦБД, таблица хранит максимум одну запись:
 +
 
 +
  CREATE TABLE rp2_main_base (
 +
    id              dintkey,
 +
    lock_rec        dinteger_notnull DEFAULT 1 UNIQUE,
 +
 
 +
    CONSTRAINT rp2_pk_main_base_id PRIMARY KEY (ID),
 +
    CONSTRAINT rp2_fk_main_base_id FOREIGN KEY (ID)
 +
      REFERENCES rp2_base (id)
 +
      ON DELETE CASCADE
 +
      ON UPDATE CASCADE,
 +
    CHECK (lock_rec = 1)
 +
  )
 +
 
 +
Список доменов:
 +
 +
  CREATE TABLE rp2_domain (
 +
    id            dintkey,
 +
    name          dname UNIQUE,
 +
    generator_name dname UNIQUE,
 +
 +
    CONSTRAINT rp2_pk_domain_id PRIMARY KEY  (ID)
 +
  )
 +
 
 +
Принадлежность баз доменам:
 +
 
 +
  CREATE TABLE rp2_domain_base (
 +
    domainkey  dintkey,
 +
    basekey    dintkey,
 +
 +
    CONSTRAINT rp2_pk_domain_base PRIMARY KEY (domainkey, basekey),
 +
    CONSTRAINT rp2_fk_domain_base_basekey FOREIGN KEY (basekey)
 +
      REFERENCES rp2_base (id)
 +
      ON DELETE CASCADE
 +
      ON UPDATE CASCADE,
 +
    CONSTRAINT rp2_fk_domain_base_domainkey FOREIGN KEY (domainkey)
 +
      REFERENCES rp2_domain (id)
 +
      ON DELETE CASCADE
 +
      ON UPDATE CASCADE
 +
  )
 +
 
 +
Принадлежность классов (подмножеств) доменам:
 +
 
 +
  CREATE TABLE rp2_domain_class (
 +
    id        dintkey,
 +
    domainkey  dintkey,
 +
    name      dname,
 +
    classname  dname,
 +
    subtype    VARCHAR(60),
 +
    tablename  dtablename,
 +
    condition  dtext254,
 +
 
 +
    CONSTRAINT rp2_pk_domain_class PRIMARY KEY (id), 
 +
    CONSTRAINT rp2_fk_domain_class_domainkey FOREIGN KEY (domainkey)
 +
      REFERENCES rp2_domain (id)
 +
      ON DELETE CASCADE
 +
      ON UPDATE CASCADE
 +
  )
 +
 
 +
  CREATE TABLE rp2_clog (
 +
    domainkey
 +
    basekey
 +
    rec_num
 +
    obj_id UNIQUE
 +
    obj_class
 +
    obj_subtype
 +
    obj_state
 +
    logged
 +
 
 +
    PRIMARY KEY (domainkey, basekey, rec_num)
 +
  )
 +
 
 +
  CREATE TABLE rp2_clog_arch (
 +
    basekey
 +
    rec_num
 +
    obj_id
 +
    obj_class
 +
    obj_subtype
 +
    obj_state_arch
 +
    logged
 +
  )
  
Объекты, не принадлежащие ни одному из доменов, реплицируются по всей РБД. Т.е. можно говорить что такие объекты принадлежит некоему глобальному домену, который существует изначально и покрывает всю РБД.
+
=== Контроль активности БД ===
  
Мы будем называть '''доменным пространством P''' объекта О объединение всех доменов, которым принадлежит указанный объект.
+
== Организация пользовательского интерфейса ==
  
В рамках доменного пространства, в один момент времени, редактирование или удаление объекта возможно только на одной базе данных. Такая база данных называется '''активной базой данных''' доменного пространства P (АБД). Активная база данных в начальный момент времени называется '''главной базой данных''' доменного пространства P (ГБД). Статус активной базы передается от ГБД к другой базе данных из Р на ограниченный промежуток времени T<sub>a</sub>.
+
В начальный момент времени мы имеем одну базу данных. В будущей схеме репликации эта база будет являться ЦБД.
 +
 +
# Мы начинаем с определения списка баз.  
 +
# Определяем список доменов и распределяем базы по доменам.
 +
# Далее, распределяем классы по доменам.
 +
# Создаем файлы УБД для распределения их по филиалам.
 +
# Создаем метаданные ЦБД.
  
Создание новых объектов воможно на любой базе данных вне зависимости от статуса активности.
+
= Вопросы =
  
Мы будем использовать термин '''база данных''' (БД) в тех случаях, когда для нас не имеет значение является ли указанная база ЦБД или УБД в схеме репликации, имеет ли она статус активной в некотором доменном пространстве P или нет.
+
# Как на УБД будет хранится статус активности для каждого домена?
 +
# Как на ЦБД будет хранится статус активности для каждого домена?
 +
# Как определяется принадлежность конкретного объекта домену?
 +
# Как будут распространятся изменения через ЦБД до всех УБД, входящих в домен?
 +
# Как осуществляется нумерация изменений в рамках каждого домена?
 +
# Как осуществляется репликация элементов множеств?
  
 
= Примечания =
 
= Примечания =

Текущая версия на 21:23, 20 сентября 2009

Мы будем рассматривать вариант мультинаправленной асинхронной дельта репликации в топографии "звезда", опираясь на принципы взаимодействия, описанные в статье "Двунаправленная репликация между двумя базами".

repl_1.png

Как видно на представленном рисунке, несколько Удаленных баз данных (УБД) обмениваются данными с одной Центральной базой данных (ЦБД). Изменение данных может осуществляться как на УБД, так и на ЦБД. Передача изменений напрямую от одной УБД к другой, минуя ЦБД, невозможна.

Совокупность всех УБД и ЦБД, включенных в схему репликации, называется Распределенной базой данных (РБД).

[править] Домены

Циркуляция изменений в рамках распределенной базы данных происходит внутри т.н. доменов. Домен может состоять только из ЦБД, или ЦБД и одной или нескольких УБД. В РБД одновременно может существовать неограниченное количество доменов.

Каждый объект может принадлежать только одному домену. Объекты, явно не принадлежащие ни одному из доменов, реплицируются по всей РБД. Т.е. можно говорить что такие объекты принадлежит некоему глобальному домену, который существует изначально и покрывает всю РБД.

На рисунке ниже показана РБД с двумя доменами. Согласно представленной схеме, если некоторый объект принадлежит "Домену 1", то его изменения, сделанные на УБД1, будут переданы (реплицированы) на ЦБД и УБД3, но не попадут на УБД2, так как она не входит в "Домен 1". Аналогично, изменения объекта из "Домена 2" будут передаваться только между УБД2 и ЦБД.

repl_2.png

Принадлежность объекта домену может устанавливаться только на основании его класса (вертикальное разбиение) или класса и принадлежности некоторому множеству (горизонтальное разбиение). Пример вертикального разбиения — все объекты класса "Компания". Пример горизонтального — все объекты класса "Компания", входящие в папку "Общие клиенты" справочника контактов.

После создания объекта, его принадлежность домену не может изменяться.

В один момент времени изменение объектов в рамках одного домена возможно только на одной из баз, которая называется Активной базой данных домена (АБД). Активная база данных в начальный момент времени задается схемой репликации и называется Главной базой данных домена (ГБД). Статус активности передается по запросу от одной базы данных к другой. ГБД передает статус активности на ограниченный промежуток времени Ta, по истечении которого ГБД снова становится активной, даже если она не посылала соответствующего запроса.

После передачи статуса активности БД становится неактивной. Неактивная база даных (НБД) функционирует в режиме только для чтения.

Мы будем использовать термин база данных (БД) в тех случаях, когда для нас не имеет значение является ли указанная база ЦБД или УБД в схеме репликации, имеет ли она статус активной или нет.

Порядок выполнения действий над объектами на исходной базе должен строго сохраняться при переносе. Транспорт передачи сообщений не гарантирует нам ни сохранности и целости конкретного сообщения, ни сохранения порядка при передаче нескольких сообщений.

[править] Концептуальная схема

Отличие от двунаправленной репликации между двумя базами заключается в том, что теперь мы имеем несколько баз и возможно несколько доменов. Внутри каждого домена ведется автономная нумерация изменений. В лог на УБД следует добавить поле привязки объекта к домену. На ЦБД мы будем вести по логу для каждой из УБД. При поступлении изменения с УБД, кроме фиксации состояния R в ее логе на ЦБД, одновременно формируются записи состояния L в логах остальных баз, принадлежащих домену. Только тогда, когда эти записи перейдут в соcтоние C, на исходную базу будет послано подтверждение о передаче объекта.

[править] Реализация

[править] Метаданные

[править] Типы данных

Состояние объекта:

 /* в основном логе */
 CREATE DOMAIN rp2_dstate AS CHAR(1) 
   CHECK(VALUE IN ('L', 'B', 'S', 'F'));

 /* в архивном логе */
 CREATE DOMAIN rp2_dstate_arch AS CHAR(1) 
   CHECK(VALUE IN ('I', 'C', 'R'));

Типы операций:

 CREATE DOMAIN rp2_doptype AS CHAR(1) 
   CHECK(VALUE IN ('I', 'U', 'D'))

[править] Таблицы УБД

 CREATE TABLE rp2_rlog (
   domainkey
   rec_num
   obj_id UNIQUE
   obj_class
   obj_subtype 
   obj_table
   obj_state
   obj_operation
   logged
   PRIMARY KEY (domainkey, rec_num)
 )
 CREATE TABLE rp2_rlog_arch (
   domainkey
   rec_num
   obj_id
   obj_class
   obj_subtype 
   obj_table
   obj_state_arch
   obj_operation
   logged
   PRIMARY KEY (domainkey, rec_num)
 )
 CREATE TABLE rp2_rdomain (
   domainkey
   expiration
 )
 CREATE TABLE rp2_rbase (
   basekey
 )

[править] Таблицы ЦБД

Список баз данных, участвующих в схеме репликации:

 CREATE TABLE rp2_base (
   id              dintkey,
   name            dname UNIQUE,
   connection_data dtext254,
 
   CONSTRAINT rp2_pk_base_id PRIMARY KEY (id)  
 )

Идентификатор ЦБД, таблица хранит максимум одну запись:

 CREATE TABLE rp2_main_base (
   id              dintkey,
   lock_rec        dinteger_notnull DEFAULT 1 UNIQUE,
 
   CONSTRAINT rp2_pk_main_base_id PRIMARY KEY (ID),
   CONSTRAINT rp2_fk_main_base_id FOREIGN KEY (ID)
     REFERENCES rp2_base (id)
     ON DELETE CASCADE
     ON UPDATE CASCADE,
   CHECK (lock_rec = 1)
 )

Список доменов:

 CREATE TABLE rp2_domain (
   id             dintkey,
   name           dname UNIQUE,
   generator_name dname UNIQUE,

   CONSTRAINT rp2_pk_domain_id PRIMARY KEY  (ID)
 )

Принадлежность баз доменам:

 CREATE TABLE rp2_domain_base (
   domainkey  dintkey,
   basekey    dintkey,

   CONSTRAINT rp2_pk_domain_base PRIMARY KEY (domainkey, basekey),
   CONSTRAINT rp2_fk_domain_base_basekey FOREIGN KEY (basekey)
     REFERENCES rp2_base (id)
     ON DELETE CASCADE
     ON UPDATE CASCADE,
   CONSTRAINT rp2_fk_domain_base_domainkey FOREIGN KEY (domainkey)
     REFERENCES rp2_domain (id)
     ON DELETE CASCADE
     ON UPDATE CASCADE
 )

Принадлежность классов (подмножеств) доменам:

 CREATE TABLE rp2_domain_class (
   id         dintkey,
   domainkey  dintkey,
   name       dname, 
   classname  dname,
   subtype    VARCHAR(60),
   tablename  dtablename,
   condition  dtext254,
 
   CONSTRAINT rp2_pk_domain_class PRIMARY KEY (id),  
   CONSTRAINT rp2_fk_domain_class_domainkey FOREIGN KEY (domainkey)
     REFERENCES rp2_domain (id)
     ON DELETE CASCADE
     ON UPDATE CASCADE
 )
 CREATE TABLE rp2_clog (
   domainkey
   basekey
   rec_num
   obj_id UNIQUE
   obj_class
   obj_subtype 
   obj_state
   logged
 
   PRIMARY KEY (domainkey, basekey, rec_num)
 )
 CREATE TABLE rp2_clog_arch (
   basekey
   rec_num
   obj_id
   obj_class
   obj_subtype 
   obj_state_arch
   logged
 )

[править] Контроль активности БД

[править] Организация пользовательского интерфейса

В начальный момент времени мы имеем одну базу данных. В будущей схеме репликации эта база будет являться ЦБД.

  1. Мы начинаем с определения списка баз.
  2. Определяем список доменов и распределяем базы по доменам.
  3. Далее, распределяем классы по доменам.
  4. Создаем файлы УБД для распределения их по филиалам.
  5. Создаем метаданные ЦБД.

[править] Вопросы

  1. Как на УБД будет хранится статус активности для каждого домена?
  2. Как на ЦБД будет хранится статус активности для каждого домена?
  3. Как определяется принадлежность конкретного объекта домену?
  4. Как будут распространятся изменения через ЦБД до всех УБД, входящих в домен?
  5. Как осуществляется нумерация изменений в рамках каждого домена?
  6. Как осуществляется репликация элементов множеств?

[править] Примечания

Персональные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты