Jaký používáte nástroj na datovou migraci? rubrika: Databáze: SQL

6 eNca
položil/-a 4.7.2013

Občas v práci migrujeme data z jedenoho (cizího) systému do druhého (našeho) systému.

To zpravidla sestává ze třech kroků:

  1. přenos dat na jednotnou platformu (např. z MSSQL do Oracle)
  2. analýza původního datového modelu a namapování příslušných entit a atributů na naše struktury
  3. napsání skriptů, které migraci provedou

Na řešení prvního kroku jsou použitelné nástroje a většinou s tím není problém.

S druhým a třetím krokem už to tak slavné není a řeší se to většinou ručně a pokaždé jinak.
Znáte/používáte nějaký nástroj, který by tu migraci nějak usnadnil?

Představuji si nějaký case nástroj, do kterého bych natáhnul oba datové modely a mohl si tam nadefinovat migrační vazby. Pak bych se na ty vazby mohl podívat buď z pohledu původního datového modelu (a viděl bych, co budu migrovat a která data migrovat nebudu) nebo z pohledu nového datového modelu (a vidím, která data u nás při migraci budu plnit a která ne).

Třešničkou na dortu by mohlo být (polo)automatické vygenerování konverzních skriptů :-)

Máte s něčím podobným zkušenost?
Případně jak vy řešíte datové migrace z cizích systémů?

Komentáře

  • eNca : Update: děkuji za odpovědi. Spousta z nich se zabývá tvorbou samotných skriptů, což jsem ve svém dotazu označil jako "třešničku na dortu". Bylo by to fajn, ale umím bez toho žít. Co mě víc trápí je ta analytická fáze před samotným psaním skriptů a tvorba migrační dokumentace. Tedy než začnu ty skripty psát, tak chci vědět, co kam budu migrovat, že jsem si ze zdrojového systému nezapomněl nic vzít, a že do cílového systému plním vše, co ten systém potřebuje. Tohle jsem myslel tím pohledem ze strany původního datového modelu a/nebo pohledem ze strany cílového datového modelu. Pro představu - jedná se o datové modely, které mají 500-1000 tabulek, přičemž předmětem migrace je obvykle cca polovina z nich. — 8.7.2013
odkaz
7 yedpodtrzitko
odpověděl/-a 5.7.2013

Nastroj, kterym jsem nekolikrat migroval data, byl hodne specificky, ale svemu ucelu poslouzil, protoze to vlastne bylo i cilove misto, kam jsem data potreboval zmigrovat: totiz Django. Ma bindings pro vsechny mozne db enginy, umi vytvorit ORM modely z existujici database a mezi existujicimi modely/databazemi se data pak uz migruji jednoduse. A protoze se to vlastne vsechno deje v pythonu, lze behem migrace dat provadet v pripade potreby ruzne transformace/validace nad ramec moznosti SQL.

Komentáře

  • diverman : Zkus SQLAlchemy, s tim teprv poznas kouzla... — 5.7.2013

Pro zobrazení všech 5 odpovědí se prosím přihlaste:

Rychlé přihlášení přes sociální sítě:

Nebo se přihlaste jménem a heslem:

Zadejte prosím svou e-mailovou adresu.
Zadejte své heslo.

Aktuální otázky v rubrice Databáze: SQL

Otázky uživatele eNca