Лучший способ документировать сопоставления базы данных для миграции [закрыто]

Я работаю над проектом, который включает отображение элементов базы данных для миграции, и я хотел знать, какие инструменты другие использовали для этого?

Excel - очень гибкий способ документировать простые сопоставления, но мне было интересно, есть ли у кого-то конкретная методология, которой они следовали, или другие инструменты, которые они используют, которые они могли бы порекомендовать?

Наиболее распространенный способ сделать это Excel, но у него есть свои недостатки:

• Очень сложно обновить электронную таблицу, если изменяется какая-либо из сторон миграции (из-за того, что чего-то не хватает, что-то меняется и т. Д.)
• Люди сложнее использовать Excel, чтобы реализовать правила, описанные в нем.
• Отслеживание изменений практически невозможно, если над документом сотрудничают несколько человек.

Я предпочитаю использовать функции происхождения данных инструментов моделирования данных, таких как ER / Studio, ERwin или PowerDesigner, чтобы отслеживать преобразования, необходимые для перехода из одного хранилища данных в другое. Я получаю все преимущества RE и сравниваю с источником и целью, а также ни с одним из компромиссов, упомянутых выше. Это действительно имеет значение.

Если вы пытаетесь задокументировать сопоставления данных, то, вероятно, простейший подход - это электронная таблица, хотя она не подходит ни для чего, кроме сопоставления 1: 1. Несколько подходов:

Excel: вы можете использовать электронную таблицу для сопоставлений, особенно там, где они просты. Если ваши базы данных не являются изоморфными (то есть они не имеют отображения 1: 1 для всех интересующих вас полей), то документирование отображения может быть немного более сложным. Если различия незначительны, вы все равно можете задокументировать это в электронной таблице, добавив примечания к полям, где сопоставление является более сложным.

Инструмент CASE с пользовательской метамоделью Год или два назад я создал расширенную метамодель и несколько связанных скриптов для Sparx Enterprise Architect. Это позволило мне настроить схематическое представление отображений, и у него было несколько примитивов моделирования, которые позволяли документировать преобразования.

Обратите внимание, что для этого требуется немного программирования - и некоторое время, чтобы изучить COM API, представленный EA, и, возможно, модель хранилища. Однако не все так непрозрачно - намного проще, чем модель репозитория в (например) Oracle Designer.

Если у вас действительно сложное задание по переносу данных, вы можете написать сценарии, которые запрашивают модель, чтобы убедиться (например), что у вас нет не отображенных элементов. Генератор отчетов репозитория также достаточно гибок в отношении того, что вы можете включить в отчет - у меня не было особых проблем с получением настраиваемых отчетов из него, которые выполняли большую часть того, что я хотел. Вы также можете писать вещи, которые извлекают данные из модели и выгружают их (например) в электронную таблицу.

Диаграммы, включая пользовательские элементы модели (в EA есть функция определения формы и коннектора), также могут быть созданы для графического обзора спецификации миграции.

Ценность этого подхода заключается в том, что вы можете автоматизировать некоторые элементы управления в документах по миграции и проверить, что у вас есть полный охват всего, что вам нужно. Например, вы также можете включить ссылки на требования к данным в модель хранилища и использовать специально помеченные ссылки между ними и моделями данных источника или назначения.

Инструменты ETL. Если у вас есть доступ к одному из лучших в своем роде инструментов ETL, таких как Informatica Powercentre, вы можете настроить сопоставления там. Некоторые инструменты ETL довольно самодокументированы, и вы также можете использовать этот инструмент для выполнения миграции. Служба SSIS выполнит сопоставление, но это не является самодокументированием таким образом.

Что вам действительно нужно , так это инструмент CASE с уже настроенной метамоделью для сопоставлений. К сожалению, я не знаю о таком продукте.

Я бы предложил использовать SQL Power Doc от kendalvandyke. Это лучший бесплатный инструмент, который делает довольно приличную документацию по SQL Server и Windows с помощью Windows PowerShell. ЭТО доступно в codeplex.

SQL Power Doc представляет собой набор сценариев и модулей Windows PowerShell, которые обнаруживают, документируют и диагностируют экземпляры SQL Server и их базовые конфигурации ОС и компьютеров Windows. SQL Power Doc работает со всеми версиями SQL Server от SQL Server 2000 до 2012 года, а также со всеми версиями Windows Server и потребительских операционных систем Windows от Windows 2000 и Windows XP до Windows Server 2012 и Windows 8. SQL Power Doc также способен документировать Windows Azure SQL Базы данных.

У меня был успех с использованием SQL Doc Red Gate . Он прост в настройке и дает хорошую документацию. Однако, если вы ищете что-то с графическим представлением таблиц и представлений и как они связаны, я не могу вам помочь.

По моему опыту, ни одно из готовых приложений, которые я пробовал, не предоставляет достаточно полезной информации. На мой взгляд, мы моделируем и храним информацию почти обо всем ценном на предприятии. Являются ли сами данные менее ценными, чем другие активы предприятия? Тогда почему мы не документируем наши данные так же, как мы документируем другие наши активы? «Репозиторий метаданных» не дает точного описания того, что действительно необходимо, потому что он рисует картину множества определений и структур, которые «сидят там» в основном неиспользованными, что не должно иметь место. «Применение метаданных» - гораздо лучший термин.

Я бы смоделировал ваши метаданные так, как вы моделируете ваши другие данные: подумайте, как вы хотите их использовать, создайте модель данных метаданных или «метамодель», создайте структуры аналогичной схемы, заполните таблицы, используйте данные. Тогда вы сможете не только документировать свои метаданные, но и сможете анализировать их, обнаруживать проблемы и даже делать прогнозы.

Благодаря моему личному опыту работы с гигантской организацией здравоохранения, где данные о множестве плательщиков и провайдеров поступают из разных источников, становится действительно непростой задачей документировать и отображать их с помощью электронной таблицы Excel. Нам рекомендовали сделать POC нашим директором AnalytiX Mapping Manager (www.analytixds.com)кого он встретил на конференции. Мы использовали пример реального использования, и результаты были выдающимися. Решение на 100% основано на метаданных, доступных через веб-браузер. Мы использовали его на уровне предприятия. Он сканирует и систематизирует метаданные из широкого спектра баз данных, моделей данных, плоских файлов и неструктурированных данных, а также выявляет зависимости восходящего и нисходящего потоков с помощью своего анализа воздействия и происхождения данных. Графический интерфейс пользователя удобен благодаря простому пользовательскому интерфейсу Drag / Drop для создания спецификаций отображения. Мы не только создаем отображение и документирование, но также автоматически генерируем задания ETL для инструментов Informatica и SSIS ETL, используемых внутри компании. Вы можете легко импортировать устаревшие электронные таблицы и применять стандарты сопоставления с помощью встроенных настраиваемых шаблонов сопоставления и иметь полный контроль версий.