Как выяснить различия в содержании между двумя таблицами SQL и произвести синхронизацию SQL

Как узнать различия в данных между двумя таблицами, которые имеют точную схему, и как создать SQL синхронизации для получения результатов объединения (без дубликатов)?

Это 2 таблицы:

SOURCE01.dbo.Customers (31,022 rows)

TARGET01.dbo.Customers (29,300 rows)

Схема каждой таблицы:

• [CustomerId] : nvarchar(255)
• [CustomerSerializedProfile]: nvarchar(max)
• [CreatedDatetime] : DateTime

Кроме tablediff и powershell, упомянутых в предыдущих ответах, вы также можете использовать SQL с оператором UNION ALL, чтобы найти записи, которые не совпадают в 2 идентичных таблицах:

SELECT MIN(TableName) AS TableName
   ,ID
   ,NAME
   ,lastname
   ,Address
   ,City
FROM (
SELECT 'Table A' AS TableName
    ,Customers.id
    ,Customers.NAME
    ,Customers.lastname
    ,Customers.Address
    ,Customers.City
FROM Customers

UNION ALL

SELECT 'Table B' AS TableName
    ,CustomersOld.id
    ,CustomersOld.NAME
    ,CustomersOld.lastname
    ,CustomersOld.Address
    ,CustomersOld.City
FROM CustomersOld
) tmp
GROUP BY ID
   ,NAME
   ,lastname
   ,Address
   ,City
HAVING COUNT(*) = 1
ORDER BY id;

Другой вариант, который вы можете попробовать - использовать Data Compare в самой Visual Studio. Он сравнивает данные в исходной базе данных и целевой базе данных и создает сценарий синхронизации для таблиц, выбранных для синхронизации.

И, наконец, что не менее важно , вы можете использовать инструмент сравнения данных SQL - ApexSQL Data Diff , чтобы установить все параметры синхронизации, сопоставить таблицы и столбцы с разными именами, создать свои собственные ключи для сравнения в графическом интерфейсе. Вы можете запланировать его запуск без присмотра, и все, что вам нужно сделать, это проверить историю заданий SQL Server утром. Если вам нужны дополнительные сведения об этих параметрах, я рекомендую прочитать эту статью: http://solutioncenter.apexsql.com/automatics-compare-and-synchronize-sql-server-data/

Несколько удивительно, что никто не упомянул, что это встроено в SQL Server Data Tools. Хотя функциональность является базовой по сравнению с Redgate, например.

Некоторые подробности в разделе Сравнение и синхронизация данных в одной или нескольких таблицах с данными в справочной базе данных.

Использование нативных инструментов:

tablediff : утилита tablediff сравнивает данные в исходной таблице с таблицей в целевой таблице.

powershell: сравнить объект позволяет вам достичь этого. вот хороший пример

третья сторона:

Redgate схема и сравнение данных. Вы даже можете использовать powershell и схемы / данные сравнения для автоматизации вещей.

Я использовал этот недавно для аналогичной цели:

select
    s.*
    ,t.*
from SOURCE01.dbo.Customers as s
full outer join TARGET01.dbo.Customers as t
    on s.CustomerId = t.CustomerId
where s.CustomerSerializedProfile <> t.CustomerSerializedProfile
or s.CreatedDatetime <> t.CreatedDatetime
or s.CustomerId is NULL
or t.CustomerId is NULL;

Он полагается на согласованность первичного ключа. Но вы должны иметь что-то последовательное в конце концов. Мета-сценарий для генерации кода, подобного описанному выше, относительно прост в написании и позволяет легко сравнивать таблицы с несколькими столбцами.

Что касается синхронизации, вам нужно будет source left join targetи target left join sourceзатем решить, что вы хотите сделать с результатом каждого.

Это должно дать вам различия между двумя таблицами, затем вы можете заключить это в запрос вставки, чтобы поместить различия из A в B или наоборот.

SELECT A.CustomerId, A.CustomerSerializedProfile, A.CreatedDatetime
  FROM SOURCE01.dbo.Customers A
 WHERE NOT EXISTS (SELECT B.ID
                 FROM TARGET01.dbo.Customers
                WHERE B.CustomerId= A.CustomerId
                  AND B.CustomerSerializedProfile= A.CustomerSerializedProfile
                  AND B.CreatedDatetime= A.CreatedDatetime)

Один из наших бесплатных инструментов имеет полный интерфейс для TableDiff:

http://nobhillsoft.com/Diana.aspx

Кроме того, проверьте наш инструмент сравнения БД. Это единственный, который сравнивает неограниченное количество данных (ни один из других не может сделать миллионы и миллионы записей) ... при условии, что вы сравниваете два связанных сервера

http://nobhillsoft.com/NHDBCompare.aspx

(мы видели другие ссылки в этой теме на сторонние продукты, поэтому мы считаем, что стоит упоминать наши ... пожалуйста, дайте нам знать, если это не так)

Если обе таблицы имеют одинаковые первичные ключи, вы можете использовать приведенную ниже стратегию для сравнения исходной и целевой таблиц: (я пометил столбцы составного ключа звездочкой)

with src as (select someCol1*, 
                    someCol2*, 
                    someCol3, 
                    someCol4, 
                    someCol5
             from src_table),

tgt as (select someCol1NameCouldDiffer* as someCol1, 
               someCol2*, 
               someCol3, 
               someCol4, 
               someCol5
        from tgt_table),

--Find which keys have at least 1 non-key column difference:

diffs as (select someCol1, 
                 someCol2 
          from (select all 5 columns 
                from src 
                **union** 
                select all 5 columns 
                from target ) 
           **group by** someCol1, someCol2 
           **having count(*)>1** 

--Reselect all columns you wish to compare from src union target, 
--joining on the keys from "diffs" above to show only records which 
--have data differences.

select * 
from (select all 5 columns 
      from src 
      union 
      select all 5 cols 
       from tgt) t1 
join diffs on t1.someCol1 = diffs.someCol1 
           and t1.someCol2 = diffs.someCol2 
**order by ** someCol1, someCol2 desc

Это работает, потому что union неявно возвращает разные записи. Таким образом, для любой данной строки (идентифицируемой некоторым ключом) в источнике, который вы ожидаете, точно совпадет с целью, вы ожидаете, что объединение src и target возвратит 1 строку для любого данного ключа. Таким образом, вы можете использовать приведенную выше стратегию, чтобы выяснить, какие ключи возвращают результат объединения с несколькими строками, а затем снова запросить цель объединения src (на этот раз только выбирая записи, имеющие различия, соединяясь с таблицей diff), выбирая все столбцы, которые вы хотите сравните, упорядочив по столбцам, составляющим ключ, и вы увидите, какие именно столбцы не совпадают. Обратите внимание, что имена столбцов в источнике и цели не обязательно должны совпадать, так как они могут быть связаны друг с другом с помощью оператора «как».

Для того, чтобы найти различия между двумя одинаковыми таблицами

SELECT *
FROM SOURCE01.dbo.Customers

UNION

SELECT *
FROM TARGET01.dbo.Customers

КРОМЕ

SELECT *
FROM SOURCE01.dbo.Customers

INTERSECT

SELECT *
FROM TARGET01.dbo.Customers


Порядок операций приводит к тому, что сначала выполняется INTERSECT, что даст вам набор данных только из строк, которые существуют в обеих таблицах. Во-вторых, выполняется UNION, который дает вам все строки из обеих таблиц без дубликатов. Наконец, выполняется EXCEPT, который удаляет из вашего UNION (все строки обеих таблиц) набор данных INTERSECT, который является строками в обеих таблицах. Это оставляет вам набор данных, содержащий только те строки, которые существуют в одной из таблиц, но отсутствуют в другой. Если ваш набор данных возвращается пустым, то между таблицами все строки одинаковы.



https://docs.microsoft.com/en-us/sql/t-sql/language-elements/set-operators-except-and-intersect-transact-sql

У меня была похожая проблема, и я использовал команду SQL EXCEPT для ее решения. Команда EXCEPT принимает два оператора SELECT и возвращает строки, которые возвращаются первым оператором SELECT (слева), а не вторым (правым) оператором SELECT.

SELECT * from table1 where x,y,z 
EXCEPT
SELECT * from table2 where a,b,c

PS: схема для обеих таблиц, возвращаемых оператором SELECT, должна совпадать.

Для большей наглядности посетите страницу учебных пособий здесь

/*
Compare master table data on 2 servers (
1. Change server name
2. Set RaceDate (@racedate) with the >, < ,= >= operator 
 before you run)

 --KNOWN ISSUES
 1. Tables need PKs

*/
SET NOCOUNT ON

--Destination Server Details
DECLARE @destServ nvarchar(40)='[sql\inst23]'    --required             -- If local instance, leave the string empty 
DECLARE @destdb nvarchar(40)='DBName'         --required        
DECLARE @destSchema nvarchar(40)='dbo'        --required        
DECLARE @destTable  nvarchar(40)='TableName'    --required      

-- Source Server Details
DECLARE @SourServ nvarchar(40)='[sql\inst07]'   --required      
DECLARE @Sourdb nvarchar(40)='DBonRemoteServer'  --required     
DECLARE @SourSchema nvarchar(40)='dbo'          --required      
DECLARE @SourTable  nvarchar(40)='TableName'      --required                                -- TableName format 'MyTable'

DECLARE @WHERE nvarchar(400) = 'WHERE 1=1'

DECLARE @Clause nvarchar(400)= 'AND Id > 201808201500000'       --Choose a Predicate to limit data --Start with AND . e.g: 'AND Date > ''20180801'' '

SELECT @WHERE = @WHERE + @Clause

DECLARE @randomtablesuffix nvarchar(5)
SELECT @randomtablesuffix= SUBSTRING(CAST(NEWID() as nvarchar(255)),1,5)


declare @v nvarchar(max), @sql nvarchar(max), @retval nvarchar(max) , @ParamDef nvarchar(400)

--GET Columns List as varchar Columns for HASHBYTES to compare
SELECT @sql='SELECT @vv= COALESCE(@vv,'''')+''CAST(ISNULL(''+ COLUMN_NAME  + '',0) as VARCHAR(''+ 
        CASE WHEN DATA_TYPE IN (''varchar'',''nvarchar'') THEN CAST(CHARACTER_MAXIMUM_LENGTH as varchar(5)) ELSE ''60 '' END +'')) + ''
from '+ @destdb + '.INFORMATION_SCHEMA.COLUMNS where TABLE_NAME='+ QUOTENAME(@destTable,'''') + ''

SET @ParamDef = N'@vv nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @vv=@v OUTPUT;

SELECT @v= SUBSTRING(@v,0,LEN(@v))

--Keys to JOIN
DECLARE @pkeylistJoinOUT nvarchar(4000)=''
SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + '' a.''+ QUOTENAME(COLUMN_NAME) + ''=b.''+ QUOTENAME(COLUMN_NAME) + '' AND'' 
    FROM '+@destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]
    WHERE TABLE_NAME='+ QUOTENAME(@destTable,'''') + ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUT OUTPUT;  

SELECT @pkeylistJoinOUT = REPLACE(REPLACE(REVERSE( SUBSTRING(REVERSE(@pkeylistJoinOUT), CHARINDEX(']', REVERSE(@pkeylistJoinOUT)), LEN(@pkeylistJoinOUT)) ),']',''),'[','')


--Get Column List 

DECLARE @ColumnListOut nvarchar(max)=''
SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''') + COLUMN_NAME + '',''  FROM '+@destdb +'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@destTable,'''')+ ' ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOut OUTPUT;  


SET @ColumnListOut=SUBSTRING(@ColumnListOut,0,LEN(@ColumnListOut))

--Now Compare

SELECT @sql='

SELECT a.* INTO ##_destissues'+@randomtablesuffix+' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '

--print @sql

exec (@sql)


SELECT @sql='

SELECT b.* INTO ##_sourceissues'+@randomtablesuffix+ ' FROM (
SELECT HASHBYTES (''SHA2_512'','+ @v +')HashVal,'+ @ColumnListOut +' FROM '+@destServ+'.'+@destdb+'.'+@destSchema+'.'+@destTable + ' x WITH (NOLOCK) ' + @WHERE + '
)a 
JOIN (
SELECT HASHBYTES (''SHA2_512'','+@v +')HashVal,'+ @ColumnListOut + ' FROM ' +@SourServ +'.'+ @Sourdb+ '.'+@SourSchema+'.'+ @SourTable +' y WITH (NOLOCK)  ' + @WHERE + '
)
b ON '+@pkeylistJoinOUT + ' AND  a.HashVal <> b.HashVal '


exec (@sql)

--Get Column List for Pivoting
DECLARE @ColumnListOutasVC nvarchar(max)=''

SET @sql='SELECT  @ColumnList=ISNULL(@ColumnList,'''')+  ''CAST(''+ COLUMN_NAME + '' AS VARCHAR(200)) as ''+ COLUMN_NAME + '',''   FROM ' + @destdb+'.[INFORMATION_SCHEMA].[COLUMNS] WHERE TABLE_NAME='+QUOTENAME(@desttable,'''')


SET @ParamDef = N'@ColumnList nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @ColumnList=@ColumnListOutasVC OUTPUT;  

SET @ColumnListOutasVC=SUBSTRING(@ColumnListOutasVC,0,LEN(@ColumnListOutasVC))

--Get PKs as VARCHAR Values

DECLARE @pkeylistJoinOUTVC nvarchar(4000)=''

SET @sql='SELECT @pkeylistJoin = ISNULL(@pkeylistJoin,'''') + ''CAST(''+COLUMN_NAME + '' as varchar(200)) as '' + COLUMN_NAME + ''1,''  FROM '+ @destdb+'.[INFORMATION_SCHEMA].[KEY_COLUMN_USAGE]   WHERE TABLE_NAME='+QUOTENAME(@destTable,'''') + '  ORDER BY ORDINAL_POSITION'

SET @ParamDef = N'@pkeylistJoin nvarchar(max) OUTPUT'
EXEC sp_executesql @sql, @ParamDef, @pkeylistJoin=@pkeylistJoinOUTVC OUTPUT;    
SET @pkeylistJoinOUTVC=SUBSTRING(@pkeylistJoinOUTVC,0,LEN(@pkeylistJoinOUTVC))
--SELECT @pkeylistJoinOUTVC





SET @sql='
select  * INTO ##_destissuedetail'+@randomtablesuffix+ ' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_destissues'+ @randomtablesuffix+ '
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)


SET @sql='
select  * INTO ##_sourceissuedetail'+@randomtablesuffix+' from(
select '+ @pkeylistJoinOUTVC + ', ' + @ColumnListOutasVC
                + '
from 
##_sourceissues'+ @randomtablesuffix+'
)c UNPIVOT
(
Vals for ColNames in ('+@ColumnListOut+')
) d'

EXEC( @sql)

SELECT 'Tables to look for data are ##_destissuedetail'+@randomtablesuffix +' and  ##_sourceissuedetail ' +@randomtablesuffix

SET @sql='
SELECT * FROM ##_destissuedetail'+@randomtablesuffix+ '
EXCEPT
SELECT * FROM ##_sourceissuedetail' +@randomtablesuffix

EXEC (@sql)

Сценарий (если он предоставлен с соответствующими подробностями) сравнивает 2 таблицы (скажем, Клиенты на сервере1 и Клиенты на сервере2).

Этот сценарий будет полезен, если вы сравниваете таблицу со многими столбцами, но изо всех сил пытаетесь найти точный несоответствующий столбец.

У меня есть таблица с 353 столбцами, и мне пришлось сравнить ее с другой таблицей и найти значения, которые не совпадают, и этот скрипт поможет вам найти точный кортеж.

Я думаю, что вы должны попробовать xSQL Data Compare , который поможет вам в вашем случае. Скажем, например, что вы указываете

SOURCE01.dbo.Customers as the **left table** and
TARGET01.dbo.Customers as the **right table**

После сравнения таблиц в результате сравнения вы можете указать, что вы хотите синхронизировать только отличия от левой таблицы, что приведет к созданию сценария SQL для вставки в TARGET01.dbo.Customers всех строк, которых нет в этой таблице, но существует в SOURCE01.dbo.Customers (достижение результата UNION без дубликатов). Надеюсь это поможет!

Раскрытие информации: я связан с xSQL.