Может ли кто-нибудь помочь мне сравнить эти запросы и объяснить, почему запрос PostgreSQL выполняется менее чем за 2000 мс, а совокупный запрос MongoDB занимает почти 9000 мс, а иногда и 130 тыс. Мс?
PostgreSQL 9.3.2 on x86_64-apple-darwin, compiled by i686-apple-darwin11-llvm-gcc-4.2 (GCC) 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2336.9.00), 64-bitЗапрос PostgreSQL
SELECT locomotive_id,
SUM(date_trunc('second', datetime) - date_trunc('second', prevDatetime)) AS utilization_time
FROM bpkdmp
WHERE datetime >= '2013-7-26 00:00:00.0000'
AND datetime <= '2013-7-26 23:59:59.9999'
GROUP BY locomotive_id
order by locomotive_idMongoDB Query
db.bpkdmp.aggregate([
{
$match : {
datetime : { $gte : new Date(2013,6,26, 0, 0, 0, 0), $lt : new Date(2013,6,26, 23, 59, 59, 9999) }
}
},
{
$project: {
locomotive_id : "$locomotive_id",
loco_time : { $subtract : ["$datetime", "$prevdatetime"] },
}
},
{
$group : {
_id : "$locomotive_id",
utilization_time : { $sum : "$loco_time" }
}
},
{
$sort : {_id : 1}
}
])И таблица PostgreSQL, и коллекция MongoDB индексируются по datetime: 1 и locomotive_id: 1
Эти запросы тестируются на iMac с гибридным диском объемом 2 ТБ и 16 ГБ памяти. Я получил сопоставимые результаты на компьютере с Windows 7 с 8 ГБ памяти и 256 ГБ SSD.
Спасибо!
** Обновление: после публикации моего вопроса я публикую результаты EXPLAIN (BUFFERS, ANALYZE)
"Sort (cost=146036.84..146036.88 rows=19 width=24) (actual time=2182.443..2182.457 rows=152 loops=1)"
" Sort Key: locomotive_id"
" Sort Method: quicksort Memory: 36kB"
" Buffers: shared hit=13095"
" -> HashAggregate (cost=146036.24..146036.43 rows=19 width=24) (actual time=2182.144..2182.360 rows=152 loops=1)"
" Buffers: shared hit=13095"
" -> Bitmap Heap Scan on bpkdmp (cost=12393.84..138736.97 rows=583942 width=24) (actual time=130.409..241.087 rows=559529 loops=1)"
" Recheck Cond: ((datetime >= '2013-07-26 00:00:00'::timestamp without time zone) AND (datetime <= '2013-07-26 23:59:59.9999'::timestamp without time zone))"
" Buffers: shared hit=13095"
" -> Bitmap Index Scan on bpkdmp_datetime_ix (cost=0.00..12247.85 rows=583942 width=0) (actual time=127.707..127.707 rows=559529 loops=1)"
" Index Cond: ((datetime >= '2013-07-26 00:00:00'::timestamp without time zone) AND (datetime <= '2013-07-26 23:59:59.9999'::timestamp without time zone))"
" Buffers: shared hit=1531"
"Total runtime: 2182.620 ms"** Обновление: Монго объяснить:
Объясните из MongoDB
{
"serverPipeline" : [
{
"query" : {
"datetime" : {
"$gte" : ISODate("2013-07-26T04:00:00Z"),
"$lt" : ISODate("2013-07-27T04:00:08.999Z")
}
},
"projection" : {
"datetime" : 1,
"locomotive_id" : 1,
"prevdatetime" : 1,
"_id" : 1
},
"cursor" : {
"cursor" : "BtreeCursor datetime_1",
"isMultiKey" : false,
"n" : 559572,
"nscannedObjects" : 559572,
"nscanned" : 559572,
"nscannedObjectsAllPlans" : 559572,
"nscannedAllPlans" : 559572,
"scanAndOrder" : false,
"indexOnly" : false,
"nYields" : 1,
"nChunkSkips" : 0,
"millis" : 988,
"indexBounds" : {
"datetime" : [
[
ISODate("2013-07-26T04:00:00Z"),
ISODate("2013-07-27T04:00:08.999Z")
]
]
},
"allPlans" : [
{
"cursor" : "BtreeCursor datetime_1",
"n" : 559572,
"nscannedObjects" : 559572,
"nscanned" : 559572,
"indexBounds" : {
"datetime" : [
[
ISODate("2013-07-26T04:00:00Z"),
ISODate("2013-07-27T04:00:08.999Z")
]
]
}
}
],
"oldPlan" : {
"cursor" : "BtreeCursor datetime_1",
"indexBounds" : {
"datetime" : [
[
ISODate("2013-07-26T04:00:00Z"),
ISODate("2013-07-27T04:00:08.999Z")
]
]
}
},
"server" : "Michaels-iMac.local:27017"
}
},
{
"$project" : {
"locomotive_id" : "$locomotive_id",
"loco_time" : {
"$subtract" : [
"$datetime",
"$prevdatetime"
]
}
}
},
{
"$group" : {
"_id" : "$locomotive_id",
"utilization_time" : {
"$sum" : "$loco_time"
}
}
},
{
"$sort" : {
"sortKey" : {
"_id" : 1
}
}
}
],
"ok" : 1
}
performance
mongodb
postgresql
Майк А
источник
источник
EXPLAIN (BUFFERS, ANALYZE)вывода запроса PostgreSQL покажите пожалуйста. Также версия PostgreSQL. (Я проголосовал, чтобы переместить это в dba.SE){datetime: 1, prevdatetime: 1}должен работать лучше, чем текущий индекс, так как mongodb фильтрует по datetime и prevdatetime. Это уменьшит количество документов, которые необходимо отсканировать.Ответы:
Все, что здесь делает PostgreSQL, - это сканирование кучи растровых изображений,
bpkdmp_datetime_ixчтобы найти блоки, которые могут содержать совпадающие строки, а затем сканирование этих блоков, чтобы найти совпадающие строкиbpkdmp. Затем он группирует строки в хэш-блоки, используя хэши ключа группировки, суммирует каждый сегмент и сортирует результаты. Это простой, базовый план запроса - он может работать лучше, если вы кидаетеwork_memв него много, но это может и не так.В этом запросе также нет параллелизма нигде; все это произойдет на одном ядре.
Я могу только предположить, что MongoDB использует менее эффективный метод или не получает соответствующего индекса. Вам нужно будет показать
explainзапрос MongoDB для полезного комментария, чтобы быть возможным; смcursor.explain.источник