MongoDBを使用する場合、ページビューなどを作成するための特別なパターンはありますか?古い投稿に戻ることができる最新の10件の投稿をリストしたブログを言います。
または、blogpost.publishdateなどのインデックスを使用して解決し、スキップして結果を制限しますか?
MongoDBを使用する場合、ページビューなどを作成するための特別なパターンはありますか?古い投稿に戻ることができる最新の10件の投稿をリストしたブログを言います。
または、blogpost.publishdateなどのインデックスを使用して解決し、スキップして結果を制限しますか?
回答:
パフォーマンスが問題になる場合、またはコレクションが大きい場合、skip + limitを使用することはページングを行うための良い方法ではありません。ページ番号を増やすと、だんだん遅くなります。スキップを使用するには、サーバーが0からオフセット(スキップ)値までのすべてのドキュメント(またはインデックス値)をウォークスルーする必要があります。
最後のページの範囲値を渡す範囲クエリ(+制限)を使用することをお勧めします。たとえば、「publishdate」で並べ替える場合は、最後の「publishdate」値をクエリの基準として渡すだけで、次のページのデータを取得できます。
考えられる解決策:IDまたは一意の値でのみ並べ替えることができるかどうかを考えて、設計を単純化してみてください。
そして、可能であれば、範囲ベースのページングを使用できます。
一般的な方法は、sort()、skip()、limit()を使用して、上記のページングを実装することです。
{ _id: { $gt: ... } }
たとえば、カスタム順序を使用すると、単に機能しません.sort(...)
。
これは、コレクションが大きくなりすぎて1つのクエリで返すことができない場合に使用したソリューションです。_id
フィールドの固有の順序を利用して、指定されたバッチサイズでコレクションをループすることができます。
これはnpmモジュール、mongoose-pagingとして、完全なコードは以下のとおりです。
function promiseWhile(condition, action) {
return new Promise(function(resolve, reject) {
process.nextTick(function loop() {
if(!condition()) {
resolve();
} else {
action().then(loop).catch(reject);
}
});
});
}
function findPaged(query, fields, options, iterator, cb) {
var Model = this,
step = options.step,
cursor = null,
length = null;
promiseWhile(function() {
return ( length===null || length > 0 );
}, function() {
return new Promise(function(resolve, reject) {
if(cursor) query['_id'] = { $gt: cursor };
Model.find(query, fields, options).sort({_id: 1}).limit(step).exec(function(err, items) {
if(err) {
reject(err);
} else {
length = items.length;
if(length > 0) {
cursor = items[length - 1]._id;
iterator(items, function(err) {
if(err) {
reject(err);
} else {
resolve();
}
});
} else {
resolve();
}
}
});
});
}).then(cb).catch(cb);
}
module.exports = function(schema) {
schema.statics.findPaged = findPaged;
};
次のようにモデルに添付します。
MySchema.plugin(findPaged);
次に、次のようにクエリします。
MyModel.findPaged(
// mongoose query object, leave blank for all
{source: 'email'},
// fields to return, leave blank for all
['subject', 'message'],
// number of results per page
{step: 100},
// iterator to call on each set of results
function(results, cb) {
console.log(results);
// this is called repeatedly while until there are no more results.
// results is an array of maximum length 100 containing the
// results of your query
// if all goes well
cb();
// if your async stuff has an error
cb(err);
},
// function to call when finished looping
function(err) {
throw err;
// this is called once there are no more results (err is null),
// or if there is an error (then err is set)
}
);
範囲ベースのページングは実行可能ですが、クエリを最小化/最大化する方法について賢明である必要があります。
余裕がある場合は、クエリの結果を一時ファイルまたはコレクションにキャッシュしてみてください。MongoDBのTTLコレクションのおかげで、結果を2つのコレクションに挿入できます。
両方を使用すると、TTLが現在の時刻に近い場合に部分的な結果が得られないことが保証されます。結果を保存するときに単純なカウンターを利用して、その時点で非常に単純な範囲クエリを実行できます。
これは、公式のC#ドライバーを使用して(がゼロベースの場合)、User
ドキュメントの順序のリストを取得する例です。CreatedDate
pageIndex
public void List<User> GetUsers()
{
var connectionString = "<a connection string>";
var client = new MongoClient(connectionString);
var server = client.GetServer();
var database = server.GetDatabase("<a database name>");
var sortBy = SortBy<User>.Descending(u => u.CreatedDate);
var collection = database.GetCollection<User>("Users");
var cursor = collection.FindAll();
cursor.SetSortOrder(sortBy);
cursor.Skip = pageIndex * pageSize;
cursor.Limit = pageSize;
return cursor.ToList();
}
すべてのソートおよびページング操作はサーバー側で実行されます。これはC#の例ですが、他の言語のポートにも同じことが当てはまると思います。
// file:ad-hoc.js
// an example of using the less binary as pager in the bash shell
//
// call on the shell by:
// mongo localhost:27017/mydb ad-hoc.js | less
//
// note ad-hoc.js must be in your current directory
// replace the 27017 wit the port of your mongodb instance
// replace the mydb with the name of the db you want to query
//
// create the connection obj
conn = new Mongo();
// set the db of the connection
// replace the mydb with the name of the db you want to query
db = conn.getDB("mydb");
// replace the products with the name of the collection
// populate my the products collection
// this is just for demo purposes - you will probably have your data already
for (var i=0;i<1000;i++ ) {
db.products.insert(
[
{ _id: i, item: "lamp", qty: 50, type: "desk" },
],
{ ordered: true }
)
}
// replace the products with the name of the collection
cursor = db.products.find();
// print the collection contents
while ( cursor.hasNext() ) {
printjson( cursor.next() );
}
// eof file: ad-hoc.js