ページングを実装する効率的な方法


118

ページングにLINQ Skip()Take()メソッドを使用するか、SQLクエリを使用して独自のページングを実装する必要がありますか?

どちらが最も効率的ですか?なぜどちらを選ぶのですか?

SQL Server 2008、ASP.NET MVC、およびLINQを使用しています。


場合によります。どんなアプリに取り組んでいますか?どのような負荷がかかりますか?
BuddyJoe、2009

同様に、この答えに見てみましょう:stackoverflow.com/a/10639172/416996を
Õzbek

このも見てくださいaspsnippets.com/Articles/...
フランクMyat木

回答:


175

疑問に簡単に答えてくださいskip(n).take(m)。linqでメソッドを実行する場合(SQL 2005/2008をデータベースサーバーとして使用)、クエリはSelect ROW_NUMBER() Over ...ステートメントを使用します。SQLエンジンでは、なんらかの理由で直接ページングが行われます。

例を挙げますと、dbテーブルが呼び出されmtcity、次のクエリを記述しました(エンティティへのlinqでも機能します)。

using (DataClasses1DataContext c = new DataClasses1DataContext())
{
    var query = (from MtCity2 c1 in c.MtCity2s
                select c1).Skip(3).Take(3);
    //Doing something with the query.
}

結果のクエリは次のようになります。

SELECT [t1].[CodCity], 
    [t1].[CodCountry], 
    [t1].[CodRegion], 
    [t1].[Name],  
    [t1].[Code]
FROM (
    SELECT ROW_NUMBER() OVER (
        ORDER BY [t0].[CodCity], 
        [t0].[CodCountry], 
        [t0].[CodRegion], 
        [t0].[Name],
        [t0].[Code]) AS [ROW_NUMBER], 
        [t0].[CodCity], 
        [t0].[CodCountry], 
        [t0].[CodRegion], 
        [t0].[Name],
        [t0].[Code]
    FROM [dbo].[MtCity] AS [t0]
    ) AS [t1]
WHERE [t1].[ROW_NUMBER] BETWEEN @p0 + 1 AND @p0 + @p1
ORDER BY [t1].[ROW_NUMBER]

これはウィンドウ化されたデータアクセスです(かなりすばらしいですが、ctwは最初からデータを返し、条件が満たされている限りテーブルにアクセスします)。これは次のようになります。

With CityEntities As 
(
    Select ROW_NUMBER() Over (Order By CodCity) As Row,
        CodCity //here is only accessed by the Index as CodCity is the primary
    From dbo.mtcity
)
Select [t0].[CodCity], 
        [t0].[CodCountry], 
        [t0].[CodRegion], 
        [t0].[Name],
        [t0].[Code]
From CityEntities c
Inner Join dbo.MtCity t0 on c.CodCity = t0.CodCity
Where c.Row Between @p0 + 1 AND @p0 + @p1
Order By c.Row Asc

例外として、この2番目のクエリは、データアクセスウィンドウを作成するためにインデックスのみを使用するため、linqの結果よりも高速に実行されます。つまり、何らかのフィルタリングが必要な場合は、フィルタリングはエンティティリスト(行が作成される場所)にある必要があり(ある必要があります)、良好なパフォーマンスを維持するためにいくつかのインデックスも作成する必要があります。

さて、何が良いですか?

ロジックにかなり堅固なワークフローがある場合、適切なSQL方法の実装は複雑になります。その場合、LINQがソリューションになります。

ロジックのその部分を直接SQL(ストアドプロシージャ内)に下げることができる場合は、(インデックスを使用して)先ほど示した2番目のクエリを実装して、SQLで実行プランを生成および保存できるため、さらに優れています。クエリ(パフォーマンスの向上)。


2
いい答えです-ページングを行うには、共通テーブル式が良い方法です。
ジャロッドディクソン

私の質問(stackoverflow.com/questions/11100929/…)を確認していただけませんか?EDMXに追加したSPを作成し、それをlinq-to-entitiesクエリで使用しました。
Misi

2
1、良い答えは、私はあなたが第二の例のパフォーマンス上の利点を説明感謝
コーエン

@Johan:大きなページ番号のオフセットを大幅に上回る、seekメソッドと呼ばれる代替手段があります。
Lukas Eder 2013年

50

使ってみてください

FROM [TableX]
ORDER BY [FieldX]
OFFSET 500 ROWS
FETCH NEXT 100 ROWS ONLY

メモリにロードせずに、SQLサーバーで501から600までの行を取得します。この構文はSQL Server 2012でのみ使用可能になったことに注意してください


これは間違いだと思います。表示されたSQLは、502-601の行を示しています(ゼロインデックスを作成しているのでない限り)
Smudge202

いいえ、501から600の行は取得されません
Volkan Sen

12

LINQ-to-SQLはOFFSET句を生成しますが(おそらくROW_NUMBER() OVER() 他の人が述べたように使用しエミュレートされます)、SQLでページングを実行するためのまったく異なる、はるかに高速な方法があります。これは、このブログの投稿で説明されているように、「シーク方式」と呼ばれることがよくあります

SELECT TOP 10 first_name, last_name, score
FROM players
WHERE (score < @previousScore)
   OR (score = @previousScore AND player_id < @previousPlayerId)
ORDER BY score DESC, player_id DESC

@previousScoreそして@previousPlayerId値は、前のページから最後のレコードのそれぞれの値です。これにより、「次の」ページを取得できます。ORDER BY方向がの場合はASC>代わりに使用します。

上記の方法では、最初に前の40レコードをフェッチしないと、すぐにページ4にジャンプできません。しかし、多くの場合、とにかくそんなにジャンプしたくありません。代わりに、インデックスに応じて、一定の時間でデータをフェッチできるはるかに高速なクエリが得られます。さらに、基礎となるデータが変更されているかどうかに関係なく、ページは「安定」したままです(たとえば、ページ4にいるときにページ1にある)。

これは、たとえば、Webアプリケーションでより多くのデータを遅延ロードするときにページングを実装するための最良の方法です。

「シークメソッド」はキーセットページングとも呼ばれます


5

LinqToSqlは自動的に.Skip(N1).Take(N2)をTSQL構文に変換します。実際、Linqで行うすべての「クエリ」は、実際にはバックグラウンドでSQLクエリを作成するだけです。これをテストするには、アプリケーションの実行中にSQLプロファイラーを実行します。

スキップ/テイクの方法は、私にとっても、私が読んだものからも非常にうまく機能しています。

好奇心から、Linqのスキップ/テイクよりも効率が良いと信じているセルフページングクエリのタイプは何ですか?


4

ストアドプロシージャ内で動的SQLにラップされたCTEを使用します(アプリケーションではデータサーバー側の動的な並べ替えが必要なため)。必要に応じて、基本的な例を提供できます。

LINQが生成するT / SQLを見る機会がありませんでした。誰かがサンプルを投稿できますか?

追加のセキュリティレイヤーが必要なため、LINQやテーブルへの直接アクセスは使用しません(動的SQLがこれをやや壊すことを認めた)。

このようなことがうまくいくはずです。パラメータなどのパラメータ化された値を追加できます。

exec sp_executesql 'WITH MyCTE AS (
    SELECT TOP (10) ROW_NUMBER () OVER ' + @SortingColumn + ' as RowID, Col1, Col2
    FROM MyTable
    WHERE Col4 = ''Something''
)
SELECT *
FROM MyCTE
WHERE RowID BETWEEN 10 and 20'

2
@mrdenny- 提供した例のヒントsp_executesql安全な方法でパラメータを渡すことができますEXECUTE sp_executesql 'WITH myCTE AS ... WHERE Col4=@p1) ...', '@p1 nvarchar(max)', @ValueForCol4。例:この文脈で、それはSQLインジェクションに対して堅牢である手段を確保する-あなたは、変数内のすべての可能な値を渡すことができ@ValueForCol4さえ- '--'、およびクエリは、まだ動作します!
マット

1
こんにちは@mrdenny、代わりにクエリを連結の我々はこのようなものを使用: SELECT ROW_NUMBER() OVER (ORDER BY CASE WHEN @CampoId = 1 THEN Id WHEN @CampoId = 2 THEN field2 END)
エゼキエル

これは、ひどいSQL実行計画を生成する可能性があります。
mrdenny 2012

@mrdenny:大きなページ番号の場合、シークメソッドROW_NUMBER() OVER()オフセットエミュレーションよりもはるかに高速です。参照:4guysfromrolla.com/webtech/042606-1.shtml
Lukas Eder

2

SQL Server 2008の場合:

DECLARE @PAGE INTEGER = 2
DECLARE @TAKE INTEGER = 50

SELECT [t1].*
FROM (
    SELECT ROW_NUMBER() OVER (ORDER BY [t0].[COLUMNORDER] DESC) AS [ROW_NUMBER], [t0].*
    FROM [dbo].[TABLA] AS [t0]
    WHERE ([t0].[COLUMNS_CONDITIONS] = 1)
    ) AS [t1]
WHERE [t1].[ROW_NUMBER] BETWEEN ((@PAGE*@TAKE) - (@TAKE-1)) AND (@PAGE*@TAKE)
ORDER BY [t1].[ROW_NUMBER]

t0はすべてのレコードで、t1はそのページに対応するレコードのみです。


2

私が行っているアプローチは、SQLサーバーが達成できる最も速いページ付けです。500万件のレコードでこれをテストしました。このアプローチは、SQL Serverが提供する「OFFSET 10 ROWS FETCH NEXT 10 ROWS ONLY」よりもはるかに優れています。

-- The below given code computes the page numbers and the max row of previous page
-- Replace <<>> with the correct table data.
-- Eg. <<IdentityColumn of Table>> can be EmployeeId and <<Table>> will be dbo.Employees

DECLARE @PageNumber int=1; --1st/2nd/nth page. In stored proc take this as input param.
DECLARE @NoOfRecordsPerPage int=1000;

 DECLARE @PageDetails TABLE
       (
        <<IdentityColumn of Table>> int,
        rownum int,
        [PageNumber] int
       )           
       INSERT INTO @PageDetails values(0, 0, 0)
       ;WITH CTE AS
       (
       SELECT <<IdentityColumn of Table>>, ROW_NUMBER() OVER(ORDER BY <<IdentityColumn of Table>>) rownum FROM <<Table>>
       )
       Insert into @PageDetails 
       SELECT <<IdentityColumn of Table>>, CTE.rownum, ROW_NUMBER() OVER (ORDER BY rownum) as [PageNumber] FROM CTE WHERE CTE.rownum%@NoOfRecordsPerPage=0


--SELECT * FROM @PageDetails 

-- Actual pagination
SELECT TOP (@NoOfRecordsPerPage)
FROM <<Table>> AS <<Table>>
WHERE <<IdentityColumn of Table>> > (SELECT <<IdentityColumn of Table>> FROM 
@PageDetails WHERE PageNumber=@PageNumber)
ORDER BY <<Identity Column of Table>>

0

これでパフォーマンスをさらに向上させることができます。

From CityEntities c
Inner Join dbo.MtCity t0 on c.CodCity = t0.CodCity
Where c.Row Between @p0 + 1 AND @p0 + @p1
Order By c.Row Asc

この方法でfromを使用すると、より良い結果が得られます。

From   dbo.MtCity  t0
   Inner Join  CityEntities c on c.CodCity = t0.CodCity

理由:CityEntitiesテーブルのwhereクラスを使用しているため、MtCityに参加する前に多くのレコードが削除されるため、100%確実にパフォーマンスが何倍も向上します...

とにかく、rodrigoelpの回答は本当に役に立ちます。

ありがとう


このアドバイスを使用しても、パフォーマンスに影響があるとは思えません。これに対する参照が見つかりませんが、クエリの内部結合順序は実際の結合順序と異なる場合があります。後者は、テーブルの統計と操作コストの見積もりを使用してクエリオプティマイザーによって決定されます。
ImrePühvel2012年

@ImreP:これは実際に、私が説明したseekメソッドに多少対応しているかもしれません。私はわからないんだけどどこ、が、@p0より具体的に@p1から来る
ルーカス・エダー

0

PageIndexを渡すことで、この単純な方法でページングを実装できます

Declare @PageIndex INT = 1
Declare  @PageSize INT = 20

Select ROW_NUMBER() OVER ( ORDER BY Products.Name ASC )  AS RowNumber,
    Products.ID,
    Products.Name
into #Result 
From Products

SELECT @RecordCount = COUNT(*) FROM #Results 

SELECT * 
FROM #Results
WHERE RowNumber
BETWEEN
    (@PageIndex -1) * @PageSize + 1 
    AND
    (((@PageIndex -1) * @PageSize + 1) + @PageSize) - 1

0

2008では、Skip()。Take()を使用できません。

方法は次のとおりです。

var MinPageRank = (PageNumber - 1) * NumInPage + 1
var MaxPageRank = PageNumber * NumInPage

var visit = Visita.FromSql($"SELECT * FROM (SELECT [RANK] = ROW_NUMBER() OVER (ORDER BY Hora DESC),* FROM Visita WHERE ) A WHERE A.[RANK] BETWEEN {MinPageRank} AND {MaxPageRank}").ToList();
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.