Djangoビューで2つ以上のクエリセットを組み合わせる方法は？

私は構築しているDjangoサイトの検索を構築しようとしています。その検索では、3つの異なるモデルで検索しています。そして、検索結果リストのページネーションを取得するために、汎用のobject_listビューを使用して結果を表示したいと思います。しかし、そのためには、3つのクエリセットを1つにマージする必要があります。

どうやってやるの？私はこれを試しました：

result_list = []            
page_list = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
article_list = Article.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term) | 
    Q(tags__icontains=cleaned_search_term))
post_list = Post.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term) | 
    Q(tags__icontains=cleaned_search_term))

for x in page_list:
    result_list.append(x)
for x in article_list:
    result_list.append(x)
for x in post_list:
    result_list.append(x)

return object_list(
    request, 
    queryset=result_list, 
    template_object_name='result',
    paginate_by=10, 
    extra_context={
        'search_term': search_term},
    template_name="search/result_list.html")

しかし、これは機能しません。汎用ビューでそのリストを使用しようとすると、エラーが発生します。リストにはクローン属性がありません。

誰が、私は3つのリストをマージする方法を知っていますpage_list、article_listとpost_list？

クエリセットをリストに連結するのが最も簡単な方法です。いずれにしても、データベースがすべてのクエリセットにヒットする場合（たとえば、結果をソートする必要があるため）、これによってコストが増えることはありません。

from itertools import chain
result_list = list(chain(page_list, article_list, post_list))

を使用するitertools.chainとitertools、Cで実装されているため、各リストをループして要素を1つずつ追加するよりも高速です。また、連結する前に各クエリセットをリストに変換するよりもメモリの消費量が少なくなります。

これで、結果リストを日付などで並べ替えることができます（別の回答に対するhasen jのコメントで要求されているとおり）。このsorted()関数はジェネレータを受け取り、リストを返します。

result_list = sorted(
    chain(page_list, article_list, post_list),
    key=lambda instance: instance.date_created)

Python 2.4以降を使用している場合attrgetterは、ラムダの代わりに使用できます。私はそれがより速いことについて読んだことを覚えていますが、私は100万のアイテムリストの顕著な速度の違いを見ませんでした。

from operator import attrgetter
result_list = sorted(
    chain(page_list, article_list, post_list),
    key=attrgetter('date_created'))

これを試して：

matches = pages | articles | posts

クエリセットのすべての機能が保持されているので、必要に応じて、order_byまたは類似した機能を利用できます。

注：これは、2つの異なるモデルのクエリセットでは機能しません。

関連して、同じモデルからのクエリセットを混合するため、またはいくつかのモデルからの類似のフィールドのために、Django 1.11以降、qs.union()メソッドも利用できます。

union()

union(*other_qs, all=False)

Django 1.11の新機能。SQLのUNION演算子を使用して、2つ以上のクエリセットの結果を結合します。例えば：

>>> qs1.union(qs2, qs3)

UNION演算子は、デフォルトで個別の値のみを選択します。値の重複を許可するには、all = True引数を使用します。

union（）、intersection（）、difference（）は、引数が他のモデルのクエリセットであっても、最初のクエリセットのタイプのモデルインスタンスを返します。SELECTリストがすべてのQuerySetで同じである限り、異なるモデルを渡すことができます（少なくとも型、名前は型が同じ順序である限り問題ではありません）。

また、結果のQuerySetでは、LIMIT、OFFSET、およびORDER BY（つまり、スライスとorder_by（））のみが許可されます。さらに、データベースは、結合されたクエリで許可される操作に制限を課します。たとえば、ほとんどのデータベースでは、結合されたクエリでLIMITまたはOFFSETを使用できません。

https://docs.djangoproject.com/en/1.11/ref/models/querysets/#django.db.models.query.QuerySet.union

QuerySetChain以下のクラスを使用できます。Djangoのpaginatorで使用する場合はCOUNT(*)、すべてのクエリセットのクエリとSELECT()、現在のページにレコードが表示されているクエリセットのみのクエリでデータベースにヒットする必要があります。

チェーンされたクエリセットがすべて同じモデルを使用している場合でも、ジェネリックビューでtemplate_name=を使用するかどうかを指定する必要があることに注意してくださいQuerySetChain。

from itertools import islice, chain

class QuerySetChain(object):
    """
    Chains multiple subquerysets (possibly of different models) and behaves as
    one queryset.  Supports minimal methods needed for use with
    django.core.paginator.
    """

    def __init__(self, *subquerysets):
        self.querysets = subquerysets

    def count(self):
        """
        Performs a .count() for all subquerysets and returns the number of
        records as an integer.
        """
        return sum(qs.count() for qs in self.querysets)

    def _clone(self):
        "Returns a clone of this queryset chain"
        return self.__class__(*self.querysets)

    def _all(self):
        "Iterates records in all subquerysets"
        return chain(*self.querysets)

    def __getitem__(self, ndx):
        """
        Retrieves an item or slice from the chained set of results from all
        subquerysets.
        """
        if type(ndx) is slice:
            return list(islice(self._all(), ndx.start, ndx.stop, ndx.step or 1))
        else:
            return islice(self._all(), ndx, ndx+1).next()

あなたの例では、使用法は次のようになります：

pages = Page.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term))
articles = Article.objects.filter(Q(title__icontains=cleaned_search_term) |
                                  Q(body__icontains=cleaned_search_term) |
                                  Q(tags__icontains=cleaned_search_term))
posts = Post.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term) | 
                            Q(tags__icontains=cleaned_search_term))
matches = QuerySetChain(pages, articles, posts)

次に、例で使用matchesしたのと同じようにページネーションを使用result_listします。

このitertoolsモジュールはPython 2.3で導入されたため、Djangoが実行されているすべてのPythonバージョンで使用できるはずです。

現在のアプローチの大きな欠点は、結果を1ページだけ表示するつもりでも、毎回データベースから結果セット全体をプルダウンする必要があるため、検索結果セットが大きくて非効率になることです。

データベースから実際に必要なオブジェクトのみをプルダウンするには、リストではなく、クエリセットでページ分割を使用する必要があります。これを行うと、Djangoはクエリが実行される前に実際にQuerySetをスライスするため、SQLクエリはOFFSETとLIMITを使用して、実際に表示するレコードのみを取得します。しかし、何らかの方法で検索を単一のクエリに詰め込めない限り、これを行うことはできません。

3つのモデルすべてにタイトルフィールドと本文フィールドがある場合、モデル継承を使用しないのはなぜですか？3つのモデルすべてに、タイトルと本文を持つ共通の祖先を継承させ、祖先モデルに対して単一のクエリとして検索を実行します。

多くのクエリセットをチェーンしたい場合は、これを試してください：

from itertools import chain
result = list(chain(*docs))

ここで、docsはクエリセットのリストです。

DATE_FIELD_MAPPING = {
    Model1: 'date',
    Model2: 'pubdate',
}

def my_key_func(obj):
    return getattr(obj, DATE_FIELD_MAPPING[type(obj)])

And then sorted(chain(Model1.objects.all(), Model2.objects.all()), key=my_key_func)

https://groups.google.com/forum/#!topic/django-users/6wUNuJa4jVwから引用。アレックス・ゲイナーを参照してください

これは、2つの方法で実現できます。

これを行う最初の方法

クエリセットのユニオン演算子を使用して|、2つのクエリセットのユニオンを取得します。両方のクエリセットが同じモデルまたは単一のモデルに属している場合は、ユニオン演算子を使用してクエリセットを組み合わせることができます。

インスタンスの場合

pagelist1 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
pagelist2 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
combined_list = pagelist1 | pagelist2 # this would take union of two querysets

これを行う2番目の方法

2つのクエリセット間の結合操作を実現するもう1つの方法は、itertoolsチェーン関数を使用することです。

from itertools import chain
combined_results = list(chain(pagelist1, pagelist2))

要件： Django==2.0.2、django-querysetsequence==0.8

を組み合わせquerysetsてまだで出てくるQuerySet場合は、django-queryset-sequenceをチェックすることをお勧めします。

しかし、それについての1つの注意。querysets引数は2つだけです。しかし、Python reduceでは、常に複数querysetのに適用できます。

from functools import reduce
from queryset_sequence import QuerySetSequence

combined_queryset = reduce(QuerySetSequence, list_of_queryset)

以上です。以下は、私はに走ったと私はどのように使用される状況がありlist comprehension、reduceかつdjango-queryset-sequence

from functools import reduce
from django.shortcuts import render    
from queryset_sequence import QuerySetSequence

class People(models.Model):
    user = models.OneToOneField(User, on_delete=models.CASCADE)
    mentor = models.ForeignKey('self', null=True, on_delete=models.SET_NULL, related_name='my_mentees')

class Book(models.Model):
    name = models.CharField(max_length=20)
    owner = models.ForeignKey(Student, on_delete=models.CASCADE)

# as a mentor, I want to see all the books owned by all my mentees in one view.
def mentee_books(request):
    template = "my_mentee_books.html"
    mentor = People.objects.get(user=request.user)
    my_mentees = mentor.my_mentees.all() # returns QuerySet of all my mentees
    mentee_books = reduce(QuerySetSequence, [each.book_set.all() for each in my_mentees])

    return render(request, template, {'mentee_books' : mentee_books})

ここにアイデアがあります... 3つそれぞれの結果から1ページ分の結果を引き出し、次に20の最も役に立たない結果を捨てます...これは大きなクエリセットを排除し、その結果、多くではなく小さなパフォーマンスのみを犠牲にします

これは他のライブラリを使用せずに作業を行います

result_list = list(page_list) + list(article_list) + list(post_list)

この再帰関数は、クエリセットの配列を1つのクエリセットに連結します。

def merge_query(ar):
    if len(ar) ==0:
        return [ar]
    while len(ar)>1:
        tmp=ar[0] | ar[1]
        ar[0]=tmp
        ar.pop(1)
        return ar