週次データシリーズ間のトランザクションを決定するためのアルゴリズム？

私は小さなレポートツール（sqliteバックエンド）を開発しようとしています。このツールは「トランザクション」元帳として最もよく説明できます。私がやろうとしていることは、毎週のデータ抽出からの「トランザクション」を追跡することです。

• 「新規」（または追加）- 抽出によって表示されていないため、アプリがこのリソースを以前に追跡していない可能性があるため、リソースはアプリにとって新しいものです。
• 「更新」（またはヒット）-そのリソースが最近使用されており、保存期間がもう1週間更新されています。
• 「削除」（またはドロップ）-このアイテムは、前回のレポート以降、使用されていません（オプションですが、リソースの需要の週ごとの変化をグラフ化するには便利です）。

私が持っているのは、私が制御できないレガシーのアーカイブ/レコード管理システムからの毎週のデータ抽出（パイプ区切りのフラットファイル）だけです。

各行は基本的にこれに蒸留することができます：
resource_id | resource info | customer_id | customer_info

サンプルデータ：

10| Title X       | 1 | Bob
11| Another title | 1 | Bob
10| Title X       | 2 | Alice

目標は、（最後のヒットに基づいて）Xか月間使用されていないリソースについて簡単にレポートできるようにすることです。リソースが人気がある場合、アクセスを容易にするためにリソースが保持される保持期間があります。18か月間使用されていないリソースは、他の場所で長期アーカイブ用にマークされています。

これは一般的な問題です。データセット間で何が新しい/同じ/削除されたかを判断するための汎用アルゴリズムがあるかどうか（dbと最新の抽出）

さてあなたの答えは...はい。他に必要なものを必要としない、実装可能な単純なアルゴリズムがあります。これは正味現在価値アルゴリズムです。実装は簡単であり、DB側で必要なことは、週ごとのデータに日付スタンプを付けて、1つの単純なクエリと1つの小さな再帰関数またはforループを作成すること、または他のソリューションの1つを実行することです。

NPV = PV-（PV（CP / T）または新しい現在価値は、現在価値×現在の期間（最後のエントリからの月数）を期間（例：18か月）で割った値で、リソース値が0になると、正味現在価値になります。費やされています。

あなたが私に欲しい言語を私に与えたら、私は編集でここにコードを投稿します

とにかくSQLiteバックエンドで更新を保持している場合は、毎週の更新を新しいテーブルに変換し、それをマージする前にクエリでアーカイブデータと比較できます。

SQLを使用してテーブルへの新しい追加を見つける例：https : //stackoverflow.com/questions/2077807/sql-query-to-return-differences-between-two-tables

DBのフィールドにトランザクションの日付が格納されている場合、過去18か月間にトランザクションがあったすべてのユーザーにクエリを実行できます。その場合、アーカイブは完全なDBです。または、まだアクセスしていないすべてのユーザーにクエリを実行し、データを抽出してから削除することもできます。更新は、今週にタイムスタンプが付けられた任意の行です。

代替案：

1. トランザクションのリストを配列などのある種のデータ構造に解析します。（C ++では、VectorJava ではと考えてくださいArrayList。）

2. などのSQLバックエンドでクエリを実行しSELECT DISTINCT customer_id FROM Transactions ORDER BY customer_id、並べ替えられた個別の顧客IDをセットにパックしoldます。WHERE古いトランザクションと新しいトランザクションを区切る句でまったく同じことを行う場合は、ステップ3をスキップできます。

3. 新しい更新から一意の顧客IDを、ソートされた順序で別のデータ構造に取得します。データ構造を取得するために使用できるデータ構造がいくつかありますnew。二重リンクリストへの挿入ソートは非常に簡単ですが、中間ハッシュテーブルを使用すると、線形時間に近い速度で実行されます。あるいは、元の配列をソートする場合は、セットを簡単に取得できます。

4. セットの違いを取るnew- oldあなたの好きな言語の標準ライブラリを使用して。あなたの好きな言語の標準ライブラリにはこのアルゴリズムがありますか？

トランザクションデータベースを更新した後、他に行うことは間違いなくSQLクエリです。

ステップ3に関する注意：データの性質を考慮してください。テキストファイルに注文が時系列でリストされており、通常の週に、customer_id昇順で新しいものを与えられる初めての顧客がたくさんいるとします。他のほとんどの注文が少数の忠実なリピート顧客からであり、が低いと仮定しcustomer_idます。次に、入力はすでにほとんどソートされています。customer_idダブルリンクされたリストの前にローを挿入customer_idし、後ろにハイを挿入しようとする挿入ソートは、その状況では実際にうまく機能します。

私はあなたの質問から理解できるように、実際にはresource_id（+ info）とcustomer（id + info）の「リスト」を持っています。

したがって、リソースごとの顧客のリストを簡単に保持し、リソースの各リストの最後のノードを確認できます（最後の操作時間を知るために、コードで顧客に日付フィールドを追加するだけです）

私は、SQLに精通していないよ、それゆえ私は私の例を与えるHashMapとリストが、私は確信して、それは同じ考えですよ：HashMap <Resource, List<Customer>>、ときResourceキーとしてRESOURCEIDが含まれている必要があり、Customer顧客ID、情報及び操作の日付が含まれている必要があります。

このアイデアにより、前回の操作時間を簡単に把握し、任意のリソースを変更できます（リソースの追加\削除\顧客）。

SqLiteデータベースを使用している場合、バッチの日付をテーブルの列としても追加すると、

10| Title X       | 1 | Bob    | 2015-03-01
11| Another title | 1 | Bob    | 2015-03-01
...............................
10| Title X       | 1 | Alice  | 2015-03-05

SQLを使用して、過去X日間に使用されなかったリソースを取得するのはかなり簡単です。

Select distinct r.ResourceID from Resources r
where not exists (SELECT julianday('now') - julianday(r.DateUpdated)) < X

私はSQLをテストしていませんが、それはあなたにアイデアを与えるはずです

元の投稿から、取り込んでいるデータにはトランザクションの日付/時刻を示すフィールドがないようですが、ファイルは毎日、毎時などのスケジュールで頻繁に取り込まれていると思います。

これを処理するには、データベースレベルで自動生成されるSQLタイムスタンプ列を追加するか、データを抽出してDBに挿入するコードを使用します。次に、そのタイムスタンプ列にインデックスを配置し、それで完了です。DBエンジンに、「今回から発生していないトランザクションの数」または「今回からその時間までの間に発生したトランザクションの数」という質問に効率的に答える仕事をさせましょう。

次に、レポートする差分をクエリして計算するジョブをスケジュールします。「新規」のトランザクションとは、「新規」を要求する日付より前のDBにレコードがないトランザクションです。古いレコードとは、締切日以降にトランザクションがないレコードです。

これはHashTablesの目的ではありませんか？過去数か月間に使用されたリソースのレコードを保持し、過去18か月にアクセスされなかったリソースを削除するだけの場合は、キーがresource_idで値がHashTableであるHashTableを使用できます。最終アクセス日。

18か月を超えるレコードをアーカイブするには、ハッシュテーブル内のすべてのレコードを調べ、それらの特定のレコードを削除（または移動）するだけです。（レポートが届いたら、毎週行うことができます）