ブール値を決定できない場合の対処方法

企業向けのWebアプリケーションを構築していますが、これまでは管理がExcelシートにのみ存在していました。ほぼ完了しましたが、最近、これらのシートからすべてのデータを新しいシステムにインポートするタスクを割り当てられました。システムはJavaで構築されていますが、このインポートは一度だけなので、代わりにPythonでスクリプトを記述し、SQLクエリで直接インポートすることにしました。ここに問題があります。新しいデータモデルには、既存のデータに含まれていないいくつかの新しい属性が含まれています。ほとんどの場合、これは問題ではなく、情報が見つからない場所にnullを置くだけです。しかし、その後、いくつかの属性に遭遇しました。これらの属性はブール値であり、デフォルトではNULLにはできません。最初に、データベース内のこれらのフィールドにnullを許可しようとしましたが、シニア開発者から許可しないように指示されました。将来的にシステムで問題が発生する可能性があるためです。そして今、私は何をすべきかよく分からない。明らかな解決策は、すべての不明なブール値をfalseにデフォルト設定することですが、それも間違っていると思います。

例：hasRadioパラメーターを持つエンティティCarがあるとします。ここで、このデータモデルにデータをインポートする必要がありますが、データには「Model」列と「Color」列のみがあり、無線の有無は関係ありません。設計上nullにできない場合、「hasRadio」列に何を入れますか？

この状況での最善のアプローチは何ですか？不足しているデータを手動で入力するように会社に伝える必要がありますか？または、デフォルトでfalseになっていますか？

これは主に要件分析の問題であり、重要なデータが「ブール」であるという事実とは何の関係もありません。データベースまたは他の種類のデータストレージのテーブルを初期化する必要があり、一部の列の入力が不完全な場合、最初にシステムのユーザーまたは顧客が正しいデフォルト値だと思うものを見つける必要がありますこれらの列については、すべての属性についてこれを見つける必要がありますが、一般的に正しい答えはありません。

これは通常、次のいずれかの場合につながります。

• 特定の列には適切なデフォルト値があります。ユーザーが値が最初にすべてのレコードで同じであるかどうかは気にしません。必要に応じて後で正しい値を簡単に設定できます

• 他の情報から理想的なデフォルト値を決定するルールがあるので、このルールをコードに入れることができます

• ユーザーまたは顧客は、データベースにインポートされる前に、入力データを拡張し、欠損値を（おそらく手動で）提供します

• 特定の列やレコードに適切なデフォルト値がない場合、データもインポートする必要がありますが、ユーザーは特定の値がすでに初期化されているレコードとそうでないレコードを知りたいです。そのため、後で値を入力し、値がすでに正しく設定されているレコードと設定されていないレコードを追跡できます。

最後のケースでは、初期化されていない状態または不明な状態を表すためにNULLのようなものが必要です。ブール値であっても、シニアがそれを好むか好まない場合です。特定の列にNULL値を使用することを禁じる不明瞭な技術的理由がある場合は、追加のブール列（などhasRadioIsUnknown）を導入するか、3代わりに、ブールの-valued列挙（のようなHasNoRadio=0、HasRadio=1、Unknown=2）。しかし、徹底的な要件分析を行った後、そのような回避策が本当に必要であることを確認するために、あなたの先輩にもう一度話してください。

これは技術的な質問ではありません。それはビジネスルールの質問です。だから、あなたは「ビジネス」を尋ねる必要があります。

製品所有者および/または利害関係者にアプローチし、次のように言います。

アプリケーションでリクエストしたフィールドの1つについて不完全なデータがあります。デフォルト値を使用しますか？有効な値として「不明」を追加しますか？または、インポート前にチームの誰かにデータを修正してもらいたいですか？

おそらく議論が続くでしょう。しかし、それは基本的にそれです。技術的なソリューションは、より具体的なビジネスルールから自然に流れます。

一般的な問題は、データ統合と呼ばれるより大きなサブエリアの一部であるデータクレンジングと呼ばれるプログラミングのサブエリア全体です。こうした種類の問題を回避することが、Excelシートからの移行の理由の大部分である可能性が高く、上級開発者がフィールドをNULL可能にしたくない理由です。これがデータ移行の複雑さの大きな原因の1つであると言っても不合理ではないと思います。

ちょうどあなたができた非常に多くの可能性があるときは常にNULLを使用することを選択間違っおろか、まだ多くのNULL可能フィールドにするために、データモデルを変更し、実行すること。Excelには、これらの問題の多くの原因である可能性がある整合性チェックが弱いか、まったくありません。間違った方法は、新しいデータベースの整合性チェックを削除し、ガベージをダンプすることです。これは問題を永続させるだけであり、無意味なデータを何らかの形で処理しなければならない将来の統合を大幅に複雑にします。

違いの一部は、データモデルの不一致が原因である可能性があります。これに対処するには、主に両方のデータモデルに（親密に）精通し、古いモデルを新しいモデルにマッピングする方法を知っている必要があります。新しいものが古いものをキャプチャできる限り。（そうでない場合、チームにはおそらく非常に大きな問題があります。）これは、単に列をコピーするよりも多くの作業を行う必要がある場合があります。Darkwingは、これの優れた例を示しています（同様に、盲目的にNULLを挿入するのが間違っている理由と同様に）。古いモデルが持っていた場合、それにエラボReceivedDateとInProgressビットと新しいモデルがありStartDateとProcessingEndTime、あなたがして設定する方法かどうかを判断する必要がありますProcessingEndTime。使用方法に応じて、合理的な（ただし任意の）選択肢は、StartDate （または、それが問題を引き起こす場合、その後すぐに）。

ただし、違いの一部は、存在するはずのデータが欠落または破損しているためと考えられます。（データ入力エラーまたはデータ処理システムの過去の移行やバグの処理が不十分である可能性が高い。）チームの誰もこれを予想していなかった場合、（集合的に）プロジェクトの時間の20％を費やすように設定しているほとんど」完了。（それは構成された数でしたが、それは遠くなる可能性がありますそれより悪い、または良い。それは、データがどれだけ間違っているか、それがどれだけ重要か、どれだけ複雑か、データの責任者から関与するのがどれだけ簡単か、そしてその他の要因に依存します。）ありますが、欠落しています。通常は、古いデータソースにクエリを実行して、問題の範囲を特定しようとします。数十または数百のエントリの場合、おそらくデータ入力エラーであり、データの責任者は手動で解決する必要があります（つまり、値がどうあるべきかを教えてください）。数百万のエントリ（またはデータのかなりの部分） 、「あるべき」と正しく認識したかどうかを再検討する必要があるかもしれません。これは、新しいシステムのモデリングエラーを示している可能性があります。

たとえば、数量とアイテムごとの合計（ただし、単価ではない）を含む請求書を想像してください。ただし、数量の一部は不可解に欠落していました。そのような請求書を処理する人と話すと、次のシナリオの1つ（またはそれ以上）が生成される可能性があります。1）「ああ、空の量は1の量を意味する」、2）「ああ、明らかに、これは2の注文です。3）「それが起こったとき、この他のシステムで価格を調べて割って丸めます」、4）「別のシステムで調べます」、5）「実際のデータではありません"、6）"これまで見たことがない "。

提案されているように、これは状況を自動的に解決するいくつかの方法を示すことができますが、すべての場合に解決策が適用されることに注意する必要があります。データをクロスチェックできる他のシステムが関与することは一般的であり、これは良いことです。しかし、クロスチェックを実行するためにこれらのシステムにアクセスして統合するのが困難な場合、それはしばしば悪いことであり、データが欠落しているだけでなく、システムが互いに競合していることがしばしば明らかになります。多くの場合、手動による介入が必要であり、規模によっては、データクレンジングタスク専用のツールとインターフェイスを作成する必要があります。多くの場合、データは部分的にインポートされますが、データが欠落している行は別のテーブルに送信され、そこで確認できます。

データモデルを変更します。

hasradioを正規化すると、nullがなくなります。

ブール値を決定できない場合は、ブール値を使用しないでください。

ブール値をnullにできるようにすることで、ブール値になるのを止めます。ブール値には、False、Trueの2つの状態があります。

必要なのは、False、True、Unknownの3つの状態です。

データモデルを変更するオプションはありますか？

（そして、私が考えたもう一つのことは、pythonまたはjavaでデータベースからデータを取得する場合です。レコードを取得し、hasradioフィールドをチェックします。trueまたはfalseであり、nullである場合はどうなりますか？）

他の人が指摘したように、ここにあるのは真のブール値ではないブール値であり、問​​題はそれを強制的にブール値にするか、そうでなければそれを処理することです。

あなたができることは、単一のブール結果を持つ代わりに、2つのブール結果を持つことです。これらは同意することも同意しないこともあります。彼らが同意すれば、あなたは簡単な真/偽の結果になります。

ただし、両者が同意しない場合、結果は不確定になり、発生する状況に応じて、その処理方法を決定する機会があります。最も安全なオプションに従って、不確定な結果が真であると最もよく解釈される場合もあれば、同じ不確定な結果が偽であると最もよく解釈される場合もあります。

ただし、これにより、結果が不定として報告される可能性があるため、値の最終的な解決とリセットが可能になるまで、値のこの追加のニュアンスは完全には失われません。