StackOverflowレピュテーション分布でGiniインデックスを計算しようとしていますか？

11

SOデータエクスプローラーを使用してSOレピュテーション分布のGiniインデックスを計算しようとしています。私が実装しようとしている方程式はこれです：ここで：=サイト上のユーザー数。=ユーザーのシリアルID（1-1,225,000）; =ユーザー評判。

G (S) = \frac{1}{n - 1} (n + 1 - 2 (\frac{\sum_{i = 1}^{n} (n + 1 - i) y_{i}}{\sum_{i = 1}^{n} y_{i}}))

$G(S)=\frac{1}{n-1}\left(n+1-2\left(\frac{\sum^n_{i=1}(n+1-i)y_i}{\sum^n_{i=1}y_i}\right)\right)$

n

$n$

i

$i$

y_{i}

$y_i$

i

$i$

これは私がそれを実装した方法です（ここからコピーされます）：

DECLARE @numUsers int
SELECT @numUsers = COUNT(*) FROM Users
DECLARE @totalRep float
SELECT @totalRep = SUM(Users.Reputation) FROM Users
DECLARE @giniNominator float
SELECT @giniNominator = SUM( (@numUsers + 1 - CAST(Users.Id as Float)) * 
                              CAST(Users.Reputation as Float)) FROM Users
DECLARE @giniCalc float
SELECT @giniCalc = (@numUsers + 1 - 2*(@giniNominator / @totalRep)) / @numUsers
SELECT @giniCalc

私の結果は（現在）-0.53ですが、意味がありません。それがどのようにマイナスになる可能性があるのかさえわかりません。また、abs値でさえ、不平等は1に非常に近いと予想されていました。あなたがそれを持っているほど成長します。

知らず知らずのうちに、レピュテーション/ユーザーの分布に関するいくつかの仮定を無視していますか？

何が悪いのでしょうか？

gini

— ヨッサル
ソース

あなたは正しいですが、なぜこれが計算に影響を与えるのかわかりませんか？

— ヨッセル2012

3

あなたの質問は、Giniインデックスの性質と計算についてであり、SQLでそれを実装する方法についてではないと思います（私が間違っている場合は修正してください）。後者の場合、これをSOに移行する必要があります。私の想定を続けて、SEデータサイトからコードをコピーしましたが、SQLをうまく読み込めない可能性がある人のために、疑似コードでコードを書き直すこともできます。

— ガン-モニカを復活させる

@gungありがとう-SQLの実装ではなく、計算について質問します。私はそれを疑似コードで

— 書き直し

1

SQLで計算する方法は次のとおりです。

with balances as (
    select '2018-01-01' as date, balance
    from unnest([1,2,3,4,5]) as balance -- Gini coef: 0.2666666666666667
    union all
    select '2018-01-02' as date, balance
    from unnest([3,3,3,3]) as balance -- Gini coef: 0.0
    union all
    select '2018-01-03' as date, balance
    from unnest([4,5,1,8,6,45,67,1,4,11]) as balance -- Gini coef: 0.625
),
ranked_balances as (
    select date, balance, row_number() over (partition by date order by balance desc) as rank
    from balances
)
SELECT date, 
    -- (1 − 2B) https://en.wikipedia.org/wiki/Gini_coefficient
    1 - 2 * sum((balance * (rank - 1) + balance / 2)) / count(*) / sum(balance) AS gini
FROM ranked_balances
GROUP BY date
ORDER BY date ASC
-- verify here http://shlegeris.com/gini

説明はこちらhttps://medium.com/@medvedev1088/calculating-gini-coefficient-in-bigquery-3bc162c82168

— medvedev1088
ソース

12

私はSQLコードを簡単に読むことはできませんが、もしそれが役立つなら、もし私がジニ係数を計算するつもりなら、これは私がやろうとすることです（平易な英語で）。

$n$ $x$
ソート $x$
$x$
$n$ $x$ $n \times \sum$
$1-(1/n)$
出来上がり！

私は、Gini係数を計算するためのR関数（ineqパッケージ内）の非常に単純なコードからこれらの手順を実行しました。参考までに、そのコードは次のとおりです。

> ineq::Gini
function (x) 
{
    n <- length(x)
    x <- sort(x)
    G <- sum(x * 1:n)
    G <- 2 * G/(n * sum(x))
    G - 1 - (1/n)
}
<environment: namespace:ineq>

それはあなたのSQLコードにいくらか似ていますが、私が言ったように、私はそれを本当に簡単に読むことができません！

— smillig
ソース

どうもありがとうございました！仕分け部分が抜けました！それは多くを説明します...

— ヨッセル

素晴らしい。値が何か知りたいので、計算したらコメントを残してください。

— smillig 2012

さて、値を集計すると（つまり、1、3、または5ポイントの10人の場合、ランクは3つだけあります（1：3、2：5、3：10）。そのスコアで）*スコア*（スコアのランク）-0.98を取得しました。しかし、私は確かにどのように私の小さなショートカット効果ジニ規模じゃない

— yossale

3 \times 2

$3 \times 2$

4 \times 3.5

$4 \times 3.5$

4

G = \frac{2}{μ n (n - 1)} \sum_{i \neq j} | x_{i} - x_{j} |

$G = \frac 2{\mu n(n-1)}\sum_{i\neq j} |x_i - x_j|$

μ

$\mu$

x

$x$

— StasK
ソース

1

提供された方程式に基づいて、@ smillig回答に追加します。

SELECT something AS x into #t FROM sometable
SELECT *,ROW_NUMBER() OVER(ORDER BY x) AS i INTO #tt FROM #t
SELECT 2.0*SUM(x*i)/(COUNT(x)*SUM(x))-1.0-(1.0/COUNT(x)) AS gini FROM #tt

私のテストセットに私を与えた：

0.45503253636587840

RのineqライブラリGini（x）と同じです。

— クリス
ソース

; WITH AS（SELECT CAST（income AS FLOAT）AS x FROM #data）、tt AS（SELECT *、ROW_NUMBER（）OVER（ORDER BY x）AS i FROM t）SELECT 2.0 * SUM（x * i）/（ COUNT（x）* SUM（x））-1.0-（1.0 / COUNT（x））AS gini FROM tt

— Chris