基尼系数近似计算：sql （hive）实现 简单高效

select * from gini;

-- gini为table名称。

-- gini中的100个数据如下，字段名为wealth。

/*
346,  559,  198,  420,  39,  709,  225
,  731,  708,  369,  519,  46,  48,  446
,  117,  127,  905,  652,  528,  832,  217
,  536,  942,  608,  37,  802,  422,  884
,  746,  959,  759,  397,  245,  83,  542
,  907,  128,  933,  740,  506,  458,  830
,  874,  570,  914,  592,  585,  574,  636
,  462,  86,  321,  174,  238,  670,  690
,  456,  918,  70,  801,  695,  908,  57,  497
,  605,  334,  265,  255,  235,  199,  739,  81
,  131,  68,  229,  602,  390,  571,  733,  440
,  528,  409,  222,  55,  876,  606,  906,  549
,  487,  552,  796,  454,  301,  914,  635,  304,  503,  688,  631,  705
*/

-- 计算基尼系数时候先进行cumsum或者是先进行分组都可以。
-- 这里由于over函数计算cumsum的特殊性，先进行分组。

-- 这里显示的是分成9组
-- 9出现在两个地方：第二行，最后的计算公式中，还有就是出现在ntile之后，分成9组的时候。
-- 第二行中：计算最后的结果时候，跟推导出来的公式有所补桶。外面的sum之前多做了一个处理，减掉了1。
-- 而且上面的文章中也提到：分成了n组的情况下，1至n-1的w是需要加和的，而第n的w是不加入计算的。
-- 这是因为最后一个样本数据的cumsum是占全部的样本的总和的100%，这个数据需要去掉。
-- cum_sum_1和cum_sum_2的结果是相同的，目前简单的数据上如此，复杂之后可能不是，需要确认。
-- 在样本数量不能被分组数量整除的时候，ntile的处理，可以搜索一下hive是怎么做的。

select 
(1 - (1/9) * (2*(sum(cum_sum_1)/sum(bar_sum) - 1) + 1))
from
(
select bar
, sum(wealth) as bar_sum
-- 即使bar_sum最后不需要用，也不能省略，下面的cum_sum的生成需要它，不然会报错。
-- , sum(sum(wealth)) over (order by bar rows between unbounded preceding and current row) as cum_sum_2
, sum(sum(wealth)) over(order by bar) as cum_sum_1
from
(
select wealth
, ntile(9) over (order by wealth) as bar
-- 分成9组
from gini
) a
group by bar
order by bar
limit 1000
) b
;



-- 一些结果

100组
0.310964174
-- 这个跟使用相同数据，在python上精确的求曲线下方面积的结果是相等的。
-- 可见我的另一片使用pyhton计算基尼系数的文章。

20组
0.31025484587225693

9组
0.300356286353766