全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

300亿行数据去重计数有什么好的方案推荐吗？

提问者：帅平问题分类：数据库

300亿行数据去重计数结果约30亿行（10亿行每天，需要统计30天中某一列的去重计数）有什么好的方案推荐吗？

Doris

发布于：1年前 (2023-08-16) IP属地：四川省

1 个回答

踏尽风雪

转成bitmap字段，求交集。如果需要去重的字段是uuid这种，那么建议使用hash64，使用hash32碰撞很高。

发布于：1年前 (2023-08-16) IP属地：四川省

我来回答