Python list 数组 4 千万个元素去重、处理

不是，你也说一下你每条数据多大啊，每条数据 1kb 和每条数据 10mb 当然不一样

既然 4 千万个元素能放进数组里，说明你内存就够用，去重就是了，就看算法对内存的使用和耗费的 cpu 时间了。

4kw 个 int，160M，可以直接放内存。
设计一个分布尽可能均匀的散列函数（这一步不太确定我不是搞数学的。瞎拍一个 md5(obj)//4kw 的算法不知道效果怎么样？）
遍历每个 obj 求 hash，把 obj 的 index 放在对应的桶里。
如果桶里已有元素（ hash 冲突），单独放在另一个冲突列表里。
对于冲突列表里的每个冲突 hash，遍历并精确对比每个 obj，从源数据集删除完全相同的 obj。

稍微注意一下 getObj(index)的 O(1)复杂度，理论上可以应对任意量的数据了。

@ipwx #8 只替换最后一步

%timeit np.unique(arr)
11.4 s ± 401 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

https://stackoverflow.com/questions/39033565/how-to-remove-duplicates-of-huge-lists-of-objects-in-python 先贴过来 还没看

看看 bitmap

@mggis0or1 bitmap 对于非数字型的元素无法支持, 还是用布隆过滤器吧

你这水平，处理什么都会崩溃
自己不会试验吗
要问人，又不说清楚细节

讨论这么多写个代码就这么难吗也没几行啊

想在内存跑的话，简单直接暴力的就是用 set, 推荐布隆过滤器；每个元素比较大的话可以考虑 mr，spark 或者其他分布式计算框架

首先你要清楚数据的特征啊 整形？浮点数？短字符串？超长字符串？数据分布？重复概率？这些都会影响去重的效率！！！
V2EX √
动手实践 ×

bloomfilter ?

@Takamine excel 最大 100 万条记录吧。

bitmap+1

试试 numpy 吧，python list 遍历会检查类型，每次都会。

@flyingghost #23
你这个就是 Hash Table 的思想，getObj(index) 是 O(1)，但是求一遍 hash 还是得 O(n) 啊。

天天 4 千万，和每月，每年是有区别的。
但是，其实也没多大区别

Bloom Filter

list(set(item))

 粗略的感觉,耗时不到一秒... 也可能不到 0.5.