博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用bitmap处理海量数据
阅读量:6035 次
发布时间:2019-06-20

本文共 1871 字,大约阅读时间需要 6 分钟。

bitmap是一个十分实用的结构。所谓的Bit-map就是用一个bit位来标记某个元素相应的Value, 而Key即是该元素。因为採用了Bit为单位来存储数据,因此在存储空间方面,能够大大节省。 
适用范围:可进行数据的高速查找。判重。删除,一般来说数据范围是int的10倍下面
基本原理及要点:使用bit数组来表示某些元素是否存在,比方8位电话号码

扩展:bloom filter能够看做是对bit-map的扩展

问题实例:

1)已知某个文件内包括一些电话号码,每一个号码为8位数字。统计不同号码的个数。
8位最多99 999 999。大概须要99m个bit,大概10几m字节的内存就可以。
2)2.5亿个整数中找出不反复的整数的个数,内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下,用2bit表示一个数就可以,0表示未出现。1表示出现一次,2表示出现2次及以上。

或者我们不用2bit来进行表示,我们用两个bit-map就可以模拟实现这个2bit-map。 

3)利用位图排序,时间复杂度为O(N),空间换时间!!

以下是一个简单的Bitmap的实现:

#include "stdafx.h"#include 
using namespace std;char *g_bitmap = NULL; int g_size = 0; int g_base = 0; //功能:初始化bitmap //參数: size:bitmap的大小。即bit位的个数 // start:起始值 //返回值:0表示失败。1表示成功 int bitmap_init(int size, int start) { g_size = size/8+1; g_base = start; g_bitmap = new char[g_size]; if(g_bitmap == NULL) { return 0; } memset(g_bitmap, 0x0, g_size); return 1; } //功能:将值index的相应位设为1 //index:要设的值 //返回值:0表示失败,1表示成功 int bitmap_set(int index) { int quo = (index-g_base)/8 ; //确定所在的字节 int remainder = (index-g_base)%8; //字节内的偏移 unsigned char x = (0x1<
g_size) return 0; g_bitmap[quo] |= x; //所在字节内的特定位置为1 return 1; } //功能:取bitmap第i位的值 //i:待取位 //返回值:-1表示失败。否则返回相应位的值 int bitmap_get(int i) { int quo = (i)/8 ; int remainder = (i)%8; unsigned char x = (0x1<
g_size) return -1; res = g_bitmap[quo] & x; return res > 0 ?

1 : 0; } //功能:返回index位相应的值 int bitmap_data(int index) { return (index + g_base); } //释放内存 int bitmap_free() { delete [] g_bitmap; return 0; } int _tmain(int argc, _TCHAR* argv[]) { int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100}; int i; bitmap_init(100, 0); for(i=0; i<20; i++) { bitmap_set(a[i]); } for(i=0; i<=100; i++) { if(bitmap_get(i) > 0 ) cout << bitmap_data(i)<< " "; } cout << endl; bitmap_free(); return 0; }

转载地址:http://qwlhx.baihongyu.com/

你可能感兴趣的文章
C++中变量的持续性、链接性和作用域详解
查看>>
2017 4月5日上午
查看>>
Google Chrome开发者工具
查看>>
第一阶段冲刺报告(一)
查看>>
使用crontab调度任务
查看>>
【转载】SQL经验小记
查看>>
zookeeper集群搭建 docker+zk集群搭建
查看>>
Vue2.5笔记:Vue的实例与生命周期
查看>>
论JVM爆炸的几种姿势及自救方法
查看>>
联合体、结构体简析
查看>>
使用throw让服务器端与客户端进行数据交互[Java]
查看>>
java反射与代理
查看>>
深度分析Java的ClassLoader机制(源码级别)
查看>>
微服务架构选Java还是选Go - 多用户负载测试
查看>>
我的友情链接
查看>>
Javascript中的异步如何实现回调
查看>>
halcon算子介绍
查看>>
挖掘你不知道的windowsxp中的带宽潜能
查看>>
Software Engineering 招聘要求
查看>>
【转载】InstallAnyWhere自动化制作安装包的知识
查看>>