C++大数据的读写
2024-10-20 16:17:05
当一个文件1G以上的这种,使用内存文件映射会提高读写效率;
下边时段出自《windows核心编程》,读取一个大文件,然后统计里边字符出现次数的函数:
__int64 CountOs(void)
{
// Get system granularity
SYSTEM_INFO sinf;
GetSystemInfo(&sinf); // open the data file
HANDLE hFile = CreateFile(TEXT("C:\\1.TXT"), GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_EXISTING, FILE_FLAG_SEQUENTIAL_SCAN, NULL); // create the file-mapping object.
HANDLE hFileMapping = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL); DWORD dwFileSizeHight;
__int64 qwFileSize = GetFileSize(hFile, &dwFileSizeHight);
qwFileSize += (((__int64)dwFileSizeHight) << 32); // we no longer need access to the file object's handle.
CloseHandle(hFile); __int64 qwFileOffset = 0, qwNumOf0s = 0; while (qwFileSize > 0)
{
DWORD dwBytesInBlock = sinf.dwAllocationGranularity;
if (qwFileSize < sinf.dwAllocationGranularity)
dwBytesInBlock = (DWORD)qwFileSize;
PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping, FILE_MAP_READ, (DWORD)(qwFileOffset >> 32), (DWORD)(qwFileOffset & 0xFFFFFFFF), dwBytesInBlock); // count the number of 0s in this block.
for (DWORD dwByte = 0; dwByte < dwBytesInBlock; dwByte++)
{
if (pbFile[dwByte] == 'r')
qwNumOf0s++;
} // unmap the view; we don't want multiple views
// in our address space.
UnmapViewOfFile(pbFile); // skip to the next set of bytes in the file.
qwFileOffset += dwBytesInBlock;
qwFileSize -= dwBytesInBlock;
} CloseHandle(hFileMapping);
return qwNumOf0s;
}
如果是往里边写数据就用 memcpy把数据考入pbFile指向的内存。还有就是把读标志该成写标志;
最新文章
- [Sass]不同样式风格的输出方法
- bzoj4591 【Shoi2015】超能粒子炮&#183;改
- VMWare虚拟机设置固定ip上网方法
- Spark源码学习1.2——TaskSchedulerImpl.scala
- Qt for Android开发Android应用时的各种错误汇总(此片博文不成熟,请大家略过)
- ubuntu和win7 64双系统 安装
- div背景图片叠加
- 黄聪:WordPress 的 Hook 机制与原理(add_action、add_filter)
- CPPUTest 单元测试框架(针对 C 单元测试的使用说明)
- 第一步 django的下载安装
- nodejs学习:sails框架的学习
- Android Studio错误
- 将apk文件添加到Android模拟器(AVD)中运行
- CSS3的基础知识点
- .NET技术+25台服务器怎样支撑世界第54大网站
- linux内核IDR机制详解【转】
- FFmpeg 常用指令集合
- 1. RNN神经网络模型原理
- 记一次揪心的MySQL数据恢复过程
- .Net Discovery 系列之七--深入理解.Net垃圾收集机制(拾贝篇)