使用內(nèi)存映射文件MMF實現(xiàn)大數(shù)據(jù)量導(dǎo)出時的內(nèi)存優(yōu)化（Windows篇）

路人甲Java 2020-04-22

展開全文

前言

導(dǎo)出功能幾乎是所有應(yīng)用系統(tǒng)必不可少功能，今天我們來談一談，如何使用內(nèi)存映射文件MMF進行內(nèi)存優(yōu)化，本文重點介紹使用方法，相關(guān)原理可以參考文末的連接

實現(xiàn)

我們以單次導(dǎo)出一個excel舉例(csv同理)，excel包含1~n個sheet，在每個sheet中存儲的按行和列的坐標在單元格存儲具體數(shù)據(jù)，如果我們要使用MMF，第一個要考慮的就是如何將整個excel合理的存儲到MMF中。這里我們引入MMF兩個對象：

MemoryMappedFile --表示內(nèi)存映射文件

MemoryMappedViewAccessor --表示隨機訪問的內(nèi)存映射文件視圖

使用MemoryMappedFile.CreateNew(string mapName, long capacity)可以得到一個指定名稱和指定大小的內(nèi)存映射文件，以下簡稱mmf
  * 這里需要注意的是capacity為long類型，以字節(jié)為單位，通過計算可知文件大小上限為1G
使用mmf.CreateViewAccessor(long offset, long size)可以得到一個從指定位置開始的指定大小空間的訪問器，以下簡稱accessor
  * 這里同樣需要注意的是size的大小，如果加上offset超過文件大小，會報System.UnauthorizedAccessException: Access to the path is denied.
考慮到數(shù)據(jù)體積和管理成本，這里使用mmf對應(yīng)sheet，使用accessor對應(yīng)一行數(shù)據(jù)
  * 這里有個需要注意的是mmf不能存儲引用類型，包括字符串...，折衷先將string轉(zhuǎn)為char[]然后使用WriteArray方法存儲，考慮到取數(shù)據(jù)的時候同樣需要使用char[]數(shù)組，而數(shù)組必須指定長度，我們將數(shù)組長度和具體數(shù)據(jù)都存起來，這樣取數(shù)據(jù)時候的索引也可以計算出來了

數(shù)據(jù)存儲示例：

這面是具體的實現(xiàn)代碼：

        //添加外部引用防止被自動GCpublic List<MemoryMappedFile> mmfs = new List<MemoryMappedFile>();/// <summary>/// 寫入/// </summary>public void WriteMMF()
        {for(var f = 1; f <= 3; f ++)
            {//每一個File相當于一個excel的一個sheet（一個患者一行）var mmf = MemoryMappedFile.CreateNew($"mmftest{f}", 1024 * 1024 * 1024); //文件大小最大為1Gfor (var row = 0; row < 10; row++)
                {//每一個ViewAccessor相當于excel的一行var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過具體數(shù)據(jù)量計算空間，offset位移為每個size的長度，size為1Mvar index = 0;for (var i = 0; i < 16384; i++)
                    {//相當于一行的每一個cellvar buffer = ASCIIEncoding.UTF8.GetBytes($"測試第{row}行第{i}個單元格~!");var length = buffer.Length;
                        accessor.Write(index, length);
                        accessor.WriteArray(index + 4, buffer, 0, length);
                        index += (length + 4);
                    }
                }
                mmfs.Add(mmf);
            }
        }/// <summary>/// 讀取/// </summary>public void ReadMMF()
        {for (var f = 1; f <= 3; f++)
            {using var mmf = MemoryMappedFile.OpenExisting($"mmftest{f}");for (var row = 0; row < 10; row++)
                {using var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過寫數(shù)據(jù)同時做的記錄控制大小var index = 0;for (var i = 0; i < 16384; i++)
                    {var size = accessor.ReadInt32(index);var buffer = new byte[size];
                        accessor.ReadArray(index + 4, buffer, 0, size);var result = ASCIIEncoding.UTF8.GetString(buffer);
                        Console.WriteLine(result);
                        index += (size + 4);
                    }
                }
            }}