关于.net环境下跨进程、高频率读写数据的问题

freewill2001

目录
( \! A5 w$ F; n0 B4 D5 V

' d) i7 V( l. ]! I
• 一、需求背景
  
• 二、没错，第一节写的太多了
  , J3 Y' h" g  b  p, I
• 三、开始写代码了
  % a* Q' D2 C/ p7 O
• 四、真的要贴代码了
  
• 五、差点忘记做成DLL了
  ) L. ^3 b  q8 G* B5 X  w# E
• 六、因为跨线程、进程，所以要考虑加入互斥量哦
  

一、需求背景
: C; e- C# y0 S$ D4 _- R2 @7 a
3 ?: @& S0 F' F$ [/ l* m# g* }1、最近项目要求高频次地读写数据，数据量也不是很大，多表总共加起来在百万条上下。
% S' ~& [2 c% ]3 Y7 e" s  o单表最大的也在25万左右，历史数据表因为不涉及所以不用考虑，
难点在于这个规模的热点数据，变化非常频繁。
; p& h/ s: k/ F" B2 H3 [% w( L数据来源于一些检测设备的采集数据，一些大表，有可能在极短时间内（如几秒钟）可能大部分都会变化，
0 Y, K: O7 _5 e+ `# V而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备，所以要求信息交互时间尽可能短。
2、之前的解决方案是把所有热点数据，统一加载到共享内存里边，到也能够支撑的住（毫秒级的），但是由于系统架构升级，之前的程序（20年前的）不能兼容。
7 i1 D' |! o/ O6 L2 M6 m2 D只能重新写一个，最先想到的是用redis，当时把所有API重写完成后，测试发现效率不行，是的，你没有看错，redis也是有使用范围的。
3、redis读写非常快，但是对于大批量读写操作我觉得支持不够，虽然redis支持批量读写，但是效率还是不够快，
8 [1 s2 f, O% X7 t对于字符串（string）类型的批量读写，我测试过；效率比较好的在每批次200 至 250条之间，处理20万条数据耗时5秒左右, (PC机，8G，4核)
而对于有序集合（sorted set）类型，批量写的操作用起来非常别扭，而且没有修改API（如有其他方式请指教），我测试过，效率没string类型那么高
其他类型不适合我的业务场景，就没考虑使用了
4、所以项目组最后决定还是用回共享内存，先决定在.net环境下使用c#的共享内存，这个功能可能使用的人不多，其实在.net4.0版本就已经集成进来了
在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语，因为里边能用的只有Write、Read这2种方法，而且只是针对字节的操作，
需要非常多的类型转换，非常麻烦！想想，只能以字节为单位去构建一个需要存放百万级数据的内存数据库，得多麻烦？
; N6 M. v( x, y2 K, Z3 m# s4 m5 Z需要手动搞定索引功能，因为要支持各种查询，最后花了一天的时间写完DEMO，最后测试后发现效率并没有很大提高，因为当时加了互斥量测试，
但是离毫秒级差得远。这个技术点有兴趣的可以了解下，园子里有，如：https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html
+ I& w0 B3 Z9 f' r" e7 D
二、没错，第一节写的太多了

; x$ g" D6 ]% U' U6 F" P1 F2 i1、最后分析，这应该是c#语言的瓶颈，c#对于这种骚操作是不那么成熟的。
8 a" f( v& u* G+ Y3 ?% c2、最后瞄来瞄去，决定使用VC开发一个dll，在里边封装对内存数据的读写功能，然后c#调用
% U3 c  Q/ S) Z' }2 n3、本人的C、C++不那么熟、参考了一些实例，比如园子里的：http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html
7 Z0 k3 q; s9 r7 Q) J6 ?, q6 b4、是的，你没有看错，2008年的，我还看到一篇更早的，看来底层开发C、C++那么经久不衰不是没有道理的，很多技术现在都在用
5、看看什么是共享内存

5 K' h! X4 z! j# k; L9 k# `3 n
三、开始写代码了

% }$ q/ o  a' b9 `6 l  X. }1、首先建2个控制台项目，支持MFC，
2、先这样：一个负责创建共享内存，初始化数据
* i! O+ r  T, i3 B# f3、再这样：一个读写数据测试，最后修改
) Q# e0 D) D& j. _0 t( |2 B4、最后修改下图片细节，测试一下，看看效果

5、完成了，see, 是不是很简单呀？都会了吗？
! |1 f* L6 X! w( K4 j, X5 c! H

+ T8 N) D  ~  T7 H# Y
四、真的要贴代码了

1、先定义个枚举返回状态

1. typedef enum{    Success = 0,    AlreadyExists = 1,    Error = 2,    OverSize = 3}enumMemory;

复制代码

2、再定义个结构体用来测试

1. typedef struct{    int        TagID;    char    TagName[32];    int        Area;    double    EngVal;    double    UpdateTime;    double    RawMax;    double    RawMin;    double    RawVal;    char    Name[50];    char    Al;    double    ASTime;    char    MaskState;    double    AMTime;    char    Cf;    char    Tdf;    char    AlarmCode[32];}TENG;

复制代码

3、开始创建共享内存

1. int Create(UINT size)    {        // Data        HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”);        if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE)            return Error;        if (GetLastError() == ERROR_ALREADY_EXISTS)            return AlreadyExists;        // init        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size);        if (mapView == NULL)            return Error;        else            memset(mapView, 0, size);        return Success;    }

复制代码

4、再开始写数据

1. int Write(void *pDate, UINT nSize, UINT offset)    {        // open        HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”);        if (fileMap == NULL)            return Error;        // hander        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize);        if (mapView == NULL)            return Error;        else            WriteDataPtr = mapView;        // write        memcpy(mapView, pDate, nSize);        UnmapViewOfFile(pMapView);        return Success;    }

复制代码

5、开始读数据

1. int Read(void *pData, UINT nSize, UINT offset)    {        // open        HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName());        if (fileMap == NULL)            return Error;        // hander        void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize);        if (pMapView == NULL)            return Error;        else            ReadDataPtr = pMapView;        memcpy(pData, (pMapView, nSize);        UnmapViewOfFile(pMapView);        return Success;    }

复制代码

6、OK了，不复杂，网上都有这些资料，最后我们贴上测试程序

1. int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){    int length = 100000;    CEng * ceng = new CEng();    DWORD dwStart = GetTickCount();    for (int i = 0; i < length; i++) {        TENG eng;        ceng->Read(&eng, ceng->size, ceng->size * i);        eng.EngVal = i;        ceng->Write(&eng, ceng->size, (i*ceng->size));        if (i % 10000 == 0 || i == length - 1)            printf("正在读写的Eng.TagName:%s \n", eng.TagName);    }    printf("总条数%d,耗时:%d 毫秒 \n", length, GetTickCount() - dwStart);    // 验证数据    TENG eng5000;    ceng->Read(&eng5000, ceng->size, ceng->size * 5000);    printf("\n验证数据 \n");    printf("第5000个Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal);    scanf_s("按任意键结束");    return 0;}

复制代码

7、还有写测试程序

1. int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){    int length = 100000;    CEng * ceng = new CEng();    ceng->Create(ceng->size * length);    DWORD dwStart = GetTickCount();    for (int i = 0; i < length; i++)    {        TENG eng;        memset(&eng, 0, ceng->size);        eng.TagID = i;        sprintf_s(eng.AlarmCode, "AlarmCode.%d", i);        sprintf_s(eng.TagName, "TagName.%d", i);        if (i % 10000 == 0 || i == length - 1)            printf("正在写入的Eng.TagName:%s \n", eng.TagName);        ceng->Write(&eng, ceng->size, (i*ceng->size));    }    // print time    printf("写入数据完毕,总条数:%d\n", length);    printf("初始化值共享内存区耗时:%d 毫秒 \n", GetTickCount() - dwStart);    scanf_s("按任意键结束");    return 0;}

复制代码

8、当然得再贴一遍啦
6 p3 B" J: F) M" X' c# {/ u

9 b% I; P1 _& d+ K7 |9 r
: j; B6 P5 U6 Q: f% N0 Y2 T五、差点忘记做成DLL了
8 P8 F. z/ T0 F6 O' Y
- i. ]  U% n/ k9 P! e1、定义外部函数

1. extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset){    return ceng->Read(pData, nSize, offset);}extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset){    return ceng->Write(pData, nSize, offset);}

复制代码

2、好了，VC到此为止，可以去领盒饭了，c#进场

1. public class Lib    {        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]        public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset);        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]        public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset);    }

复制代码

3、c#测试一下

1. static void Main(string[] args)        {            var length = 100000;            var startTime = DateTime.Now;            var size = Marshal.SizeOf(typeof(TEng));            var intPtrOut = Marshal.AllocHGlobal(size);            var intPtrIn = Marshal.AllocHGlobal(size);            for (var i = 0; i < length; i++)            {                Lib.ReadFromSharedMemory(intPtrOut, size, size * i);                var eng = Marshal.PtrToStructure(intPtrOut);                eng.EngVal = i;                Marshal.StructureToPtr(eng, intPtrIn, true);                Lib.WriteToSharedMemory(intPtrIn, size, size * i);                if (i % 10000 == 0)                    Console.WriteLine("eng.TagID:{0}", eng.TagID);            }            Console.WriteLine("总条数{0},耗时:{1} 毫秒", length.ToString(),                (DateTime.Now - startTime).TotalMilliseconds.ToString());            // 验证数据            var intPtr100 = Marshal.AllocHGlobal(size);            Lib.ReadFromSharedMemory(intPtr100, size, size * 100);            var eng100 = Marshal.PtrToStructure(intPtr100);            Console.WriteLine();            Console.WriteLine("验证数据");            Console.WriteLine("第100个Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal);            Console.ReadKey();        }

复制代码

% Q8 b9 z1 P1 O4 i9 N9 s+ u7 r/ _4、165毫秒，相比在VC下运行，差了一个数量级，但是，也不错了；
6 {+ ?; H- U  P% x因为c#环境下需要不断的Marshal.PtrToStructure、Marshal.StructureToPtr，频繁地把数据在托管内存俞共享内存之间搬运
是需要耗费时间的，这点有更好处理方式的请指教，
: |" j2 K& _$ K" V
6 ^  \- R3 u" R- m) X1 q: n3 w' \六、因为跨线程、进程，所以要考虑加入互斥量哦

1、很简单，MFC下有现成的类CMutex，加在Write里边在看看效率

互斥量是需要耗费资源的，多了将进100毫秒
2、读写都加上互斥量试试看

又多了80多毫秒，
" ~) F# l7 q- W$ k" P7 N6 G1 p鱼与熊掌不可兼得啊。要根据实际运用场景觉得是否加上互斥量
0 Q0 Z  F) i$ k3 D: u好了，人家51去游玩、我却宅家里码程序，可见我的趣味还是挺高的，洗澡、洗衣服、然后去吃饭、一天没进食了，
1 i3 ?" ]4 G5 {' q" D以上就是.net环境下跨进程、高频率读写数据的详细内容，更多关于.net跨进程高频率读写数据的资料请关注脚本之家其它相关文章！

: O8 T& U3 R6 h+ H% S来源：http://www.jb51.net/article/213616.htm
  C) @0 T% q, D( m; g" E免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！