|
|
目录
, e1 I! t8 z* a5 j
# A' y# b1 I" r0 ~, `# h/ }
& C" h3 v( M! U$ B- 一、需求背景, ~* q( c/ ~ Q+ d1 n3 d+ Q
- 二、没错,第一节写的太多了9 U; o* c2 g1 Y3 m+ A1 g; j
- 三、开始写代码了$ k! W$ g: }* ?2 ]
- 四、真的要贴代码了6 n+ k) D8 C% h: t# ]8 j
- 五、差点忘记做成DLL了, E; O6 l( T/ o6 l: \5 B
- 六、因为跨线程、进程,所以要考虑加入互斥量哦
: m2 k( g) n: x# G4 \. X 5 A" B* k2 J. G* B) y( Q* N
一、需求背景9 I% G8 Z# f& N
$ H% ]& L5 B! W0 J( A. U3 C8 P1、最近项目要求高频次地读写数据,数据量也不是很大,多表总共加起来在百万条上下。
0 F' D M* I4 D9 L' A% G9 q单表最大的也在25万左右,历史数据表因为不涉及所以不用考虑,
4 s' I% a; @! t2 o- x% D; T难点在于这个规模的热点数据,变化非常频繁。# x) n# z& @1 B. K. }" l
数据来源于一些检测设备的采集数据,一些大表,有可能在极短时间内(如几秒钟)可能大部分都会变化,* y' e e2 w g6 X! p9 Y
而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备,所以要求信息交互时间尽可能短。3 p: Z; B# M, ], I+ q( O
2、之前的解决方案是把所有热点数据,统一加载到共享内存里边,到也能够支撑的住(毫秒级的),但是由于系统架构升级,之前的程序(20年前的)不能兼容。; o/ ^: _- A# i, r" ]- ?* H; O
只能重新写一个,最先想到的是用redis,当时把所有API重写完成后,测试发现效率不行,是的,你没有看错,redis也是有使用范围的。
- @1 H N* C* s0 V, M9 _3 h3、redis读写非常快,但是对于大批量读写操作我觉得支持不够,虽然redis支持批量读写,但是效率还是不够快,0 e% n; F9 ^9 R$ Z8 P9 x; N
对于字符串(string)类型的批量读写,我测试过;效率比较好的在每批次200 至 250条之间,处理20万条数据耗时5秒左右, (PC机,8G,4核)2 ^# L/ B$ a) F! S5 ^
而对于有序集合(sorted set)类型,批量写的操作用起来非常别扭,而且没有修改API(如有其他方式请指教),我测试过,效率没string类型那么高) i4 j, _4 [/ a" q; B3 C) N# v, Q
其他类型不适合我的业务场景,就没考虑使用了! \0 c! j- M9 M, x& {
4、所以项目组最后决定还是用回共享内存,先决定在.net环境下使用c#的共享内存,这个功能可能使用的人不多,其实在.net4.0版本就已经集成进来了
$ a x* P) t2 l& o) _在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语,因为里边能用的只有Write、Read这2种方法,而且只是针对字节的操作,2 N% m9 e3 d- w: l" U8 E
需要非常多的类型转换,非常麻烦!想想,只能以字节为单位去构建一个需要存放百万级数据的内存数据库,得多麻烦?
7 [1 i4 |% k* F* X. B+ v- }需要手动搞定索引功能,因为要支持各种查询,最后花了一天的时间写完DEMO,最后测试后发现效率并没有很大提高,因为当时加了互斥量测试,: m: U! J$ S4 d; T. w. N9 n- J9 g
但是离毫秒级差得远。这个技术点有兴趣的可以了解下,园子里有,如:https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html
2 R \/ X2 J6 m' C. y& z" K! y3 J) E
二、没错,第一节写的太多了( G' h1 j& t- v( {9 _+ L
6 n" N3 ~/ m6 j0 S1、最后分析,这应该是c#语言的瓶颈,c#对于这种骚操作是不那么成熟的。# |' t' b* I" j1 t
2、最后瞄来瞄去,决定使用VC开发一个dll,在里边封装对内存数据的读写功能,然后c#调用5 h* H, m* V' i9 c! ]5 s
3、本人的C、C++不那么熟、参考了一些实例,比如园子里的:http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html0 u# m6 G7 a& O! Q2 J
4、是的,你没有看错,2008年的,我还看到一篇更早的,看来底层开发C、C++那么经久不衰不是没有道理的,很多技术现在都在用
1 m4 r3 c& @+ ]) V1 y" v4 h* G5、看看什么是共享内存) U, ~5 q! b/ W9 P( W8 l3 ^
+ k4 B! L% S" K
/ t+ L' E& q, D7 |3 r
三、开始写代码了
) b" P" P1 t) t l+ D, S$ Z4 X
1、首先建2个控制台项目,支持MFC,
% r. j4 Y, p" M9 q1 @2、先这样:一个负责创建共享内存,初始化数据
$ `: z; V6 ?, \8 s8 z3、再这样:一个读写数据测试,最后修改
9 x7 D" k8 z! F& \' N5 i/ ]4、最后修改下图片细节,测试一下,看看效果! E |5 b: `2 T. `
; A1 ^% P" }6 d8 K( `& A% v1 O: V
: A' H% @# H& `7 n5、完成了,see, 是不是很简单呀?都会了吗?
' A7 x' [9 y9 s, m) j9 K$ \$ n. J2 J: A) h- F" Z: b2 r/ l& B
+ {$ i2 \3 {& ]! x! V& I四、真的要贴代码了
b' G* X7 S+ n& I7 ]# |
' c% C m! ^3 `" c1 w$ y# T1、先定义个枚举返回状态- typedef enum{ Success = 0, AlreadyExists = 1, Error = 2, OverSize = 3}enumMemory;
复制代码 2、再定义个结构体用来测试- typedef struct{ int TagID; char TagName[32]; int Area; double EngVal; double UpdateTime; double RawMax; double RawMin; double RawVal; char Name[50]; char Al; double ASTime; char MaskState; double AMTime; char Cf; char Tdf; char AlarmCode[32];}TENG;
复制代码 3、开始创建共享内存- int Create(UINT size) { // Data HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE) return Error; if (GetLastError() == ERROR_ALREADY_EXISTS) return AlreadyExists; // init void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); if (mapView == NULL) return Error; else memset(mapView, 0, size); return Success; }
复制代码 4、再开始写数据- int Write(void *pDate, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); if (fileMap == NULL) return Error; // hander void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); if (mapView == NULL) return Error; else WriteDataPtr = mapView; // write memcpy(mapView, pDate, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 5、开始读数据- int Read(void *pData, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); if (fileMap == NULL) return Error; // hander void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); if (pMapView == NULL) return Error; else ReadDataPtr = pMapView; memcpy(pData, (pMapView, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 6、OK了,不复杂,网上都有这些资料,最后我们贴上测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; ceng->Read(&eng, ceng->size, ceng->size * i); eng.EngVal = i; ceng->Write(&eng, ceng->size, (i*ceng->size)); if (i % 10000 == 0 || i == length - 1) printf("正在读写的Eng.TagName:%s \n", eng.TagName); } printf("总条数%d,耗时:%d 毫秒 \n", length, GetTickCount() - dwStart); // 验证数据 TENG eng5000; ceng->Read(&eng5000, ceng->size, ceng->size * 5000); printf("\n验证数据 \n"); printf("第5000个Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal); scanf_s("按任意键结束"); return 0;}
复制代码 7、还有写测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); ceng->Create(ceng->size * length); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; memset(&eng, 0, ceng->size); eng.TagID = i; sprintf_s(eng.AlarmCode, "AlarmCode.%d", i); sprintf_s(eng.TagName, "TagName.%d", i); if (i % 10000 == 0 || i == length - 1) printf("正在写入的Eng.TagName:%s \n", eng.TagName); ceng->Write(&eng, ceng->size, (i*ceng->size)); } // print time printf("写入数据完毕,总条数:%d\n", length); printf("初始化值共享内存区耗时:%d 毫秒 \n", GetTickCount() - dwStart); scanf_s("按任意键结束"); return 0;}
复制代码 8、当然得再贴一遍啦
% e: y4 ~ F7 W3 e
$ S p* c+ y" k6 ~, ?. A" e0 t( n' W8 J# X& w. y
2 b |, W" v: [- c" q7 r五、差点忘记做成DLL了
" H4 h+ n; T8 b9 h
4 s6 Y3 }. Y' Q1、定义外部函数- extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset){ return ceng->Read(pData, nSize, offset);}extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset){ return ceng->Write(pData, nSize, offset);}
复制代码 2、好了,VC到此为止,可以去领盒饭了,c#进场- public class Lib { [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset); [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset); }
复制代码 3、c#测试一下- static void Main(string[] args) { var length = 100000; var startTime = DateTime.Now; var size = Marshal.SizeOf(typeof(TEng)); var intPtrOut = Marshal.AllocHGlobal(size); var intPtrIn = Marshal.AllocHGlobal(size); for (var i = 0; i < length; i++) { Lib.ReadFromSharedMemory(intPtrOut, size, size * i); var eng = Marshal.PtrToStructure(intPtrOut); eng.EngVal = i; Marshal.StructureToPtr(eng, intPtrIn, true); Lib.WriteToSharedMemory(intPtrIn, size, size * i); if (i % 10000 == 0) Console.WriteLine("eng.TagID:{0}", eng.TagID); } Console.WriteLine("总条数{0},耗时:{1} 毫秒", length.ToString(), (DateTime.Now - startTime).TotalMilliseconds.ToString()); // 验证数据 var intPtr100 = Marshal.AllocHGlobal(size); Lib.ReadFromSharedMemory(intPtr100, size, size * 100); var eng100 = Marshal.PtrToStructure(intPtr100); Console.WriteLine(); Console.WriteLine("验证数据"); Console.WriteLine("第100个Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal); Console.ReadKey(); }
复制代码 + y: W# M: K' q1 J( l- g( T
4、165毫秒,相比在VC下运行,差了一个数量级,但是,也不错了;
% l% e$ v, K V9 r, U( m, g因为c#环境下需要不断的Marshal.PtrToStructure、Marshal.StructureToPtr,频繁地把数据在托管内存俞共享内存之间搬运
7 b7 A- E! |1 G5 u是需要耗费时间的,这点有更好处理方式的请指教,* Z. u( t% f* A- j$ {5 x1 x9 h. ?
6 ^ Y! Y* B* ^7 F
六、因为跨线程、进程,所以要考虑加入互斥量哦
^) |4 ]" i1 M
5 b! Q% Y4 k {" D$ S1、很简单,MFC下有现成的类CMutex,加在Write里边在看看效率
; m. W) ~# g/ {6 O( x: d! k' I1 F
互斥量是需要耗费资源的,多了将进100毫秒7 l* r, |; O3 h
2、读写都加上互斥量试试看
* _ e8 O- V3 }6 }0 b& v% r9 P7 [. l7 H
又多了80多毫秒,, f/ o2 d+ k# x
鱼与熊掌不可兼得啊。要根据实际运用场景觉得是否加上互斥量
$ ]$ b7 Y. |" U) A; w" [) m好了,人家51去游玩、我却宅家里码程序,可见我的趣味还是挺高的,洗澡、洗衣服、然后去吃饭、一天没进食了,8 W K" l6 h5 }- a. A
以上就是.net环境下跨进程、高频率读写数据的详细内容,更多关于.net跨进程高频率读写数据的资料请关注脚本之家其它相关文章!9 j2 l3 W5 B& S: S6 i
5 O8 F# B2 N) E% e& s3 {( U8 X来源:http://www.jb51.net/article/213616.htm
' O9 O4 ~4 V/ K. K Y3 F免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|