Как да съхранявате данни във и да извличате данни от файлове за картографиране на памет с помощта на CopyMemory във VBA?

Опитвам се да изградя разпределителна изчислителна система, която използва файлове за картографиране на паметта, за да координира работата между няколко компютъра в мрежа, всички чрез VBA. Казано по друг начин, искам да накарам група мрежови компютри да работят едновременно по координиран начин по един проект, който може лесно да бъде разделен на различни части. Един компютър отнема 13+ часа, за да завърши проекта, което не е практично за моя клиент.

Искам да съхранявам информация във файловете за картографиране на паметта, която ще помогне на компютрите да работят по проекта по координиран начин (т.е. без дублиране на работа, избягване на проблеми със състезание и т.н.). Опитах да използвам други типове файлове, за да постигна това и това причинява проблеми с надпреварата на файловете или отнема твърде много време. И така, както беше предложено в този форум, опитвам файлове за картографиране на паметта.

Съвсем нов съм в файловете за картографиране на паметта и разпределителните изчисления. Трябва да се направи във VBA. Доколкото знам, трябва да уточня, че файлът се запазва в директория в нашата мрежа (устройство Z тук), до която всички компютри имат достъп. Събрах код от различни места:

Option Explicit

Private Const PAGE_READWRITE As Long = &H4
Private Const FILE_MAP_WRITE As Long = &H2
Private Const GENERIC_READ = &H80000000
Private Const GENERIC_WRITE = &H40000000
Private Const OPEN_ALWAYS = 4
Private Const FILE_ATTRIBUTE_NORMAL = &H80

Private Declare Function CreateFile Lib "kernel32" Alias "CreateFileA" (ByVal lpFileName As String, _
                                         ByVal dwDesiredAccess As Long, ByVal dwShareMode As Long, _
                                         ByVal lpSecurityAttributes As Long, ByVal dwCreationDisposition As Long, _
                                         ByVal dwFlagsAndAttributes As Long, ByVal hTemplateFile As Long) As Long

Private Declare Function CreateFileMapping Lib "kernel32.dll" Alias "CreateFileMappingA" ( _
     ByVal hFile As Long, _
     ByVal lpFileMappigAttributes As Long, _
     ByVal flProtect As Long, _
     ByVal dwMaximumSizeHigh As Long, _
     ByVal dwMaximumSizeLow As Long, _
     ByVal lpName As String) As Long

Private Declare Function MapViewOfFile Lib "kernel32.dll" ( _
     ByVal hFileMappingObject As Long, _
     ByVal dwDesiredAccess As Long, _
     ByVal dwFileOffsetHigh As Long, _
     ByVal dwFileOffsetLow As Long, _
     ByVal dwNumberOfBytesToMap As Long) As Long

#If VBA7 Then
Public Declare PtrSafe Sub CopyMemory Lib "kernel32" Alias _
    "RtlMoveMemory" (destination As Any, source As Any, _
    ByVal length As Long)
#Else
Public Declare Sub CopyMemory Lib "kernel32" Alias _
    "RtlMoveMemory" (destination As Any, source As Any, _
    ByVal length As Long)
    #End If

Private Declare Function UnmapViewOfFile Lib "kernel32.dll" ( _
     ByRef lpBaseAddress As Any) As Long

Private Declare Function CloseHandle Lib "kernel32.dll" ( _
     ByVal hObject As Long) As Long

Private hMMF As Long
Private pMemFile As Long

Sub IntoMemoryFileOutOfMemoryFile()

    Dim sFile As String
    Dim hFile As Long

    sFile = "Z:\path\test1.txt"

    hFile = CreateFile(sFile, GENERIC_READ Or GENERIC_WRITE, 0, 0, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, 0)
    hMMF = CreateFileMapping(hFile, 0, PAGE_READWRITE, 0, 1000000, "MyMemoryMappedFile")

    pMemFile = MapViewOfFile(hMMF, FILE_MAP_WRITE, 0, 0, 0)

    Dim buffer As String

    buffer = "testing1"
    CopyMemory pMemFile, ByVal buffer, 128

    hMMF = CreateFileMapping(-1, 0, PAGE_READWRITE, 0, 1000000, "MyMemoryMappedFile")
    pMemFile = MapViewOfFile(hMMF, FILE_MAP_WRITE, 0, 0, 0)

     Dim buffer2 As String

    buffer2 = String$(128, vbNullChar)

     CopyMemory ByVal buffer2, pMemFile, 128

     MsgBox buffer2 & " < - it worked?"

     UnmapViewOfFile pMemFile
     CloseHandle hMMF
End Sub

Като малък пример кодът по-горе се опитва да постави низа "testing1" във файла test1.txt, след което извлича този низ и го съхранява в променлива buffer2 и накрая показва този низ чрез msgbox. Супер просто. Обаче нямам идея какво правя.

Всички наши компютри са 64-битови, Windows 7, Office/Excel 2013.

Проблеми/въпроси:

  1. Полето за съобщения е празно, когато стартирам IntoMemoryFileOutOfMemoryFile
  2. След като sub е завършен, отварям test1.txt и получавам: „Процесът няма достъп до файла, защото се използва от друг процес.“ Което ми казва, че не използвам UnmapViewOfFile и/или CloseHandle правилно.
  3. Бих искал да направя тези файлове с памет постоянни, така че ако всички компютри бъдат прекъснати, мога да рестартирам процеса и да продължа там, където съм спрял.

Ето някои от връзките, които използвах, за да стигна до мястото, където съм сега:

Интересна, но маловажна информация: "Проектът" е за клиент на хедж фонд. Аз съм финансист, който се е превърнал в фундаментално количество. Ние анализираме повече от 2000 акции на дневна база над 1250+ полета с данни, за да направим макроикономически сигнали/прогнози за покупка и продажба на акции, фючърси и опции.

АКТУАЛИЗАЦИЯ: Ако променя двата реда CopyMemory по този начин (предам pMemFile по стойност) съответно:

CopyMemory ByVal pMemFile, buffer, 128

и...

CopyMemory buffer2, ByVal pMemFile, 128

Получавам куп луди знаци във файла test1.txt и excel се срива.


person mountainclimber11    schedule 13.05.2015    source източник
comment
Защо това трябва да е VBA? Колкото и да обичам VBA, изглежда нещо като използването на чук, когато това, от което наистина се нуждаете, е отвертка.   -  person RubberDuck    schedule 13.05.2015
comment
@RubberDuck Може да са изисквания на клиента (имам същия проблем за много по-прост инструмент), които имат някой, който може да поддържа на VBA, но не и на други езици. Проектът ми е твърде силен, но интересен, ще го разгледам, но не мога да обещая! ;)   -  person R3uK    schedule 13.05.2015
comment
@RubberDuck - Не е и моят избор.   -  person mountainclimber11    schedule 13.05.2015
comment
Не съм казал, че е така. Просто казвам, че може да има отношение към решение. Може би VBA не е толкова голямо изискване, колкото се смяташе. Познаването на мотивите може да помогне.   -  person RubberDuck    schedule 13.05.2015
comment
@RubberDuck - R3uk е правилен. Това е решение за бизнес операции. Това не ме е спряло да постигна това, което те искат ... все още.   -  person mountainclimber11    schedule 13.05.2015


Отговори (1)


За първия ви проблем (не съм го изследвал твърде много), това е свързано с начина, по който се опитвате да прехвърлите своя buffer към RtlMoveMemory. Той очаква указател, но вие му подавате копие на BSTR. Също така не забравяйте, че низ във VBA е Unicode, така че ще получите преплетени нулеви знаци. Обикновено използвам или байтови масиви, или варианти (те ще бъдат подредени до CSTR).

За втория ви проблем файлът се заключва, защото никога не освобождавате манипулатора на hFile. Всъщност, веднага щом го предадете на CreateFileMappingA, можете да се обадите на CloseHandle на hFile.

За третия проблем, вие презаписвате манипулатора hMMF и показалеца pMemFile, когато правите второто повикване. На теория те трябва да върнат същия манипулатор и указател, тъй като сте в същия процес, но това всъщност не тества дали сте получили изгледа на картата.

Що се отнася до достъпа до паметта, вероятно бих препоръчал опаковане на цялото нещо в клас и картографиране на указателя към нещо по-полезно от извикванията към RtlMoveMemory. Адаптирах кода си, който свързахте във въпроса, в клас, който трябва да го направи малко по-безопасен и по-надежден и удобен за използване (въпреки че все още трябва да бъде допълнен с проверка на грешки):

'Class MemoryMap
Option Explicit

Private Type SafeBound
    cElements As Long
    lLbound As Long
End Type

Private Type SafeArray
    cDim As Integer
    fFeature As Integer
    cbElements As Long
    cLocks As Long
    pvData As Long
    rgsabound As SafeBound
End Type

Private Const VT_BY_REF = &H4000&
Private Const FILE_ATTRIBUTE_NORMAL = &H80
Private Const OPEN_ALWAYS = &H4
Private Const GENERIC_READ = &H80000000
Private Const GENERIC_WRITE = &H40000000
Private Const PAGE_READWRITE = &H4
Private Const FILE_MAP_WRITE = &H2
Private Const FADF_FIXEDSIZE = &H10

Private cached As SafeArray
Private buffer() As Byte
Private hFileMap As Long
Private hMM As Long
Private mapped_file As String
Private bound As Long

Public Property Get FileName() As String
    FileName = mapped_file
End Property

Public Property Get length() As Long
    length = bound
End Property

Public Sub WriteData(inVal As String, offset As Long)
    Dim temp() As Byte
    temp = StrConv(inVal, vbFromUnicode)

    Dim index As Integer
    For index = 0 To UBound(temp)
        buffer(index + offset) = temp(index)
    Next index
End Sub

Public Function ReadData(offset, length) As String
    Dim temp() As Byte
    ReDim temp(length)

    Dim index As Integer
    For index = 0 To length - 1
        temp(index) = buffer(index + offset)
    Next index

    ReadData = StrConv(temp, vbUnicode)
End Function

Public Function OpenMapView(file_path As String, size As Long, mapName As String) As Boolean
    bound = size
    mapped_file = file_path

    Dim hFile As Long
    hFile = CreateFile(file_path, GENERIC_READ Or GENERIC_WRITE, 0, 0, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, 0)
    hFileMap = CreateFileMapping(hFile, 0, PAGE_READWRITE, 0, size, mapName)
    CloseHandle hFile
    hMM = MapViewOfFile(hFileMap, FILE_MAP_WRITE, 0, 0, 0)

    ReDim buffer(2)
    'Cache the original SafeArray structure to allow re-mapping for garbage collection.
    If Not ReadSafeArrayInfo(buffer, cached) Then
        'Something's wrong, close our handles.
        CloseOpenHandles
        Exit Function
    End If

    Dim temp As SafeArray
    If ReadSafeArrayInfo(buffer, temp) Then
        temp.cbElements = 1
        temp.rgsabound.cElements = size
        temp.fFeature = temp.fFeature And FADF_FIXEDSIZE
        temp.pvData = hMM
        OpenMapView = SwapArrayInfo(buffer, temp)
    End If    
End Function

Private Sub Class_Terminate()
    'Point the member array back to its own data for garbage collection.
    If UBound(buffer) = 2 Then
        SwapArrayInfo buffer, cached
    End If
    SwapArrayInfo buffer, cached
    CloseOpenHandles
End Sub

Private Sub CloseOpenHandles()
    If hMM > 0 Then UnmapViewOfFile hMM
    If hFileMap > 0 Then CloseHandle hFileMap
End Sub

Private Function GetBaseAddress(vb_array As Variant) As Long
    Dim vtype As Integer
    'First 2 bytes are the VARENUM.
    CopyMemory vtype, vb_array, 2
    Dim lp As Long
    'Get the data pointer.
    CopyMemory lp, ByVal VarPtr(vb_array) + 8, 4
    'Make sure the VARENUM is a pointer.
    If (vtype And VT_BY_REF) <> 0 Then
        'Dereference it for the actual data address.
        CopyMemory lp, ByVal lp, 4
        GetBaseAddress = lp
    End If
End Function

Private Function ReadSafeArrayInfo(vb_array As Variant, com_array As SafeArray) As Boolean
    If Not IsArray(vb_array) Then Exit Function

    Dim lp As Long
    lp = GetBaseAddress(vb_array)
    If lp > 0 Then
        With com_array
            'Copy it over the passed structure
            CopyMemory .cDim, ByVal lp, 16
            'Currently doesn't support multi-dimensional arrays.
            If .cDim = 1 Then
                CopyMemory .rgsabound, ByVal lp + 16, LenB(.rgsabound)
                ReadSafeArrayInfo = True
            End If
        End With
    End If
End Function

Private Function SwapArrayInfo(vb_array As Variant, com_array As SafeArray) As Boolean
    If Not IsArray(vb_array) Then Exit Function
    Dim lp As Long
    lp = GetBaseAddress(vb_array)

    With com_array
        'Overwrite the passed array with the SafeArray structure.
        CopyMemory ByVal lp, .cDim, 16
        If .cDim = 1 Then
            CopyMemory ByVal lp + 16, .rgsabound, LenB(.rgsabound)
            SwapArrayInfo = True
        End If
    End With    
End Function

Използването е така:

Private Sub MMTest()
    Dim mm As MemoryMap

    Set mm = New MemoryMap
    If mm.OpenMapView("C:\Dev\test.txt", 1000, "TestMM") Then
        mm.WriteData "testing1", 0
        Debug.Print mm.ReadData(0, 8)
    End If

    Set mm = Nothing
End Sub

Някъде ще ви трябват и следните декларации:

Public Declare Function MapViewOfFile Lib "kernel32.dll" ( _
    ByVal hFileMappingObject As Long, _
    ByVal dwDesiredAccess As Long, _
    ByVal dwFileOffsetHigh As Long, _
    ByVal dwFileOffsetLow As Long, _
    ByVal dwNumberOfBytesToMap As Long) As Long

Public Declare Sub CopyMemory Lib "kernel32" Alias _
    "RtlMoveMemory" (Destination As Any, Source As Any, _
    ByVal length As Long)

Public Declare Function CloseHandle Lib "kernel32.dll" ( _
    ByVal hObject As Long) As Long

Public Declare Function UnmapViewOfFile Lib "kernel32.dll" ( _
    ByVal lpBaseAddress As Any) As Long

Още нещо, което трябва да имате предвид - тъй като използвате мрежово устройство, ще искате да сте сигурни, че механизмите за кеширане не пречат на достъпа до файла. По-конкретно, ще искате да се уверите, че всички клиенти имат изключено кеширане на мрежови файлове. Може също да искате да изчистите картата на паметта детерминистично, вместо да разчитате на операционната система (вижте FlushViewOfFile).

person Comintern    schedule 14.05.2015
comment
Благодаря, но какво пропускам? Не виждам как бихте извадили данни с вашия клас MemoryMap. Пр. mm.ReadData - person mountainclimber11; 23.05.2015
comment
В допълнение, как се пише тестов низ като testing1 в оригиналния въпрос? - person mountainclimber11; 23.05.2015
comment
@mountainclimber - Изпълнението на класа не е завършено. Масивът от байтове в рамките на класа основно е файлът с карта на паметта, така че всички методи за достъп ще четат и записват от buffer. Начинът, по който го използвате, е специфичен за изпълнението, но редактирах кода в отговора, за да чета и пиша низове. - person Comintern; 23.05.2015
comment
Чета низове с неизвестна дължина, така че параметърът за дължина в ReadData не работи добре. Мисля да префиксирам низа, който е записан в test.txt с дължината на низа, след това интервал и след това желания низ (така че [string len][space][string]), след което в ReadData правя манипулиране на низ (Split (), Mid(), InStr() и т.н.), за да получа дължината на низа и желания низ, така че да мога да избегна параметъра за дължина на ReadData. Или има по-добър начин? Пътят ми изглежда малко тромав. Благодаря. - person mountainclimber11; 24.05.2015
comment
@mountainclimber - Това трябва да работи. По същество това е bstr, дължина, последвана от самия низ. Друго предимство на използването на масива VBA за достъп до картата на паметта е, че ви дава граници, които RtlMoveMemory няма да провери - за VBA изглежда като всеки друг масив. - person Comintern; 24.05.2015