Произвольный доступ к файлам Java: получить байтовое смещение начала строки

Вы можете попытаться создать подкласс класса BufferedReader, чтобы запомнить позицию чтения. Но у вас не будет функции поиска.

Как вы упомянули, запись может быть многострочной, но все записи разделены стоп-последовательностью. Учитывая это, вы можете использовать RandomAccessFile следующим образом:

1. иметь байтовый буфер byte b[], скажем, размером 8 КБ (это по соображениям производительности)

2. прочитать 8к из файла в этот буфер и попытаться найти разделитель, если не нашел, прочитать еще блок 8к, но предварительно дописать данные в какую-нибудь StringBuilder или другую структуру.

3. когда вы нашли разделитель, позиция разделителя определяется количеством байтов, обработанных с момента последнего найденного разделителя (вам нужно выполнить простую математику).

Сложная часть будет, если разделитель записи длиннее 1 символа, но это должно быть большой проблемой.

После долгих гуглений, проб и ошибок и многого другого я нашел решение, которое просто обертывает RandomAccessFile и предоставляет все методы. Однако метод readLine() был значительно улучшен путем разговора с методом BufferedReader с небольшими изменениями. Производительность теперь идентична ему.

Этот так называемый класс OptimizedRandomAccessFile буферизует вызовы readLine() до тех пор, пока не вызываются другие методы, требующие или влияющие на позицию в файле. например в:

OptimizedRandomAccessFile raf = new OptimizedRandomAccessFile(filePath, "r");
String line = raf.readLine();
int nextByte = raf.read();

nextByte будет содержать первый байт следующей строки в файле.

Полный код можно найти на bitbucket.

Я бы использовал следующую последовательность декораторов java.io:

   InputStreamReader    <-- reader, the top reader
   CountingInputStream  <-- cis, stores the position (from Google Guava)
   BufferedInputStream  <-- speeds up file reading
   FileInputStream

Затем вы читаете этот верхний ридер, реализуя метод readLine(), который считывает символы один за другим до разделителя строк. Я бы не стал использовать BufferedReader, так как он испортит текущую позицию, прочитав полный буфер фиксированного размера.

Итак, если я правильно решу задачу, алгоритм будет таким же простым, как

1. long lineStartPosition = cis.getCount();
2. String s = readLine(reader);
3. if(s.equals(DELIMITER)) { storeToIndex(lineStartPosition, recordData); }

Вы можете прочитать весь файл данных и записать, где находится разделитель, и сохранить эти метаданные в другом файле. Теперь вы можете использовать метаданные для навигации по файлу (переход от одного разделителя к другому). Каждый раз, когда файл данных изменяется, вам придется повторно сканировать его и заново генерировать метаданные.