Как скопировать файл в несколько потоков с помощью Java

Я изучаю многопоточность в Java, и у меня есть задача скопировать файл, используя 2+ потока.

Расширение файла не имеет значения. Поэтому я попытался сделать это в 2 потока. В первом потоке копирую первую половину файла, во втором - вторую. Я попытался сохранить части в массиве байтов, а затем перейти к основному потоку и использовать ByteArrayOutputStream для объединения этих массивов и сохранения копии исходного файла. Но работает раз-два в три-шесть раз. Я понятия не имею, что случилось. Как скопировать файл в несколько потоков с помощью Java

public class FirstThread implements Runnable {
private byte[] part1thread;
private RandomAccessFile file;

public FirstThread(RandomAccessFile file, int byteArraySize) {
    this.file = file;
    this.part1thread = new byte[byteArraySize];
}

public void run() {
    try {
        System.out.println("Start the first thread.");

        file.read(part1thread, 0, part1thread.length);

        System.out.println("I am the first thread and I read first part1thread of the file you gave me.");

        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();

        RandomAccessFile fileOutputWrite = new RandomAccessFile("copy_", "rw");

        System.out.println("First threads results writing...");
        outputStream.write(this.part1thread);
        System.out.println("output 1 thread: " + outputStream);
        fileOutputWrite.write(this.getPart1thread(), 0, this.getPart1thread().length);

        fileOutputWrite.close();
        outputStream.close();

        Main.setCountDownLatch();

    } catch (IOException e) {
        e.printStackTrace();
    }
}

public byte[] getPart1thread() {
    return part1thread;
}

}

public class SecondThread implements Runnable {

private byte[] part2thread;
private RandomAccessFile file;
private long tempBytesSize;

public SecondThread(RandomAccessFile file, int arrayFullSize) {

    this.file = file;

    tempBytesSize = arrayFullSize % 2 == 0 ? arrayFullSize/2 : arrayFullSize/2 + 1;

    System.out.println(arrayFullSize % 2 == 0);

    this.part2thread = new byte[(int)tempBytesSize];

}

public void run() {
    try {
        System.out.println("Start the second thread.");

        file.seek(part2thread.length - 1);
        System.out.println(tempBytesSize);
        file.read(part2thread, 0, (int)tempBytesSize);

        System.out.println("I am the second thread and I read second part2thread of the file you gave me.");


        RandomAccessFile fileOutputWrite = new RandomAccessFile("copy_", "rw");
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();

        fileOutputWrite.seek(fileOutputWrite.length() - 1);

        System.out.println("Second threads results writing..");
        outputStream.write(this.getPart2thread());
        System.out.println("output 2 thread: " + outputStream);
        fileOutputWrite.write(this.getPart2thread(), 0, this.getPart2thread().length);

        fileOutputWrite.close();
        outputStream.close();

        Main.setCountDownLatch();

    } catch (IOException e) {
        e.printStackTrace();
    }
}

public byte[] getPart2thread() {
    return part2thread;
}

}

public class Main {

 private static volatile CountDownLatch countDownLatch;

public synchronized static void main(String[] args) throws IOException {

    countDownLatch = new CountDownLatch(2);

    Scanner scanner = new Scanner(System.in);

    System.out.println("Enter file name with extension");
    String fileName = scanner.nextLine();

    RandomAccessFile file = null;
    long partByteSize = 0;
    try {
        file = new RandomAccessFile(fileName, "r");
        partByteSize = file.getChannel().size() / 2;
    } catch (FileNotFoundException e) {
        System.out.println("File not found!");
        System.exit(-1);
    } catch (IOException e) {
        System.out.println("An error has been occured. Cannot work with file.");
        System.exit(-1);
    }

        ExecutorService pool = Executors.newFixedThreadPool(2);

        FirstThread firstThread = new FirstThread(file, (int) partByteSize);
        SecondThread secondThread = new SecondThread(file, (int) file.getChannel().size());

        pool.submit(firstThread);
        pool.submit(secondThread);

        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            System.out.println("Unexpected error.");
            System.exit(-1);
        }

        System.out.println("Return flow control to the main thread");

        ByteArrayOutputStream outputStream;

        file.close();
    System.exit(0);
}

public static void setCountDownLatch() {
    Main.countDownLatch.countDown();
}

}

Я пробовал с файлами *.pdf и *.txt. Копии *.pdf не открываются, файлы *.txt: когда копирую только первую или вторую половину, работает хорошо. Но когда пробовал копировать две части одну за другой, ИНОГДА срабатывает. Я понятия не имею, как это исправить.


person Irina Voropaeva    schedule 21.01.2019    source источник
comment
К вашему сведению: если это упражнение, это нормально, но имейте в виду, что чтение файла с использованием нескольких потоков может фактически снизить производительность, поскольку узким местом производительности будет диск. Если вы хотите использовать несколько потоков, вы можете рассмотреть возможность использования одного потока для чтения исходного файла и другого потока для записи копии. Вы можете повысить производительность с помощью этой комбинации, если копируете на другой диск.   -  person Andreas    schedule 21.01.2019
comment
Да, это просто упражнение. Я читал о многопоточности, и это мои первые шаги в многопоточности. Ухудшить производительность, связанную со скоростью чтения-записи диска, да?   -  person Irina Voropaeva    schedule 21.01.2019
comment
Снижение производительности, потому что при параллельном чтении из нескольких мест на диске рычаг диска прыгает вперед и назад, а скорость перемещения рычага диска, безусловно, является самым большим фактором, влияющим на проблемы с производительностью.   -  person Andreas    schedule 21.01.2019
comment
Может быть задача проще, чем вы думаете (минимум 2 потока): используйте один поток для чтения и один поток для записи данных.   -  person Robert    schedule 21.01.2019


Ответы (2)


Проверьте этот 60-строчный (комментарии встроены):

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.PipedInputStream;
import java.io.PipedOutputStream;

public class SOQ54295781 {

    private static final int BUFF_SIZE = 4096;

    public static void main(final String[] args) throws IOException {
        // create a "piped stream":
        final PipedOutputStream output = new PipedOutputStream();
        final PipedInputStream input = new PipedInputStream(output);
        //"read" thread:
        Thread thread1 = new Thread(() -> {          
            System.out.println("t1 start...");
            //opens source file ...
            try (FileInputStream fileIn = new FileInputStream("test.pdf")) { //args[0]
                // ... and copies to pipe.
                long totalBytes = copy(fileIn, output, "t1", "from src file into pipe");
                System.out.format("Reading from source file completed. Total: %d bytes.%n", totalBytes);
                fileIn.close();
            } catch (IOException e) {
                e.printStackTrace(System.err);
            } finally {
                try {
                    output.close();
                } catch (IOException ex) {
                    ex.printStackTrace(System.err);
                }
            }
            System.out.println("t1 done.");
        });
        //"write" thread:
        Thread thread2 = new Thread(() -> {
            System.out.println("t2 start...");
            // opens dest file ...
            try (FileOutputStream fileOut = new FileOutputStream("test.copy.pdf")) {//args[1]
                // ... and copies from pipe.
                long totalBytes =  copy(input, fileOut, "t2", "from pipe into dest file");
                System.out.format("Writing to dest file completed. Total: %d bytes.%n", totalBytes);
                fileOut.close();
            } catch (IOException e) {
                e.printStackTrace(System.err);
            } finally {
                try {
                    input.close();
                } catch (IOException ex) {
                    ex.printStackTrace(System.err);
                }
            }
            System.out.println("t2 done.");
        });
        thread1.start();
        thread2.start();
    }

    // thx to https://stackoverflow.com/a/22128215/592355 resp. guava extended by some debug output
    private static long copy(InputStream from, OutputStream to, String thread, String msg)
            throws IOException {
        byte[] buf = new byte[BUFF_SIZE];
        long total = 0;
        while (true) {
            int r = from.read(buf);
            if (r == -1) {
                break;
            }
            to.write(buf, 0, r);
            total += r;
            System.out.format("I am %s, and I copied %d bytes %s.%n", thread, r, msg);
        }
        return total;
    }
}

Вывод:

t2 start...
t1 start...
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t1, and I copied 4096 bytes from src file into pipe.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t1, and I copied 4096 bytes from src file into pipe.
I am t2, and I copied 1024 bytes from pipe into dest file.
// ...
I am t2, and I copied 1024 bytes from pipe into dest file.
I am t1, and I copied 782 bytes from src file into pipe.
Reading from source file completed. Total: 6980366 bytes.
t1 done.
I am t2, and I copied 782 bytes from pipe into dest file.
Writing to dest file completed. Total: 6980366 bytes.
t2 done.

смотрите также:

person xerx593    schedule 21.01.2019
comment
Большое спасибо! - person Irina Voropaeva; 23.01.2019

я добавил метод

    public boolean getState() {
    return Thread.currentThread().isAlive();
}

в класс FirstThread

Я сделал firstThread и secondThread членами класса Main.

if (Main.getFirstThread().getState()) {

Я добавил условие if в метод run() для SecondThread Else - мы рекурсивно пытаемся снова запустить метод run() до тех пор, пока не запустится первый поток.

А лол мне нужно

resultFile.seek(resultFile.length() - 0);

Когда я пишу скопированный файл, потому что без "- 0" он не работает.

person Irina Voropaeva    schedule 21.01.2019
comment
cos without "- 0" it does not work. это невозможно, это не может повлиять на среду выполнения Java, иначе это будет неработающая среда выполнения. - person zapl; 22.01.2019
comment
Да, это странно, очень странно, но xD - person Irina Voropaeva; 23.01.2019