Jak przyśpieszyć działania na dużych/dużej ilości plików? [kopiowanie/przenoszenie]

[Xan666]

0

Witam,
Moje pytanie zrodziło się podczas kopiowania plików SSD<->SSD czy też SSD<->Pendrive [dobrej jakości i parametrów, nie noname!] gdzie przenoszenie/kopiowanie 1TB plików zajęło ponad 10h. Czy to normalne?


Czy da się jakoś to przyśpieszyć? Obciążenie rdzeni wygląda tak, że "skacze" sobie nieco 1 rdzeń, a reszta leniwie czeka... Da się jakoś zmusić kompa do szybszej pracy na plikach? Miałem podobny case z rozpakowywaniem dużej ilości plików zip/7zip - próbowałem z terminala - ale czas też był zbliżony.

Z góry dzięki za wszelkie sugestie.

[mati75]

0

Pewnie morfik ma jakieś super rozwiązanie na to.

Bez rzeźby dla małych plików to normalne. Na ntfs linux też mega słabo zapisuje. Dodatkowo producenci pendrive oszukują podając głównie prędkość odczytu, a nie zapisu.

28MB/s dla małych plików to nie jest źle

[morfik]

0

Nie mam, bo to nic niezwykłego. Tak to jest z marketingiem właśnie, że obiecują 600M/s, a wychodzi 30M/s.

Po części jest to przez obsługę systemu plików, no bo te wpisy w strukturze systemu plików trzeba potworzyć dla każdego pliku osobno (np. to co widać w stat plik.txt), a to zajmuje czas -- a im więcej plików, tym dłużej to zajmuje, przez co transfer siada -- przy bardzo małych plikach obsługa tego procesu zajmuje więcej niż faktyczny transfer danych.

Do tego trzeba jeszcze dodać obsługę dziennika systemu plików.

Do tego dochodzi jeszcze specyfikacja samego dysku SSD -- może i odczyt z dysku źródłowego jest szybki, ale z zapisem na dysku docelowym jest już gorzej, bo dyski SSD mają swoją logikę co do zapisu danych, wewnętrzny cache/RAM procesor i wszystkie te mechanizmy optymalizacyjne zużycie komórek, konsolidację danych, itp/itd.. Jeśli teraz chcesz skopiować tysiące małych plików, to trzeba się zastanowić co firmware tego docelowego dysku w takiej sytuacji będzie robił? No i tego na dobrą sprawę nie wie nikt poza producentem dysku.