Оптимизация использования памяти при работе с большими файлами с большими наборами данных

Оптимизация памяти

Чтение больших файлов Excel

Следующий пример показывает, как считать большой файл Microsoft Excel в оптимизированном режиме.

// For complete examples and data files, please go to https://github.com/aspose-cells/Aspose.Cells-for-Java
// The path to the documents directory.
String dataDir = Utils.getDataDir(ReadLargeExcelFiles.class);
// Specify the LoadOptions
LoadOptions opt = new LoadOptions();
// Set the memory preferences
opt.setMemorySetting(MemorySetting.MEMORY_PREFERENCE);
// Instantiate the Workbook
// Load the Big Excel file having large Data set in it
Workbook wb = new Workbook(dataDir + "Book1.xlsx", opt);

Запись больших файлов Excel

Приведенный ниже пример показывает, как записать большой набор данных на листе в оптимизированном режиме.

// For complete examples and data files, please go to https://github.com/aspose-cells/Aspose.Cells-for-Java
// The path to the documents directory.
String dataDir = Utils.getSharedDataDir(WritingLargeExcelFiles.class) + "articles/";
// Instantiate a new Workbook
Workbook wb = new Workbook();
// Set the memory preferences
// Note: This setting cannot take effect for the existing worksheets that are created before using the below line of code
wb.getSettings().setMemorySetting(MemorySetting.MEMORY_PREFERENCE);
/*
* Note: The memory settings also would not work for the default sheet i.e., "Sheet1" etc. automatically created by the
* Workbook. To change the memory setting of existing sheets, please change memory setting for them manually:
*/
Cells cells = wb.getWorksheets().get(0).getCells();
cells.setMemorySetting(MemorySetting.MEMORY_PREFERENCE);
// Input large dataset into the cells of the worksheet.Your code goes here.
// Get cells of the newly created Worksheet "Sheet2" whose memory setting is same with the one defined in
// WorkbookSettings:
cells = wb.getWorksheets().add("Sheet2").getCells();

Предостережение

По умолчанию, опция MemorySetting.NORMAL применяется ко всем версиям. В некоторых случаях, таких как создание книги с большим набором данных для ячеек, параметр MemorySetting.MEMORY_PREFERENCE может оптимизировать использование памяти и снизить стоимость памяти для приложения. Однако в некоторых специальных случаях это может снизить производительность, таких как следующие.

  1. Доступ к ячейкам в произвольном порядке и повторно: Самая эффективная последовательность доступа к коллекции ячеек - путем перебора ячеек по одной строке, а затем строка за строкой. Особенно, если вы получаете доступ к строкам/ячейкам с помощью перечислителя, полученного из Cells, RowCollection и Row, производительность будет максимальной с MemorySetting.MEMORY_PREFERENCE.
  2. Вставка и удаление ячеек и строк: Обратите внимание, что если выполняется много операций вставки/удаления для ячеек/строк, производительность в режиме MemorySetting.MEMORY_PREFERENCE будет значительно снижена по сравнению с режимом MemorySetting.NORMAL.
  3. Работа с различными типами ячеек: Если большинство ячеек содержат строковые значения или формулы, стоимость памяти будет такой же, как в режиме MemorySetting.NORMAL, но если есть много пустых ячеек, или значения ячеек являются числовыми, логическими и т.д., опция MemorySetting.MEMORY_PREFERENCE обеспечит лучшую производительность.