Оптимизация использования памяти при работе с большими файлами с большими наборами данных
При построении рабочей книги с большими наборами данных или чтении крупного файла Excel всегда важен расход оперативной памяти. Есть меры, которые можно применить для решения этой задачи. Aspose.Cells для Python via .NET предоставляет важные параметры и вызовы API для снижения, уменьшения и оптимизации использования памяти. Также это помогает повысить эффективность и скорость работы.
Используйте опцию MemorySetting.MEMORY_PREFERENCE для оптимизации использования памяти для данных ячеек и уменьшения общей затраты памяти. При создании большого набора данных для ячеек можно сохранить определенное количество памяти по сравнению с использованием настройки по умолчанию (MemorySetting.NORMAL).
Оптимизация памяти
Чтение больших файлов Excel
Следующий пример показывает, как считать большой файл Microsoft Excel в оптимизированном режиме.
| from aspose.cells import LoadOptions, MemorySetting, Workbook | |
| # For complete examples and data files, please go to https:# github.com/aspose-cells/Aspose.Cells-for-.NET | |
| # The path to the documents directory. | |
| dataDir = RunExamples.GetDataDir(".") | |
| # Specify the LoadOptions | |
| opt = LoadOptions() | |
| # Set the memory preferences | |
| opt.memory_setting = MemorySetting.MEMORY_PREFERENCE | |
| # Instantiate the Workbook | |
| # Load the Big Excel file having large Data set in it | |
| wb = Workbook(dataDir + "Book1.xlsx", opt) |
Запись больших файлов Excel
Следующий пример показывает, как записать большой набор данных на листе в оптимизированном режиме.
| from aspose.cells import MemorySetting, Workbook | |
| # For complete examples and data files, please go to https:# github.com/aspose-cells/Aspose.Cells-for-.NET | |
| # The path to the documents directory. | |
| dataDir = RunExamples.GetDataDir(".") | |
| # Instantiate a new Workbook | |
| wb = Workbook() | |
| # Set the memory preferences | |
| # Note: This setting cannot take effect for the existing worksheets that are created before using the below line of code | |
| wb.settings.memory_setting = MemorySetting.MEMORY_PREFERENCE | |
| # Note: The memory settings also would not work for the default sheet i.e., "Sheet1" etc. automatically created by the Workbook | |
| # To change the memory setting of existing sheets, please change memory setting for them manually: | |
| cells = wb.worksheets[0].cells | |
| cells.memory_setting = MemorySetting.MEMORY_PREFERENCE | |
| # Input large dataset into the cells of the worksheet. | |
| # Your code goes here. | |
| # ......... | |
| # Get cells of the newly created Worksheet "Sheet2" whose memory setting is same with the one defined in WorkbookSettings: | |
| cells = wb.worksheets.add("Sheet2").cells |
Предостережение
Настройка по умолчанию, MemorySetting.NORMAL, применяется ко всем версиям. В некоторых ситуациях, таких как создание книги с большим набором данных для ячеек, опция MemorySetting.MEMORY_PREFERENCE может оптимизировать использование памяти и уменьшить затраты памяти для приложения. Однако, эта опция может ухудшить производительность в некоторых специальных случаях, таких как следующие.
- Доступ к ячейкам в произвольном порядке и повторно: Самая эффективная последовательность доступа к коллекции ячеек - путем перебора ячеек по одной строке, а затем строка за строкой. Особенно, если вы получаете доступ к строкам/ячейкам с помощью перечислителя, полученного из Cells, RowCollection и Row, производительность будет максимальной с MemorySetting.MEMORY_PREFERENCE.
- Вставка и удаление ячеек и строк: Обратите внимание, что если есть много операций вставки/удаления для Ячеек/Строк, деградация производительности будет значительной в режиме MemoryPreference по сравнению с режимом Normal.
- Работа с различными типами ячеек: Если большинство ячеек содержат строковые значения или формулы, затраты памяти будут такими же, как в режиме Normal, но если есть много пустых ячеек, или значения ячейки являются числовыми, логическими и т. д., то MemorySetting.MEMORY_PREFERENCE позволит добиться лучшей производительности.