Разделение большого файла XML на несколько файлов меньшего размера
Многие пользователи сталкивались с проблемами, связанными с огромными XML-файлами, и ищут способы уменьшить размер XML-файлов. Лучший способ решить эту проблему — разбить XML-файлы на более мелкие.
В этой статье вы узнаете, как разбить огромный файл XML на несколько файлов меньшего размера самым простым и надежным способом. Прежде чем перейти к решению, начнем с объяснения того, что такое файл XML.
XML-файл, в двух словах
XML-файл — это обычный текстовый файл, в котором используются настраиваемые теги для определения структуры документа, а также способов его хранения и передачи. Файлы XML полезны для категоризации информации практически обо всем из-за их простоты.
Кроме того, XML широко используется в качестве основы для различных форматов документов.
Например, Microsoft Office 2007 и более поздние версии используют XML для структуры документа. В результате, независимо от того, сохраняете ли вы документ в PowerPoint, Word или Excel, появится заголовок документа со знаком «X» в конце. «X» означает XML. Для файла Excel заголовок будет заканчиваться на «.XLSX».
Итак, теперь вы знаете, что такое XML, давайте перейдем к основной теме статьи, как разбить большой файл XML.
Как разбить большой файл XML на более мелкие файлы?
Независимо от того, являетесь ли вы пользователем Windows, Linux или Mac, будьте уверены, что существует приложение, которое позволяет разбить большой (с точки зрения размера файла) XML-файл на фрагменты XML-файлов меньшего размера.
Здесь я расскажу о 3 приложениях, каждое для указанной операционной системы.
Разделить большой файл XML в Windows (метод №1)
“Split XML Into Multiple Files Software” – это XML-разделитель, который позволяет легко разбивать огромные XML-файлы на более мелкие, сохраняя при этом максимально возможное качество.
После нарезки файлов вы можете легко скопировать их на внешние диски или отправить по электронной почте другим пользователям.
Загрузите приложение, а затем выполните следующие действия, чтобы разбить XML-файл на более мелкие.
- Сначала нажмите кнопку «Добавить XML-файл(ы)», чтобы указать путь ввода файла для разделения, или легко перетащите файлы.
- Затем выберите тег, по которому будет разбит новый файл.
- Далее выбираем через какой период теги разбить на новый файл.
- Наконец, выберите папку, в которой вы хотите сохранить разделенные файлы, и нажмите «Начать сплит“.
Разделить большой файл XML в Windows (метод № 2)
Вот еще одно приложение для Windows, которое также поможет — WXR File Spllitter. Это приложение не требует установки, вы можете использовать его сразу после загрузки.
После открытия вы увидите окно разделителя файлов WXR. Нажмите кнопку «Открыть файл WXR», чтобы импортировать большой файл XML, затем нажмите кнопку «Разделить файл», чтобы начать разделение большого файла XML.
И когда файл будет разделен, вы увидите результат в открытом окне расположения файла.
Разделить большой файл XML в macOS (метод №1)
EasySplitMerge — это инструмент для разделения и объединения файлов. Он не уничтожает и не удаляет какую-либо часть ваших данных, и вы получите те же файлы, что и до разделения.
Как правило, большие файлы трудно передавать, поэтому их разделение на более мелкие части облегчает пользователям задачу. Уникальная особенность инструмента заключается в том, что он определяет размер разделяемых файлов.
Вот как использовать EasySplitMerge, но сначала вам нужно скачать приложение.
- Нажмите на Разделить файл кнопка.
- Выберите, какой файл разделить и где сохранить разделенные. Затем выберите один из двух основных вариантов разделения файла: разделить файл по размеру или разделить файл по количеству файлов.
- И последний шаг — просто нажать на кнопку Начать раскол кнопка.
Разделить большой файл XML в macOS (метод № 2)
Чтобы разделить большой файл или, в данном случае, большой XML-файл, вы также можете использовать этот простой скрипт Python под названием «mainSplit.py».
Загрузите скрипт mainSplit.py, убедитесь, что файл загружен с расширением (.py), а не с расширением (.txt). После загрузки запустите приложение «Терминал» («Внутри приложения» > «Утилиты») на вашем Mac и введите следующую командную строку:
Выполнение вышеуказанной команды запустит пользовательский интерфейс приложения WordPress XML Splitter. Нажмите кнопку «Обзор файла», чтобы найти файл XML, который вы хотите разделить, а затем выберите папку, в которую вы хотите сохранить файл, нажав «Обзор каталога».
Когда все будет готово, нажмите кнопку «Старт», и обработка начнется немедленно.
Чтобы проверить разделенные файлы, перейдите в каталог, который вы выбрали ранее.
Разделить большой файл XML в Linux
WoodCutter — это легкая программа для резки файлов для Linux; у него также есть версия для Windows. Это также многофункциональный инструмент, который можно использовать для объединения файлов, а также для их разделения.
Это приложение поддерживает различные форматы файлов, в том числе и тот, который нам нужен — XML. Используя этот инструмент, вы можете разбить любой файл на более мелкие части и поделиться ими с другими пользователями одним щелчком мыши.
Вы также можете указать размер разделенных файлов с помощью этого приложения, и после этого вы получите количество файлов в соответствии с этим размером.
Вот как это работает:
- Нажми на “Задача», а затем на «Разделить файл” кнопка.
- Теперь вам нужно нажать кнопку «Обзор» и открыть файл, который вы хотите разделить.
- Выберите максимальный размер разделения файла в ГБ, МБ или КБ. И, если вы хотите, вы можете выбрать каталог назначения, в который будут загружены разделенные файлы.
- Окончательно. нажмите «Запустите процесс разделения.”
Разбить XML файл на несколько частей.
Есть что-то готовое для резки XML (хотя с трудом представляю как. ) на части. Мне надо распилить файл где-то на 20 частей.
По каким критериям резать? Надо ли на выходе получать well-formed/valid XML?
Скорее всего, кури XPath и XSLT.
есть многое на свете, друг горацио, что и не снилось нашим мудрецам
xmllint —help | grep xpath; xslt
Надо ли на выходе получать well-formed/valid XML?
Да. Допустим порезать между тегами 2 уровня вложенности.
Подозреваю тебе прийдется сделать это «аналитически». Используя любую библиотеку считывать, зная формат определять в место разрыва (зная формат его можно определить), например если дерево двухуровневое, можно складывать
50% тегов в один файл и 50% в другой, дублируя корень. Не думаю что есть универсальный инструмент для такого. Это же как резать без рентгена.
Как разделить один большой XML-файл на несколько мелких — программа WXR File Splitter
Программы
Если вы будете экспортировать содержимое блога,используя стандартную функцию импорта в XML-фал, то при большом объеме информации может оказаться, что этот файл будет большого размера. Настолько большого, что потом вы не сможете импортировать из него данные, так как он будет превышать максимально допустимый при импорте размер в 2 мегабайта. Конечно, это слишком маленький размер, если речь идет об импорте большого блога с многолетней историей и тысячами постов и страниц. Приходится применять хитрые подходы к экспорту, создавая XML-файлы, содержащие только посты за один месяц, но в очень активных блогах даже такой подход может не всегда выручать. Найти выход из такого положения позволяет программа WXR File Splitter.
Эта простая программа позволяет разрезать один большой XML-файл на несколько небольших без ущерба их работоспособности — каждый файл может быть открыт отдельно. Все, что вам нужно, так это указать исходный файл и выставить максимальный размер. Программа аккуратно разрежет исходный файл на несколько файлов установленного размера, автоматически дав им название, используя название исходного файла, и пронумеровав.
После этого при экспорте содержимого блога в файл XML вы можете не беспокоиться о его размере, ведь в любой момент вы можете разделить его на несколько файлов приемлемого для импорта размера, и по очереди импортировать данные из этих файлов.
WXR File Splitter 
Разделение больших XML документов (на основе решения по трансфертному ценообразованию)
Из-за юридических требований может потребоваться разделить большие XML файлы на более мелкие части. Разделение может быть как по размеру, так и по данным. В настоящее время XML генератор поддерживает разделение по содержимому данных. В этом примере SAP Delivered Hierarchy «RUTP» будет изменена для создания нескольких XML файлов вместо одного большого. В этом примере разбиение будет основано на значении поля «TRAN_NUM» таблицы «LIST_1A». Это делается для демонстрационных целей, в зависимости от бизнес-процессов, используемых в компании, критерии разделения должны быть заданы для разных комбинаций полей.
Настройка разделения
Скопируйте существующую иерархию «RUTP» в поле имён клиента, например «ZRUTP» с использованием транзакции J3RTAXREP.
Текущее значение переменной
Создайте технический атрибут “split holder” через “Файл”. Этот элемент будет содержать текущее значение хода обработки.
Критерий разделения
Выберите корневой узел иерархии и определите критерии разделения.
В начале следует выбрать флаг “Has splitting condition(s)”. После этого будут показаны дополнительные таблицы.
Группы вывода
Этот раздел позволяет определить группы. Цель группы – собрать уникальные ключи. Для каждой уникальной ключевой комбинации разделяйте XML документ. Для этой демонстрационной цели определение сложных групп не требуется, поэтому в «Группах вывода» требуется определить только один атрибут, созданный на предыдущем шаге.
Критерий разделения
В этой таблице требуется определить группу, созданную на предыдущем шаге, выбрать, кто предоставляет данные, таблицу и поле имени.
Дополнительные данные
Формат трансфертного ценообразования 5.02 требует заполнения дополнительных данных, если используется разделение (сплит).
Эти дополнительные данные должны быть представлены в перечисленных атрибутах:
- ИдФайлИсх – имя исходного файла (имя файла, которое создается, если разделение не было использовано)
- ИдФайлПерв – имя первого сгенерированного файла при использовании разделения
- КолФайл – общее количество файлов
- НомФайл – номер текущего файла
Все эти атрибуты должны быть прикреплены к элементу “Файл”.
Если таких атрибутов не существует, создайте необходимые атрибуты со значениями: символьный, максимальная длина — 100 и поставьте флажок «Обязательный».
Атрибут “ИдФайл”
‘UT_UVKNRSD’ & ‘_’ & ATTRIB-ДОКУМЕНТ->КОДНО & ‘_’ & ATTRIB-ДОКУМЕНТ->КОДНО & ‘_’ & ATTRIB-НПЮЛ->ИННЮЛ & ATTRIB-НПЮЛ->КПП & ‘_’ & SYST-DATUM & ‘_’ & ATTRIB-ДОКУМЕНТ->НОМКОРР & ‘_’ & STR_CONDENSE( SELSCR_ROLE-SPLIT_COUNTER )
Это выражение добавит суффикс к сгенерированному имени файла. Данный суффикс соответствует номеру обрабатываемого документа, начиная с “1”.
Атрибут “ИдФайлИсх”
Выставите тип атрибута на “3 – формульное значение” и используйте следующее выражение:
‘UT_UVKNRSD’ & ‘_’ & ATTRIB-ДОКУМЕНТ->КОДНО & ‘_’ & ATTRIB-ДОКУМЕНТ->КОДНО & ‘_’ & ATTRIB-НПЮЛ->ИННЮЛ & ATTRIB-НПЮЛ->КПП & ‘_’ & SYST-DATUM & ‘_’ & ATTRIB-ДОКУМЕНТ->НОМКОРР & ‘_1’
Атрибут "ИдФайлПерв"
Установите тип атрибута «3 — формульное значение» и предоставьте следующее выражение
‘UT_UVKNRSD’ & ‘_’ & ATTRIB-ДОКУМЕНТ-> КОДНО & ‘_’ & ATTRIB-ДОКУМЕНТ-> КОДНО & ‘_’ & ATTRIB-НПЮЛ-> ИННЮЛ & ATTRIB-НПЮЛ-> КПП & ‘_’ & SYST- DATUM & ‘_’ & ATTRIB-ДОКУМЕНТ-> НОМКОРР & ‘_1’
Атрибут “КолФайл”
Выставите “Тип данных” – целочисленный и тип атрибута на “3 с формульное значение” и используйте следующее выражение:
TAB_COUNT( ‘RUTP’, ‘ET_LIST1A’, ‘TRAN_NUM’, » )
Атрибут “НомФайл”
Установите тип атрибута на “Фиксированное значение” и “Тип данных” на целочисленный. Назначьте этот атрибут на глобальный параметр “SPLIT_COUNTER”
Создание имени файла
В текущей поставляемой иерархии “RUTP” имя файла берется из вызванной транзакции J3RFTRPR. Таким образом, все сгенерированные файлы будут иметь одинаковые имена. Это неприемлемо и должно быть исправлено.
Создайте технический атрибут “Имя файла” с типом “3 – формульное значение” и типом данных “Символьный” с максимальной длинной = 100.
Назначьте атрибут “Имя файла” элемента “Файл” на глобальный параметр “XMLFILENAME”. Это заменит имя файла, предоставленное J3RFTRPR, сгенерированным новым.
Отрегулируйте формулу на:
‘\’ & ATTRIB-ФАЙЛ->ИДФАЙЛ & ‘.xml’
Тестирование
Запустите транзакцию J3RFTRPR
Заполните поле »Reporting hierarchy code» фактическим именем из заданной иерархии. В этом демо это “ZRUTP”. Продолжите, нажав F8.
Нажмите “Скачать XML файл” (Shift+F5), далее откроется окно с выбором папки.
Проверьте содержимое выбранной папки. Если порядок был настроен как описано и полученные данные имеют более чем одно уникальное значение в поле “Tran_num”, в таком случае создадутся несколько документов.
Список файлов
Содержимое файлов
Во всех этих файлах атрибут “ИдФайлИсх” должен быть одинаковым, тоже самое действительно и к атрибуту “ИдФайлПерв”. Количество файлов должно быть равно указанному значению в атрибуте “КолФайл” и для каждого файла его номер должен отличаться.