Как открыть json файл в виде таблицы

Что, где, откуда: извлекаем реляционный датасет из JSON

Иногда специфику работы дата‑инженера можно описать следующей картинкой:

И сейчас я расскажу почему: в одном проекте необходимо было использовать датасет, представляющий из себя около 5 млн. статей и связанных с ними сущностей (авторы, издательства, и т. д.).

Отмечу, что перед командой стояла задача адаптировать и загрузить этот датасет в PostgreSQL. При адаптации датасета необходимо было сохранить все связи между сущностями «Статья»‑»Автор», «Статья»‑»Издательство», «Статья»‑»Ключевое слово». Можно поспорить, что такой датасет можно сразу загрузить в MongoDB, ведь она является документоориентированной СУБД и гораздо лучше заточена для работы со слабоструктурированными сущностями, но в нашей команде не было достаточных навыков работы с ней.

Датасеты поставляются в формате одного JSON‑файла. Ниже привожу выдержку из описания датасета, составленного его авторами — с полной версией можно ознакомиться на странице датасета.

Какой вывод можно сделать из этого описания? У датасета есть структура, и она, на первый взгляд, кажется простой — создаётся впечатление, что датасет можно легко трансформировать в любой нужный нам вид. При его преобразовании в валидный для реляционных СУБД вид, достаточно будет извлечь отдельные столбцы, образовать связи между таблицами путем извлечения пар их ID. Так думал и я, решив, что преобразование этого датасета не займет много времени.

Первое, с чем мне пришлось столкнуться — впечатляющий размер датасета (17 ГБ) и встречающиеся иногда невалидные (нарушен синтаксис, баланс скобок) JSON‑записи.

Второе — записи в датасете слабоструктурированы. Слабоструктурированные сущности в данном контексте — это сущности, под хранение которых нет чётко и однозначно описанной структуры данных, как в тех же реляционных СУБД. В соседних записях половина атрибутов может быть общей для всех, а другая половина — быть уникальной для данной конкретной записи.

Таким образом, требовалось понять, что датасет из себя представляет и провести разведочный анализ. Было решено подгружать датасет в pandas с разбивкой по группам строк (чанкам), т.к.:

Сырой JSON‑файл размером в 17 ГБ целиком не загрузить как в текстовый редактор, так и в словарь через библиотеку json. В pandas через доп.параметр chunksize этот момент можно контролировать

Неясно, сколько на самом деле атрибутов, как они форматированы в JSON, насколько сложно их будет читать в сыром виде. Pandas хотя бы на верхнем уровне может представить записи в виде таблицы с плоской структурой.

Как и ожидалось, связанные со статьей сущности (авторы, издания), оформлены не в виде плоской структуры (одна строка — одна статья — один автор), а в виде вложенных списков внутри столбцов таблицы:

Для того, чтобы такие отношения между статьями и авторами, изданиями корректно отразить в реляционной СУБД, нам необходимо выровнять сущности, нормализовать и правильно смоделировать связь «Многие‑ко‑многим».

Если эти термины незнакомы, покажу на пальцах, как это работает. Допустим, мы имеем следующую таблицу:

И мы придерживаемся следующего порядка действий:

Преобразуем таблицу в первую нормальную форму (1НФ):

В новой структуре таблицы одной связи будет соответствовать ровно одна строка.

Дополнительно присвоим каждому из значений столбцов уникальный ID:

Разбиваем таблицу на две, а для их связи создаём дополнительную таблицу, в которой будут храниться пары ID подписчиков и издателей:

Естественно, пример, который я привёл выше, является сильно упрощенным «объяснением на пальцах», однако он позволяет продемонстрировать, что будет происходить дальше. Теперь я реализую это на Python:

Пояснения к отдельным вызовам функций я прикрепил в комментариях. В целом, логика работы с датасетом соответствует той, что я описывал ранее.

Попробуем выполнить этот код.

Оказывается, у некоторых авторов нет даже ID, о чем нам красноречиво сигнализирует эта ошибка.

Чтобы обойти этот недостаток датасета, напишем функцию генерации недостающих ID и интегрируем её в обработку.

Выбор 24-символьного UUID обусловлен тем, что этот формат ID уже применяется в датасете, и у меня нет особой потребности переделывать их под какой‑то другой формат.

За скобками я оставил дополнительный скрипт, который проверяет уникальность каждого ID — поскольку ID будут использоваться как первичные ключи таблиц, необходимо исключить их дублирование. Хотя эта проверка у меня не выявила дублирования (кстати, СУБД тоже нормально приняла датасет). Этими проверками пренебрегать не стоит.

После того, как датасет обработан, остается залить его в заранее подготовленные таблицы и можно спокойно им пользоваться.

Подведем итоги

Когда мы сталкиваемся с большим ненормализованным датасетом, да еще и в формате JSON, который нужно переложить в связанные SQL‑таблицы, мы:

Читаем датасет по чанкам;

Анализируем датасет на качество, смотрим на атрибуты;

Нормализуем датасет, раскрываем связи между сущностями и следим за их целостностью.

В целом, знание этих пунктов позволит сразу адаптировать датасет под реляционные СУБД и значительно сократить время, затраченное на его обработку, ведь со структурной точки зрения его не потребуется переделывать бессчётное количество раз. А для всего остального — есть функционал SQL. Удачи!

Открываем файлы JSON

чем открыть json

Знакомые с программированием люди сразу узнают файлы с расширением JSON. Этот формат – аббревиатура терминов JavaScript Object Notation, и является он по сути текстовым вариантом обмена данными, использующемся в языке программирования JavaScript. Соответственно, справиться с открытием таких файлов поможет либо специализированное ПО, либо текстовые редакторы.

Открываем скриптовые файлы JSON

Основной особенностью скриптов в формате JSON является взаимозаменяемость его на формат XML. Оба типа представляют собой текстовые документы, которые можно открывать текстовыми процессорами. Однако начнем мы со специализированного ПО.

Способ 1: Altova XMLSpy

Достаточно известная среда разработки, которую используют в том числе и веб-программисты. Эта среда также генерирует файлы JSON, следовательно способна и открывать сторонние документы с таким расширением.

Откройте программу и выберите «File»—«Open…».
В интерфейсе добавления файлов пройдите к папке, где расположен нужный для открытия файл. Выберите его одинарным кликом мышью и нажмите «Открыть».
Содержимое документа будет отображено в центральной области программы, в отдельном окошке просмотрщика-редактора.

Недостатков у данного ПО два. Первый – платная основа распространения. Пробная версия активна 30 дней, однако для её получения необходимо указать имя и почтовый ящик. Второй – общая громоздкость: человеку, которому просто нужно открыть файл, она может показаться чересчур навороченной.

Способ 2: Notepad++

Многофункциональный текстовый редактор Notepad++ — первый из списка подходящих для открытия скриптов в формате JSON.

Откройте Нотепад++, в верхнем меню выберите «Файл»—«Открыть…».
В открывшемся «Проводнике» проследуйте к директории-местонахождению скрипта, который хотите просмотреть. Затем выделите файл и щелкните по кнопке «Открыть».
Документ будет открыт в виде отдельной вкладки в главном окне программы.

Снизу можно быстро просмотреть основные свойства файла – количество строк, кодировку, а также сменить режим редактирования.

Плюсов у Notepad++ изрядно – тут и отображение синтаксиса многих языков программирования, и поддержка плагинов, и малый размер… Однако в силу некоторых особенностей работает программа неторопливо, особенно если открыть в ней объемный документ.

Способ 3: AkelPad

Невероятно простой и в то же время богатый на возможности текстовый редактор от российского разработчика. В число поддерживаемых им форматов входит и JSON.

Откройте приложение. В меню «Файл» кликните по пункту «Открыть…».
Во встроенном Диспетчере файлов доберитесь к каталогу с файлом скрипта. Выделите его и откройте нажатием на соответствующую кнопку.

Обратите внимание, что при выделении документа доступен быстрый просмотр содержимого.
Выбранный вами JSON-скрипт будет открыт в приложении для просмотра и редактирования.

Как и Notepad++, этот вариант блокнота также бесплатен и поддерживает плагины. Он работает шустрее, однако большие и сложные файлы может не открыть с первого раза, так что имейте в виду такую особенность.

Читать:

Как найти максимальную скорость

Способ 4: Komodo Edit

Бесплатное ПО для написания программного кода от компании Komodo. Отличается современным интерфейсом и широкой поддержкой функций для программистов.

Откройте Комодо Эдит. В рабочей вкладке найдите кнопку «Open File» и нажмите её.
Воспользуйтесь «Проводником», чтобы найти местоположение вашего файла. Проделав это, выберите документ, один раз щелкнув по нему мышкой, и используйте кнопку «Открыть».
В рабочей вкладке Komodo Edit будет открыт выбранный ранее документ.

Доступны просмотр, редактирование, а также проверка синтаксиса.

В программе, к сожалению, отсутствует русский язык. Однако рядового пользователя скорее отпугнет избыточный функционал и непонятные элементы интерфейса – все-таки этот редактор ориентирован в первую очередь на программистов.

Способ 5: Sublime Text

Еще один представитель code-oriented текстовых редакторов. Интерфейс проще, чем у коллег, однако возможности те же. Доступна и портативная версия приложения.

Lumpics.ru

Запустите Сублайм Текст. Когда программа будет открыта, проследуйте по пунктам «File»—«Open File».
В окошке «Проводника» действуйте по известному алгоритму: найдите папку с вашим документом, выберите его и воспользуйтесь кнопкой «Открыть».
Содержимое документа доступно для просмотра и изменения в главном окне программы.

Из особенностей стоит отметить быстрый просмотр структуры, расположенный в боковом меню справа.

К сожалению, Sublime Text недоступен на русском языке. Недостатком можно назвать и условно-бесплатную модель распространения: свободная версия ничем не ограничена, но время от времени появляется напоминание о необходимости покупки лицензии.

Способ 6: NFOPad

Простой блокнот, однако для просмотра документов с расширением JSON тоже подойдет.

Запустите блокнот, используйте меню «Файл»—«Открыть».
В интерфейсе «Проводника» проследуйте к папке, в которой хранится JSON-скрипт, который нужно открыть. Обратите внимание, что по умолчанию НФОПад не распознает документы с таким расширением. Чтобы сделать их видимыми для программы, в выпадающем меню «Тип файлов» установите пункт «Все файлы (*.*)».

Когда нужный документ отобразится, выберите его и нажмите на кнопку «Открыть».
Файл будет открыт в главном окне, доступен как для просмотра, так и для редактирования.

NFOPad подходит для просмотра JSON-документов, однако есть нюанс – при открытии некоторых из них программа намертво зависает. С чем связана такая особенность – неизвестно, но будьте внимательны.

Способ 7: Блокнот

И наконец, стандартный текстовый процессор, встроенный в ОС Windows, также способен открывать файлы с расширением JSON.

Откройте программу (напоминаем – «Пуск»—«Все программы»—«Стандартные»). Выберите «Файл», затем «Открыть».
Появится окошко «Проводника». В нем пройдите к папке с нужным файлом, и установите отображение всех файлов в соответствующем выпадающем списке.

Когда файл распознается, выберите его и откройте.
Документ будет открыт.

В завершение скажем следующее: файлы с расширением JSON – обычные текстовые документы, которые могут обрабатывать не только описанные в статье программы, а и куча других, в том числе Microsoft Word и его бесплатные аналоги LibreOffice и OpenOffice. Высокая вероятность того, что с такими файлами смогут справиться и онлайн-сервисы.