What Is SAP HANA and How Does It Work?
Infrastructure managers are struggling to meet the demands of big data while staying within budget. The rise of the internet of things (IoT) alone has burdened companies with continual streams of information from beacons and sensors. The report, The Internet of Things: Today and Tomorrow, predicts that 85% of companies will adopt IoT by 2019.
Not only are data volumes growing, but data analytics are becoming more sophisticated, requiring more advanced applications to gain profitable insights. According to Dan Vesset, an analyst at Framingham, Massachusetts-based IDC, “The more analytically oriented a company was, the more competitive they were in their industry.”
To meet these demands, IT leaders need to rethink their approach to data center architecture. Provisioning more storage only solves a small part of the complex problem. Better tools are needed for organizing, processing, and securing data. All of this must be done quickly so your business can gain actionable insights.
Simply adding storage capacity will not secure the full digital transformation needed for absolute efficiency. SAP HANA’s data processing environment provides a comprehensive solution that combines storage, data processing, advanced analytics, and application development capabilities.
Building a Better Data Center
SAP HANA is designed for big data. The environment combines transactional and analytic data processing. In-memory computing allows fast access to data without having to go to disk. Information can be drawn from internal databases in CRM and ERP systems or from external sources. Even streaming information from IoT sensors is a piece of cake for SAP HANA. Large volumes of data can be transferred through multi-core processing without latency or bottlenecks.
Built-in tools for data management ensure that your data will be stored efficiently. Tiered storage moves mission-critical data to higher performing, more costly storage, while archived data moves to slower, inexpensive storage. Take the middle road with SAP HANA. Multiple workloads can be consolidated on a single system to streamline workflows. The system also automatically reduces redundancy so data takes up less space.
Gaining Deeper Insights From Data
SAP HANA does more than store and manage data. The system equips your company with the right tools to gain crucial business intelligence. Built-in analytics algorithms enable both predictive analytics and machine learning.
Predictive analytics empowers your company to forecast trends so you can adapt to better serve customers and clients. By anticipating problems and examining what works well, your business will be able to develop new and better business processes.
With the machine learning capabilities of SAP HANA, both structured and unstructured data can be processed through a combination of textual and spatial analysis. Machine learning allows your company to absorb encyclopedic amounts of information that can then be used to draw logical conclusions.
Paving the Road to Innovation
With SAP HANA, your company isn’t limited to using outside analytics applications. The platform allows your developers to build real-time applications tailored to your company’s unique needs. For example, an insurance brokerage firm used SAP HANA to develop Vivaldi, an application that conducts weather risk assessments so farmers can choose the right policy.
SAP HANA supports a variety of programming languages so your developers can work to their strengths.
Exploring SAP HANA Deployment Options
Does SAP HANA sound like the perfect solution to your infrastructure woes? It gets better. SAP HANA presents a variety of options that help create a smaller footprint, including on-premises, public cloud, or hybrid cloud implementations.
For on-premises deployments, SAP HANA offers preconfigured hardware and preinstalled software. A preconfigured appliance means your company will enjoy the added value of the platform in no time. A Tailored Data Center Integration (TDI) gives you more flexibility to choose your hardware. You have the option of running SAP HANA on x86, but POWER8 gives you even higher performance and efficiency. Running SAP HANA on IBM Power Systems gives you 4X the performance of x86 servers. SAP HANA will take you through the sizing process to ensure that you provision the hardware necessary to meet your workload requirements.
If you decide to run SAP HANA in the cloud, you can choose between private cloud with managed services or infrastructure as a service (IaaS) with subscription options for public cloud.
Getting on Board With SAP HANA
Big data asks that infrastructure managers go beyond merely expanding storage capacity. IT environments need to enable your team to work smarter with data by managing information more efficiently and creating more opportunities for gaining real-time insights through advanced analytics.
Rethinking your infrastructure can be daunting, but SAP HANA experts have worked to make the implementation process less stressful for your company.
Что такое SAP HANA
SAP HANA (от High-performance ANalytic Appliance или высокопроизводительное аналитическое устройство) — это мультимодельная база данных. Её особенность в том, что она хранит данные в собственной памяти, а не на диске. Это позволяет значительно быстрее осуществлять обработку данных и проводить расширенную аналитику в реальном времени.
SAP HANA может выступать в роли платформы под программы для планирования ресурсов предприятия (ERP) и прочих бизнес-приложений. Размещаться она может на локальных серверах, либо в облаке.
Платформа способна интегрировать данные из группы областей внутри организации:
- Деловые документы, такие как контракты, электронные таблицы
- Формы сайтов, электронные письма и другие варианты взаимодействия с клиентами.
- Информация с мобильных устройств клиентов и сотрудников
- IoT (Интернет вещей) — данные с различных датчиков, которые используются в работе бизнеса (на складах, в грузовом транспорте, магазинах и т.п.)
Система SAP HANA может объединять эти данные, а также использовать ИИ, машинное обучение для выполнения анализа и принятия решений в режиме реального времени.
Преимущества системы
Во многих компаниях террабайты данных находятся в хранилищах и никак не используются. Система SAP HANA может заставить эти данные работать. Этому способствует скоростная обработка в памяти и анализ данных в реальном времени на основе машинного обучения. SAP HANA позволяет оптимизировать процессы, устранять ошибки и предоставлять тем самым преимущества клиентам.
Благодаря SAP HANA можно упростить ИТ-окружение, так как для всех аналитических приложений будет использоваться единая платформа. Снижается избыточность данных, требуется меньше оборудования для IT-операций.
В SAP HANA по умолчанию присутствует сквозная интеграция практически со всеми бизнес-приложениями SAP.
Основные возможности
На платформе SAP HANA можно создать собственные инструменты и приложения, объединяющие бизнес-логику, логику управления и уровень базы данных с высочайшей производительностью.
Улучшение базы данных
Обычно системы баз данных организованы вокруг единой модели, из-за чего способы организации, хранения и обработки этих данных ограничены. База данных SAP HANA имеет несколько моделей в единой интегрированной серверной части, благодаря этому упрощается установление взаимосвязей между точками данных.
Улучшение управления данными
За счёт технологии SAP HANA in-memory больше нет необходимости в громоздкой пакетной обработке, все процессы происходят в режиме реального времени. Бизнес может упростить свои системы управления и менять их по мере необходимости, чтобы повысить эффективность.
Расширенная обработка аналитики
Объём поступающих данных может быть огромным. Механизм машинного обучения SAP HANA самостоятельно извлекает данные, а потом передаёт их на сервер в режиме реального времени. При этом мгновенно выявляются проблемы, принимаются инженерные решения.
Разработка приложения
Система стека ПО, работающая поверх базы данных SAP HANA функционирует, как независимый сервер для любых веб-приложений. Сервер может взаимодействовать с любыми типами файлов и обмениваться данными с любым ПО. Это позволяет быстро разрабатывать и развертывать уникальные настраиваемые запросы и процессы.
Улучшение инструментов
Расширенная аналитическая обработка SAP HANA позволяет создавать простые инструменты для подготовки настраиваемых отчетов без помощи IT-специалистов или сторонних консультантов.
Примеры использования
Первое время SAP HANA чаще применялась для быстрого анализа данных. Также она даёт повышение производительности в типичных транзакционных приложениях. Но наиболее ощутимые преимущества заметны, когда приложение оптимизируется для SAP HANA, и ей передаётся на исполнение часть прикладной логики. В результате все корпоративные приложения работают всего с одним экземпляром баз данных.
SAP HANA будет полезна в банковском секторе, где позволяет понизить нормы резервирования, а также риски. В финансовой сфере позволяет сократить время закрытия периода, оперативнее получать консолидированную отчетность. Также внедрение системы хорошо показывает себя в нефтегазовом комплексе, металлургии, транспорте, машиностроении, госсекторе и др.
Для SAP-специалистов, которые занимаются внедрением SAP HANA на предприятиях у Cloud4Y есть выгодная партнёрская программа.
Sap hana что это такое
SAP HANA (High-performance ANalytic Appliance) is a multi-model database that stores data in its memory instead of keeping it on a disk. This results in data processing that is magnitudes faster than that of disk-based data systems, allowing for advanced, real-time analytics.
Serving as a platform for enterprise resource planning (ERP) software and other business applications, SAP HANA can be placed on premises, in the cloud, or both, in a hybrid cloud system.
SAP HANA integrates data from multiple areas within an organization, for example:
- Traditional business documents – including contracts and spreadsheets
- UX/UI (User Experience/User Interface) – including website forms, emails and other customer interactions
- Mobile – information from the mobile devices of customers and your workforce (Internet of Things) – data from the many sensors that run in every aspect of a business, from warehouses and trucks to stores and offices
The SAP HANA system not only integrates all of this data; it can also apply machine learning and AI to analyze it instantly and deeply, accelerating real-time decision-making by providing key insights into a company’s operations.
Many organizations have vast amounts of data that essentially sits in a data warehouse and provides no value, amounting to terabytes of untapped potential that could be used to accelerate business impact and provide greater customer value.
With its lightning-fast, in-memory processing and real-time data analytics powered by machine learning, SAP HANA harnesses a company’s data and puts it to work for them, streamlining processes, eliminating errors, and providing benefits to clients, customers and employees. Enhance customer satisfaction with up-to-the minute product availability that can be accessed on any smart phone. Keep employees happy with simplified accounting processes, instant updates on benefits or vacation time, and enhanced collaboration platforms. And help managers and executives plan for the future with predictive analytics that can forecast supply chain issues, manage cash flow, and integrate team workflows for heightened efficiency.
SAP (link resides outside ibm.com) (historically an acronym for Systems, Applications, and Products in Data Processing) is a German software company that develops Enterprise Resource Planning (ERP) systems and other business suites to help manage operations and customer interactions.
SAP moved into cloud-based products in 2012, when it first developed the SAP HANA appliance. SAP launched SAP S/4HANA, a next-generation business suite designed only to run on the HANA server, in 2015.
SAP HANA features
SAP HANA’s in-memory, multi-model data management engine takes full advantage of the capabilities of its hardware to minimize data movements, thus increasing application speed and agility as it analyzes real-time data.
Depending on the needs of an enterprise, SAP HANA can be deployed on premises, in the cloud, or as a hybrid system, blending the privacy and control of an on-premises system with the lower cost, greater memory, and increased access of the cloud. Its ability to efficiently process enormous amounts of data makes it easily scalable to suit a growing business without sacrificing security or stability.
On the SAP HANA platform, developers can build their own tools and applications that integrate business logic, control logic, and the database layer with unprecedented performance.
Database Enhancement
Most database systems are organized around a single data model that limits how that data can be organized, stored, and manipulated. SAP HANA’s multi-model database supports multiple data models against a single integrated backend, making it easy to establish the relationships among data points.
Data Management Enhancement
SAP HANA’s in-memory technology has put an end to cumbersome batch processing, instead keeping all data highly available with no latency – all processes take place in real time. Enterprises can dramatically simplify their management systems and change them as needed to improve efficiencies.
Advanced Analytics Processing
Real-time analytics makes it possible to tap into massive amounts of data, such as that coming from IoT sensors and mobile. SAP HANA’s machine learning engine extracts data from and writes to the server in real time, instantly identifying problems and engineering solutions in every aspect of an enterprise, from payroll to human resources to customer care to supplier management and more.
Application Development
Running on top of the SAP HANA database is a software stack system that acts as a tech-agnostic server for any web-based applications – SAP or non-SAP – that a developer chooses to create. Since the server can interact with all file types and exchange data with any software, businesses can rapidly develop and deploy customized queries and processes that are uniquely helpful to them.
Tools Enhancement
SAP HANA’s advanced analytical processing allows developers to build simple tools that business teams can easily use to produce custom reports – without help from IT or external consultants.
As global strategic partners, SAP and IBM have been collaborating and co-innovating for more than 25 years. Since the arrival of SAP HANA in 2012, IBM has developed a variety of software and hardware solutions that help businesses maximize the potential of SAP’s flexible business suites on SAP HANA.
Case studies show that companies that have migrated their ERP environments to SAP HANA supported by IBM Power Systems™ have enjoyed improved application performance, advanced digital self-service for customers, agile mobile capabilities, and more. Hear customers talk about their successes with the security, reliability, and performance of SAP HANA supported by IBM Power Systems.
Solutions
SAP HANA on the IBM Power Virtual Server is a flexible solution that provides the option of hybrid cloud systems for SAP customers, whether they choose classic SAP ECC on AIX or SAP S/4HANA on Linux.
Next-generation IBM Power Systems servers are the industry leader in reliability. Optimized for Linux, the systems allow for multiple cloud deployment options and are designed to handle data-intensive, mission-critical workloads like SAP HANA.
Learn how to combine the value of a SAP HANA investment with award-winning storage solutions from IBM.
IBM Spectrum Protect provides comprehensive data protection for physical file servers, virtual environments, and a wide range of applications. Scale up to manage billions of objects per backup server and reduce backup infrastructure costs with built-in data efficiency.
Strategically paired IBM and SAP experts can help worldwide organizations of any size or industry develop custom plans that lower costs, increase agility, and improve results.
Flexible, secure, and reliable, the IBM Cloud platform has the performance capabilities to deploy SAP S/4HANA. And as an SAP Global Platinum partner, IBM also provides access to more than 37,000 SAP-certified professionals to assist at any stage of an enterprise’s digital transformation.
Функциональность SAP HANA как базы данных для SAP HANA Data Management Suite
Мы продолжаем цикл статей о SAP HANA Data Management Suite – гибриде локальных и облачных технологий, который включает в себя четыре компонента-продукта: SAP Data Hub, SAP HANA, SAP Enterprise Architecture Designer и SAP Cloud Platform Big Data Services.
Сочетание этих решений позволяет создать целостную структуру управления данными с следующими функциями:
- отслеживание происхождения данных
- отслеживание изменений в данных и их структуре
- комплексное понимание метаданных
- поддержка необходимого уровня безопасности
- централизованный мониторинг
SAP проводил и продолжает проводить исследования, инвестирует большие ресурсы и средства в развитие направления по обработке данных. В результате появилась платформа SAP HANA – High-Performance Analytic Appliance. У нашей компании уже был накоплен многолетний и по-своему уникальный опыт по разработке технологий и сервисов для бизнеса – и в SAP применили его при создании платформы для бизнеса для realtime обработки данных. В результате появилась SAP HANA, которая стала основой и ядром для разработки и построения интеллектуальных предприятий нового типа (intelligent enterprise). Платформу используют для разработки приложений как внутри SAP, так и наши клиенты и партнёры.
SAP HANA – это многоцелевое решение для хранения и обработки информации. Одна из особенностей SAP HANA – это встроенный механизм вычислений, который позволяет переносить выполнение операций по планированию с уровня приложений на уровень базы данных SAP HANA. С помощью современной архитектуры аппаратной платформы вычисления проходят эффективнее – вся «лавина» обрабатываемых данных разбивается на строго определённое количество потоков, число которых равно общему количеству ядер платформы. Такой подход позволяет максимально эффективно использовать вычислительную мощность каждого ядра каждого процессора.
SAP HANA также предоставляет технологии для хранения и обработки данных in-memory. SAP HANA как база данных позволяет хранить данные в построчном и в поколоночном виде. Технология хранения и обработки данных in-memory обеспечивает быструю обработку транзакций, а вместе технологией анализа данных Calculation View гарантирует высокое быстродействие при выполнении аналитических запросов.
Аналитики Forrester начали использовать новое понятие – «транслитическая база данных». По их определению, такая платформа «поддерживает многие типы использования, включая информацию в режиме реального времени, машинное обучение, поточную аналитику и экстремальную транзакционную обработку».
В недавнем отчёте Forrester говорится следующее: «SAP HANA – это shared-nothing (без общего использования ресурсов), in-memory платформа. Это основа платформы SAP для транзакций и аналитики по данным, она поддерживает множество сценариев применения: приложения для обработки данный в режиме реального времени, аналитика, транслитические приложения, системы глубокой и продвинутой аналитики. Предприятия используют платформу для организации in-memory витрин данных, для работы с realtime-хранилищем данных SAP Business Warehouse, а также при работе с SAP S/4HANA и SAP Business Suite».
Транслитические платформы подходят для поддержки realtime-приложений и сервисов: для торговли акциями, обнаружения мошенничества, борьбы с терроризмом, мониторинга здоровья пациентов, анализа данных от различных сенсоров, мониторинга землетрясений и много другого. С помощью транслитической платформы приложения могут обмениваться данными в реальном времени, обеспечивают согласованность и точность информации, хранимой на предприятии.
Ещё одна сфера применения SAP HANA – это поддержка машинного обучения, что позволяет применять к данным сложные аналитические модели для более точного прогнозирования операций, бизнес-процессов, поведения клиентов и т.д.
Как SAP HANA поддерживает данную функциональность?
Начнём с сервиса баз данных. Если рассматривать HANA с точки зрения архитектуры и технологий, то здесь применяются два способа хранения данных – построчный и поколоночный.
Построчное хранение данных в таблице позволяет обеспечивать высокую скорость записи данных. Если вы хотите добавить новую строку в таблицу, то вам достаточно найти свободное место в памяти для этой строки и записать туда новые данные. Однако при построчном хранении возникает проблема с анализом данных: необходимо использовать индексирование или материализованное представление данных в форме, которая будет удобна для анализа. При этом индексирование приводит к задержкам из-за того, что необходимо дополнительное время на перестроение индекса, материализацию данных в ином формате в процессе вставки строки.
Если же данные хранятся поколоночно, то для добавления новой строки необходимо потратить время на разнесение значений строки по колонкам, затем – подождать, пока данные будут разнесены в разные места в памяти. Всё это приводит к снижению производительности во время записи данных.
База данных с поколоночным хранением позволяет значительно быстрее обрабатывать запросы, потому что в этом случае данные из запрошенных колонок расположены в памяти компактно и сжато. Т.е. при запросе нет необходимости сканировать всю таблицу – достаточно просмотреть только колонки, используемые в запросе. Такая база данных оптимизирована для чтения, а поколоночное хранение информации позволяет организовывать данные в оперативной памяти определенным образом, с использованием группировки. При этом подходе можно с большей эффективностью использовать различные техники компрессии, что приводит к многократному сжатию исходной информации.
Для решения этой проблемы был разработан подход Unified Tables, который обеспечивает высокую скорость чтения и записи данных в таблицу поколоночного хранения. Такой механизм позволяет быстро осуществлять транзакции (то есть запись новых строк), анализировать данные с высокой скоростью за счёт поколоночного хранения в сжатом виде, параллельной обработки данных, а также хранить все данные в оперативной памяти (in-memory).
При проведении записи изменения не сразу вносятся в основное место хранения таблиц. Вместо этого все правки заносятся в отдельную структуру данных – дельта-хранилище (на картинке L1-delta). Здесь данные хранятся в оптимизированном для записи формате. Когда необходимо перенести изменения из дельта-хранилища, то запускается специальный процесс Delta merge – слияние дельты. Сначала данные из L1-delta преобразуются в поколоночный формат в L2-delta, а затем объединяются с основным хранением данных (main store). А для механизма чтения данных все три области хранения информации (L1-delta, L2-delta и main store) предоставляют данные в целостном виде. Благодаря этому процессу получается обеспечить высокую скорость записи и анализа данных.
Одно из существенных преимуществ SAP HANA – все расчеты агрегированных данных производятся непосредственно при формировании аналитического запроса и выводятся сразу в виде результата. Возможности по хранению детальных или исходных данных в оперативной памяти (а не агрегированных значений) позволяют отказаться от предварительного расчета и хранения агрегатных таблиц, которые являются неотъемлемой частью классических аналитических систем.
SAP HANA также поддерживает различные внутренние языки программирования: R – для создания прогнозных моделей, SQL Script – для написания логики вычислений. На уровне сервера приложений XSA, встроенного в SAP HANA 2.0, можно выполнять разработку на многих других языках благодаря поддержки концепции Bring Your Own Language (и за счёт использования Cloud Foundry). С помощью этих языков можно производить необходимые вычисления и прогнозы непосредственно на уровне хранения данных. Это позволяет избавиться от лишних этапов передачи больших объёмов данных и выдавать готовый результат расчетов на уровень приложения.
Теперь рассмотрим платформенные сервисы SAP HANA.
Сервисы SAP HANA Platform
В SAP HANA есть не только база данных, но и целый набор сервисов для разработки приложений, средства интеграции и очистки данных, библиотеки для аналитической обработки данных, включая Machine Learning, а также возможности для хранения и обработки специальных типов данных. SAP HANA позволяет без дополнительных инструментов загружать данные из различных источников, разрабатывать различные формы для ввода, редактирования и анализа данных. Также доступны инструменты для сложной интеллектуальной обработки данных: преобразование, трансформация, поиск закономерностей, исследования. И, конечно, платформа открыта для визуального анализа данных через различные инструменты.
Чтобы рассказать о всех возможностях SAP HANA, потребуется написать несколько дополнительных статей. Многие из них уже описаны в нашем блоге.
Давайте рассмотрим некоторые доступные сервисы:
SAP HANA включает в себя движок для хранения и обработки геоданных – данных, которые описывают положение, форму и ориентацию объектов в пространстве. SAP HANA поддерживает пространственные типы данных и методы их обработки. Существует специальный метод для обработки такой структуры – граф. SAP HANA в этом случае предоставляет возможности для обработки гиперсвязанных данных и их отношений. Движок для обработки данных имеет встроенные алгоритмы поиска окрестностей, кратчайших путей, сильно связанных компонент, сопоставления образцов и многое другое.
В SAP HANA также есть сотня предварительно упакованных алгоритмов машинного обучения и прогнозирования с такими возможностями, как объединение, кластеризация, классификация, регрессия, распределение вероятности, временные ряды и многое другое. Кроме этого, вы можете использовать библиотеку TensorFlow и язык R.
SAP HANA имеет встроенные возможности для обработки и анализа текстовых файлов, включая различные функции по интеллектуальному анализу текстов – например, нечеткая логика, поиск синонимов, семантический разбор и т.д.
SAP HANA Streaming Analytics может фиксировать, фильтровать, анализировать и воздействовать на миллионы событий в секунду в режиме реального времени, сохраняя данные или результаты в базу данных SAP HANA и направляя менее критические данные в более дешевые решения для хранения — такие, как Hadoop. SAP HANA Streaming Analytics также интегрирована с системой сообщений Apache Kafka.
Полезные материалы и ресурсы для начала работы с SAP HANA:
Бесплатная ознакомительная версия SAP HANA, express edition доступна для скачивания на нашем официальном сайте. Также в начале работы вы можете изучить набор туториалов перед началом работы с SAP HANA:
— виртуальная машина и версия Server + XSA Applications для SAP HANA и видеоинструкция по её установке
— в наборе туториалов есть широкий выбор. Например, для работы с пространственными данными: первый и второй