Большие данные (англ. Big Data) — совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных колоссальных объемов и огромного многообразия, эффективных в условиях непрерывного стремительного прироста данных, с целью получения воспринимаемых и удобных для обработки человеком результатов.
Сбор данных от большого количества различных источников
Предлагаемая платформа обработки больших данных позволит консолидировать в едином хранилище данных от огромного количества различных источников – приложений, баз данных, терминалов, банкоматов, мониторинговых систем, журналов логирования, вычислительного оборудования и т.д.
Управление поступающим событийным потоком
Управление потоком входящих событий от источников происходит на основе механизма распределенных очередей. Разработанный механизм обеспечивает гарантированную доставку данных до хранилища, высокую пропускную способность и легко масштабируется.
Микросервисная архитектура приложений
Консолидированные в хранилище данные обрабатываются специализированными приложениями – микросервисами – каждое из которых специально адаптировано для выполнения какой-либо конкретной задачи или группы задач.
Анализируя собранные данные микросервисы обеспечивают задачи противодействия мошенничеству, обнаружения вторжений, выдачи рекомендаций и оповещений, поддержки принятия решений и т.д.
Хранилище больших данных
Хранилище платформы базируется на NoSQL технологиях и обеспечивает хранение как структурированных, так и не структурированных данных, а также всей полученной на их основе информации. Встроенный быстрый полнотекстовый поиск позволяет практически моментально найти необходимую информацию в системе. Хранилище спроектировано для хранения многих петабайт данных.
Виртуализация, контейнеризация, управление
Платформа функционирует в кластерной архитектуре, каждый из узлов которой виртуализирован на уровне операционной системы. Фактически в рамках централизованного комплекса может быть обеспечена реализация концепции распределенной информационной системы с множеством узлов равномерно распределяющих нагрузку между собой. При этом простая децентрализация комплекса между несколькими ЦОД обеспечивает георезервирование системы. Добавление новых узлов кластера осуществляется администратором с помощью простого графического интерфейса, а все необходимое ПО инсталлируется и настраивается автоматически.
Импортозамещение
Все прикладное программное обеспечение разработано российскими специалистами. В архитектуре предлагаемой системы обработки «больших данных» не применяется лицензионное программное обеспечение «западных» корпораций. Достигается 100% импортозамещение на уровне программного обеспечения.
