18.02.22

Новый релиз продукта F5 Platform v6.0.0

Содержание публикации

Основные изменения в версии 6.0.0 направлены на повышение стабильности, надежности и отказоустойчивости основных компонент системы, а также на исключение потери данных и восстановление работоспособности в условиях нестабильной сетевой инфраструктуры и недостаточных аппаратных ресурсов.
Мы ускорили и упростили процесс передачи и разворачивания системы, разработали функционал по требованиям действующих партнеров и клиентов, развили функциональность отдельных компонент системы в UI для снижения требований к компетенциям проектных команд.

Новая функциональность и улучшения сервисов

Пайплайн менеджер 

  • Low-codepipeline – возможность выполнить полный цикл операций по построению сценариев обработки данныхчерезUI. Добавление, редактирование и удаление шагов и настройку связей между ними теперь можно производить в визуальном редакторе. Благодаря проверке на совместимость типов данных нельзя связать шаги с разными типами данных и построить некорректный сценарий. 
  • Версионирование отдельных шагов и целых сценариев. ЧерезUI разработчик может создавать новые версии сценариев на основе существующих, осуществлять навигацию по ним и запускать их без остановки процесса обработки данных. 
  • Логирование работы сценариев в ElasticSearch.Это обеспечит формализованный и структурированный вывод логов работы шагов, что облегчит трудоемкий процесс отладки работы сценариев обработки данных. Эти изменения: low-code, версионирование и логирование ускорят разработку и отладку сценариев проектными командами интеграторов и снизят требования к квалификации специалистов. 
  • Ускорение работы с интерфейсом Pipeline manager,производительность повышена за счет оптимизации передачи запросов между сервисами.
  • Повышение безопасности за счет интеграции с Vault. Упрощен процесс работы с авторизацией в отдельных шагах сценария.

TSP и сервис правил

Управление очередью запросов в TSP. Эта функциональность хранит статусы задач в очереди запросов, резервирует слоты для обработки, отменяет задачи при необходимости. Работа с последовательностью выполнения задач стала проще, появилась возможность управления ресурсами.

Улучшения в текущем релизе упрощают процесс управления доступными ресурсами, повышают стабильность на малых ресурсах или при больших объемах данных:

  • Стабилизация TSP на Apache Flink и оптимизация процессов потребления памяти.
  • Распараллеливание процесса отработки правил при наличии свободных вычислительных мощностей (слотов). Это можно сделать по количеству правил и/или по временным интервалам. При этом статусы одновременно выполняющихся процессов можно агрегировать в единый статус обработки, что повышает удобство пользователя и не перегружает его информацией.
  • Ограничение временных интервалов запуска правил. При ограниченных вычислительных мощностях во избежание перегрузки администратор может настроить для пользователя ограничения по объему данных. Например, пользователь сможет выбрать интервал временного ряда максимум в 1 год или 1 месяц.
  • Разработан шаг пайплайна для запуска правил, что позволит запускать сервиса правил прямо из сценария обработки данных.

Математический сервис

  • Поддержка CRUD операций в UI: создание, чтение, обновление, удаление контента математического сервиса. Возможность выполнения полного цикла операций по работе с контентом внутри математического сервиса.
  • Возможность обучать и переобучать математическую модель в платформе без участия data science-специалиста. Доступна загрузка обучаемых и необучаемых (уже обученных или не требующих обучения) моделей. 
  • Возможность подключения источников данных на вход математической модели, минуя модель данных оборудования. Доработка дает гибкость выбора: обращаться к источникам данных напрямую или используя ранее созданную модель данных.
  • Гибкое конфигурирование нескольких запусков одной математической модели. Дает возможность настраивать различные параметры запуска модели, и отслеживать метрики качества для последующего выбора наиболее подходящего в конкретном случае результата. 
  • Управление ресурсами для запуска каждой версии математической модели. Возможность выбирать и ограничивать доступные ресурсы (CPU, RAM) для различных моделей, а также различных версий одной и той же модели.

Прочие новые функции

Интеграция с F5 EAM

В данном релизе реализован импорт из F5 EAM следующих данных: локация, модели оборудования, оборудование. Данная функциональность снизит трудоемкость реализации сквозных сценариев, где F5 EAM выступает мастер-системой для управления производственными активами, а F5 Platform анализирует данные телеметрии от выбранного оборудования. Обмен данными выполнен через независимые от сервисов платформы конвертеры JSON-сообщений, таким образом возможна интеграция с другими ЕАМ-системами.

Сервис отчетов

Возможность сформировать отчетные формы по таблицам, хранящим данные временных рядов в узком виде. Функционал позволит строить отчеты на основе узкой таблицы данных, ранее конструктор отчетов мог работать только с широкими таблицами.

Обновление UI

Кластеризация инцидентов на графиках. На виджете графиков однотипные события объединяются в кластеры, что повышает производительность работы виджета и читаемость графиков.

Инфраструктурные улучшения

  • Синхронизация пользователей с KeyCloak. Позволит поддерживать базу данных пользователей в сервисах платформы в актуальном состоянии, упросить работу по администрированию пользователей и повысить информационную безопасность.
  • Стабилизация прав доступа по страницам UI и API. Обеспечение безопасности и сохранности информации, предоставление необходимой гибкости в настройке прав доступа на компоненты. Формат управления –аналогично управления правами для пользователей и групп.
  • Больше настроек скрипта разворачивания платформы – больше гибкости. Теперь можно выносить отдельные сервисы из кластера Kubernetes (например ClickHouse или PostgreSQL), чтобы было проще адаптировать систему в соответствии с инфраструктурой заказчика. Также в скрипт вынесены настройки по лимитам ресурсов (CPU, RAM) для каждого сервиса. Теперь не нужно изменять это в других файлах, все настройки в одном месте.
  • Включение дополнительного ПО в скрипт разворачивания платформы. С целью повышения стабильности работы сервисов администраторы могут использовать не только дополнительное ПО для мониторинга работоспособности (например, добавлены Certmanager, Elastic, Kibana, Fluent, Grafana, Prometheus), но и готовые шаблоны алертов и дэшборды. Интегратор получает полностью рабочую инфраструктуру с администрированием. Алерты разделены на информационные, предупреждающие и критические для удобства администрирования.
  • Скрипт обновления действующих проектов и стендов до новых версий. Позволит обновлять систему клиента до новых версий по скрипту. Исключает необходимость ручного обновления
  • Совершенствование методик тестирования. Передача компетенций вендора клиентам и системным интеграторам.

Стабилизация

  • Совершенствование политик авторизации микросервисов. Обеспечение инфраструктуры для информационной безопасности и целостности данных в приложениях, разработанных в рамках проектов.
  • Стабилизация пользовательских сценариев по ключевым направлениям и отраслям. Ускорение и упрощение процесса создания тест-кейсов, демо сценариев, пилотных проектов с использованием системы.
  • Систематизация процессов по использованию Apache Kafka в компонентах платформы. Документирование и описание общих подходов в разработке приложений на базе платформы с использованием Apache Kafka позволит ускорить и упростить процессы реализации проектов, обеспечит стабильность и простоту сопровождения системы.
  • Оптимизация процесса разворачивания системы. Упрощение и ускорение процесса разворачивания системы, снижение требований к компетенциям администраторов партнеров и клиентов.
  • Расширение покрытия доступного функционала документацией. Передача компетенций вендора клиентам и системным интеграторам, разработчикам, администраторам, специалистам по анализу данных, рядовым пользователям.