Новый релиз продукта F5 Platform v6.0.0

Основные изменения в версии 6.0.0 направлены на повышение стабильности, надежности и отказоустойчивости основных компонент системы, а также на исключение потери данных и восстановление работоспособности в условиях нестабильной сетевой инфраструктуры и недостаточных аппаратных ресурсов.
Мы ускорили и упростили процесс передачи и разворачивания системы, разработали функционал по требованиям действующих партнеров и клиентов, развили функциональность отдельных компонент системы в UI для снижения требований к компетенциям проектных команд.

Новая функциональность и улучшения сервисов

Пайплайн менеджер 

• Low-codepipeline – возможность выполнить полный цикл операций по построению сценариев обработки данныхчерезUI. Добавление, редактирование и удаление шагов и настройку связей между ними теперь можно производить в визуальном редакторе. Благодаря проверке на совместимость типов данных нельзя связать шаги с разными типами данных и построить некорректный сценарий. 
• Версионирование отдельных шагов и целых сценариев. ЧерезUI разработчик может создавать новые версии сценариев на основе существующих, осуществлять навигацию по ним и запускать их без остановки процесса обработки данных. 
• Логирование работы сценариев в ElasticSearch.Это обеспечит формализованный и структурированный вывод логов работы шагов, что облегчит трудоемкий процесс отладки работы сценариев обработки данных. Эти изменения: low-code, версионирование и логирование ускорят разработку и отладку сценариев проектными командами интеграторов и снизят требования к квалификации специалистов. 
• Ускорение работы с интерфейсом Pipeline manager,производительность повышена за счет оптимизации передачи запросов между сервисами.
• Повышение безопасности за счет интеграции с Vault. Упрощен процесс работы с авторизацией в отдельных шагах сценария.

TSP и сервис правил

Управление очередью запросов в TSP. Эта функциональность хранит статусы задач в очереди запросов, резервирует слоты для обработки, отменяет задачи при необходимости. Работа с последовательностью выполнения задач стала проще, появилась возможность управления ресурсами.

Улучшения в текущем релизе упрощают процесс управления доступными ресурсами, повышают стабильность на малых ресурсах или при больших объемах данных:

• Стабилизация TSP на Apache Flink и оптимизация процессов потребления памяти.
• Распараллеливание процесса отработки правил при наличии свободных вычислительных мощностей (слотов). Это можно сделать по количеству правил и/или по временным интервалам. При этом статусы одновременно выполняющихся процессов можно агрегировать в единый статус обработки, что повышает удобство пользователя и не перегружает его информацией.
• Ограничение временных интервалов запуска правил. При ограниченных вычислительных мощностях во избежание перегрузки администратор может настроить для пользователя ограничения по объему данных. Например, пользователь сможет выбрать интервал временного ряда максимум в 1 год или 1 месяц.
• Разработан шаг пайплайна для запуска правил, что позволит запускать сервиса правил прямо из сценария обработки данных.

Математический сервис

• Поддержка CRUD операций в UI: создание, чтение, обновление, удаление контента математического сервиса. Возможность выполнения полного цикла операций по работе с контентом внутри математического сервиса.
• Возможность обучать и переобучать математическую модель в платформе без участия data science-специалиста. Доступна загрузка обучаемых и необучаемых (уже обученных или не требующих обучения) моделей. 
• Возможность подключения источников данных на вход математической модели, минуя модель данных оборудования. Доработка дает гибкость выбора: обращаться к источникам данных напрямую или используя ранее созданную модель данных.
• Гибкое конфигурирование нескольких запусков одной математической модели. Дает возможность настраивать различные параметры запуска модели, и отслеживать метрики качества для последующего выбора наиболее подходящего в конкретном случае результата. 
• Управление ресурсами для запуска каждой версии математической модели. Возможность выбирать и ограничивать доступные ресурсы (CPU, RAM) для различных моделей, а также различных версий одной и той же модели.

Прочие новые функции

Интеграция с F5 EAM

В данном релизе реализован импорт из F5 EAM следующих данных: локация, модели оборудования, оборудование. Данная функциональность снизит трудоемкость реализации сквозных сценариев, где F5 EAM выступает мастер-системой для управления производственными активами, а F5 Platform анализирует данные телеметрии от выбранного оборудования. Обмен данными выполнен через независимые от сервисов платформы конвертеры JSON-сообщений, таким образом возможна интеграция с другими ЕАМ-системами.

Сервис отчетов

Возможность сформировать отчетные формы по таблицам, хранящим данные временных рядов в узком виде. Функционал позволит строить отчеты на основе узкой таблицы данных, ранее конструктор отчетов мог работать только с широкими таблицами.

Обновление UI

Кластеризация инцидентов на графиках. На виджете графиков однотипные события объединяются в кластеры, что повышает производительность работы виджета и читаемость графиков.

Инфраструктурные улучшения

• Синхронизация пользователей с KeyCloak. Позволит поддерживать базу данных пользователей в сервисах платформы в актуальном состоянии, упросить работу по администрированию пользователей и повысить информационную безопасность.
• Стабилизация прав доступа по страницам UI и API. Обеспечение безопасности и сохранности информации, предоставление необходимой гибкости в настройке прав доступа на компоненты. Формат управления –аналогично управления правами для пользователей и групп.
• Больше настроек скрипта разворачивания платформы – больше гибкости. Теперь можно выносить отдельные сервисы из кластера Kubernetes (например ClickHouse или PostgreSQL), чтобы было проще адаптировать систему в соответствии с инфраструктурой заказчика. Также в скрипт вынесены настройки по лимитам ресурсов (CPU, RAM) для каждого сервиса. Теперь не нужно изменять это в других файлах, все настройки в одном месте.
• Включение дополнительного ПО в скрипт разворачивания платформы. С целью повышения стабильности работы сервисов администраторы могут использовать не только дополнительное ПО для мониторинга работоспособности (например, добавлены Certmanager, Elastic, Kibana, Fluent, Grafana, Prometheus), но и готовые шаблоны алертов и дэшборды. Интегратор получает полностью рабочую инфраструктуру с администрированием. Алерты разделены на информационные, предупреждающие и критические для удобства администрирования.
• Скрипт обновления действующих проектов и стендов до новых версий. Позволит обновлять систему клиента до новых версий по скрипту. Исключает необходимость ручного обновления
• Совершенствование методик тестирования. Передача компетенций вендора клиентам и системным интеграторам.

Стабилизация

• Совершенствование политик авторизации микросервисов. Обеспечение инфраструктуры для информационной безопасности и целостности данных в приложениях, разработанных в рамках проектов.
• Стабилизация пользовательских сценариев по ключевым направлениям и отраслям. Ускорение и упрощение процесса создания тест-кейсов, демо сценариев, пилотных проектов с использованием системы.
• Систематизация процессов по использованию Apache Kafka в компонентах платформы. Документирование и описание общих подходов в разработке приложений на базе платформы с использованием Apache Kafka позволит ускорить и упростить процессы реализации проектов, обеспечит стабильность и простоту сопровождения системы.
• Оптимизация процесса разворачивания системы. Упрощение и ускорение процесса разворачивания системы, снижение требований к компетенциям администраторов партнеров и клиентов.
• Расширение покрытия доступного функционала документацией. Передача компетенций вендора клиентам и системным интеграторам, разработчикам, администраторам, специалистам по анализу данных, рядовым пользователям.