День: 20.09.2023

Рынок аналитики данных в мире будет расти ежегодно на 30% вплоть до 2030 года. Как российским компаниям не упустить возможности, которые дает этот инструмент в условиях технологических ограничений?Реклама

Реклама

Данные превращаются в реальные деньги: 96% средних и крупных компаний из разных стран
смогли увеличить прибыль благодаря проектам в области аналитики. И это при том, что они использовали не все имеющиеся данные: 78% топ-менеджеров отметили, что объемы данных растут слишком быстро — специалисты не успевают их обрабатывать. А более трети опрошенных (34%) считают, что существующая ИТ-инфраструктура не позволяет их компании выжимать из данных максимум.

В России схожие тенденции дополняются локальными особенностями. Как минимум четверть российских компаний
применяют технологии сбора, обработки и анализа больших данных. Наиболее активно это делают представители финансового сектора — примерно половина из них использует аналитику для борьбы с мошенничеством, оценки кредитоспособности и управления активами.

Растущее количество данных и проектов в области аналитики требует развития ИТ-инфраструктуры, и в первую очередь расширения вычислительных мощностей. Проблем с покупкой серверного оборудования нет. Компании могут выбрать оборудование российского производства или продукты иностранных вендоров, ввозимые по альтернативным схемам — но без поддержки производителя. Сложность в другом: с уходом западных вендоров ПО обострилась ситуация с выбором софта для бизнеса, а это в свою очередь привело и к более жесткому отбору оборудования.

Сейчас некоторые компании ищут альтернативы — программные продукты российского происхождения. Организации с сильным ИТ-направлением разрабатывают собственные решения. Тем не менее многие продолжают пользоваться зарубежным ПО. Переход на новый софт является более болезненным и затратным для организаций, чем замена оборудования.

Как выбрать сервер?

Учитывая этот контекст, нужно подходить к расширению аппаратного обеспечения для работы с большими данными. В свою очередь, выделю четыре параметра, которые надо учитывать при выборе серверного оборудования.

Первый — стоимость за терабайт, то есть количество накопителей в рамках каждого узла или сервера. Однако больше не означает лучше. Чтобы система была сбалансирована, важно подобрать правильную комбинацию процессора, оперативной памяти и дисков (системы ввода/вывода).

Второй — качество оборудования. Это поможет избежать брака, процент которого на рынке сейчас довольно высок, или отказов во время эксплуатации. Из-за некачественного оборудования увеличивается количество сбоев и, соответственно, затраты на ремонт. При этом стоимость простоя для некоторых видов бизнеса — ретейла, банков, телеком-операторов — может быть очень высокой. По оценке IDC, компании из Fortune 1000 теряют во время сбоев $1 млн в час.

Третий параметр — обслуживаемость. Нужно оценить, насколько конкретный сервер или СХД удобен и прост в обслуживании: как происходит замена вышедших из строя компонент, их добавление или перенастройка оборудования.

Четвертый и, пожалуй, самый главный критерий — совместимость и поддерживаемость «железа» и ПО. Здесь речь идет о правильном подборе сущностей и конфигураций аппаратного обеспечения для необходимого софта исходя из целевой нагрузки и назначения системы в целом. Разработчики и аналитики используют широкий набор программных продуктов, в основном Open Source. Это своеобразный конструктор, состоящий из разных модулей, которые отвечают за хранение, вычисление, управление, оркестрацию, безопасность и разграничение доступа, обработку данных и т. д. Здесь могут быть сотни отдельных продуктов или пакетов, между которыми необходимо обеспечивать совместимость и взаимодействие. И для всей этой экосистемы важно правильно подобрать вычислительные ресурсы.

Требования к мощности

Выбор серверов зависит от конкретного ПО и его архитектуры, но, как правило, для работы с аналитическими системами нужна высокая производительность.

Насколько важна мощность каждой единицы оборудования? Если возможно горизонтальное масштабирование систем, можно выбрать стандартные серверы и не придираться к их производительности. Однако для некоторых программных продуктов такая организация вычислительных ресурсов менее предпочтительна. Тогда стоит тщательнее оценить возможности оборудования.

Мощные серверы необходимы для работы искусственного интеллекта, высокопроизводительных вычислений (HPC), систем моделирования и прогнозирования. Помимо этого, они нужны, когда нагрузка плохо распределяется на разные вычислительные узлы. Например, когда важно обеспечить быстрое взаимодействие процессор-память. Этого требуют многие СУБД, платформы in-memory-вычислений, иногда — машинное обучение.

Высокие требования к производительности серверов бывают и у Legacy-систем, логику работы которых закладывали еще в 70-80-х годах. Многие современные продукты имеют возможность распараллеливать вычисления, тем самым позволяя использовать больше отдельных вычислительных узлов.

Основным недостатком распараллеливания является интерконнект между узлами, который выступает «узким горлышком» для работы систем. При использовании нескольких вычислительных узлов необходима более сложная архитектура построения решений для обработки и анализа данных, что затрудняет управление этим процессом.

Когда важна скорость обработки больших объемов информации, можно использовать серверы с графическими процессорами (GPU). Например, иногда их выбирают для подготовки данных и тренировки моделей машинного обучения. Однако эффективность GPU в большой степени зависит от возможностей ПО, которое его утилизирует. Ранее вместе с оборудованием можно было получить специализированные программные продукты для работы с ним. Сейчас доступ к этим инструментам ограничен и, как следствие, спрос на серверы с GPU сузился.

Облако или on-premise

Альтернативой собственной инфраструктуре может стать использование облачных сервисов для хранения и обработки больших данных. Например, некоторые провайдеры предоставляют соответствующие инструменты в качестве PaaS (платформа как сервис).

Хранение больших объемов информации в облаке, на первый взгляд, выгоднее экономически. Однако возможность использовать облачные ресурсы для этих целей зависит от того, насколько тесно данные интегрированы с другими продуктивными системами компании. Возникают вопросы взаимодействия облака и систем on-premise, скорости каналов, а самое главное — информационной безопасности.

В
исследовании ‘Thales Cloud Security 2022’, говорится, что 45% компаний, хранящих данные в облаках, сталкивались с утечками или другими рисками безопасности. При этом 51% респондентов заявили, что управлять конфиденциальностью и защитой данных в облаке сложнее, чем локально.

Кроме того, хранение в облаке не избавляет от необходимости резервного копирования данных — это нужно учитывать при расчете расходов на облачную инфраструктуру. И всегда помните о риске смены облачного провайдера: перевести сложную архитектуру с большим объемом данных на новую платформу — непростая и трудоемкая операция. 

*    *    *

Потребность бизнеса в обработке и анализе больших данных растет, а ждать возвращения ИТ-ландшафта к состоянию до 2022 года не приходится. При этом в России, несмотря на технологические ограничения, есть возможности для построения эффективной инфраструктуры для работы с данными. Качество программных и аппаратных продуктов российского производства растет — вместе с этим увеличивается количество компаний, выбирающих импортонезависимые решения для своих задач, включая проекты в области аналитики больших данных.

Источник

В России утверждена и действует законодательная база для регулирования использования персональной биометрии. На практике в этой сфере остается множество спорных моментов, решение которых жизненно важно для легального и безопасного применения современных систем интеллектуального видеонаблюдения.Реклама

Реклама

Биометрия в эпоху перемен 

Совсем недавно биометрические технологии были доступны лишь государственным и крупным корпоративным заказчикам дорогих систем безопасности и идентификации. Стремительное совершенствование биометрических алгоритмов привело к появлению нового большого рынка биометрии с огромным количеством сценариев ее использования – от разблокировки телефона до оплаты проезда в городском транспорте.

На сегодняшний день ситуацию в России, впрочем, как и в других странах мира, можно охарактеризовать как период, когда биометрические технологии переходят в своеобразную стадию зрелости. Формируется законодательная база, термины получают юридические формулировки, эксперты определяют правомочность использования тех или иных решений в конкретных ситуациях. Повсеместное использование биометрии невозможно без учета большого числа социально-культурных и правовых аспектов, поскольку эти инновации напрямую связаны с вопросами защиты приватности и персональной информации граждан.

Сейчас мы находимся в активной фазе этого периода, и его итоги станут определяющими для отрасли на многие годы вперед. 

Биометрия и законодательство 

Сегодня рынок предлагает множество эффективных ИИ-алгоритмов и аналитических модулей с биометрией, в том числе с распознаванием лиц. Есть поставщики, готовые предложить все эти новинки заказчикам, и есть достаточное число потенциальных клиентов, которые хотят инвестировать в масштабные проекты с применением биометрии.

В России до недавнего времени основными документами, регулирующими порядок использования биометрических данных, были Федеральный закон ФЗ № 152 «О персональных данных» и статья 152.1 Гражданского кодекса РФ «Охрана изображения гражданина». Совсем недавно в силу также вступил новый ФЗ № 572 «О биометрических персональных данных».

Теперь российские игроки рынка биометрии разбираются, как работать, чтобы не нарушать новый закон, и каким образом его появление отразится на будущих проектах, чтобы заказчикам не пришлось впоследствии платить штрафы за неверные интерпретации. Иными словами, закон есть, но нет инструкций или четких алгоритмов его толкования. 

Государственная и коммерческая системы биометрии 

ФЗ № 572 зафиксировал основные юридические определения и практические нормативы для хранения биометрических данных. Так, Единая биометрическая система (ЕБС) хранит полный набор биометрических данных гражданина в привязке к его качественной фотографии и персональным данным. Операторы коммерческих биометрических систем (КБС) будут получать эти данные в виде биометрических векторов – нолей и единиц в определенных математических моделях, извлеченных из фотографий. Они будут храниться в КБС в зашифрованном виде, и даже теоретический взлом такой системы не позволит привязать сохраненные данные к конкретной фотографии. Распознанное лицо можно будет связать с хранящейся в КБС информацией только после обработки данных на сервере, но без идентификации и привязки к фото.

Банки и другие организации, уполномоченные собирать биометрию с согласия граждан, продолжат отправлять результаты в ЕБС, а та, в свою очередь, будет делиться векторами с операторами КБС. Работать с биометрией, собранной без уведомления граждан, будут только федеральные организации соответствующего уровня (МВД, ФСИН, ФСО, ФТС, ФСБ). Иными словами, неавторизованный сбор биометрии ради безопасности конкретной компании теперь становится незаконным.

Казалось бы, простая и прозрачная структура. Но в жизни есть много ситуаций, требующих более четких формулировок. Так, госструктуры и ряд компаний, относящихся к критической инфраструктуре, не имеют права брать векторы в КБС, поскольку обязаны работать только через ЕБС (даже в элементарных сценариях вроде идентификации на проходной).

Транзакция запроса-ответа от ЕБС может занять 5 –10 секунд на каждого человека, и для проходной это чревато очередями. По сути, КБС придумали для разгрузки таких ситуаций, однако для госсектора этот сценарий не сработает.

Многие производители аналитических решений для биометрии сейчас внимательно изучают все возникающие вопросы и ведут переговоры с ЕБС о том, каким образом реорганизовывать свой бизнес в новых условиях. 

Как работает КБС 

Законодательство требует выполнения ряда требований для получения статуса КБС – по объему уставного капитала, инвестиций, страхования на случай выплат штрафов и т. д. На сегодняшний день еще не выдано ни одной лицензии оператора КБС, однако среди потенциальных пионеров этого бизнеса называют МТС, Альфа-Банк, Россельхозбанк и, возможно, одну из структур Сбера. Этот переходный период продлится ориентировочно до 1 ноября.

С юридической стороны неясен вопрос владения системой аутентификации физических лиц могут быть как КБС, так и ЕБС, а компании их лишь арендуют. В коммерческом плане ожидается, что компании смогут платить определенную сумму за каждое лицо: скажем, 20 рублей за биометрию высшего класса или 2 рубля за менее качественную. Или, как вариант, ежегодно приобретать безлимитную подписку.

Пока также нет четкого понимания механизма оплаты. Допустим, поставщик развертывает систему видеонаблюдения с обработкой биометрии: кому в таком случае должен платить заказчик за биометрию – поставщику, КБС, ЕБС? Будет ли он заинтересован ежегодно платить за такое обслуживание?

Что делать с имеющимися системами биометрии? 

Во многих компаниях на входе установлены терминалы, которые показывают температуру тела и обрабатывают лицевую биометрию визитера для определения формы допуска. После вступления в силу ФЗ-572 такие терминалы с базами данных на борту вне закона, поскольку обработка данных должна быть серверной и только в векторной обезличенной форме. Примерный сценарий работы офисного видеонаблюдения на проходной отныне включает распознавание лица и сопоставление результата с вектором, хранящимся у оператора КБС, с которым у компании подписан договор, а не с собственной базой данных. Система при этом не хранит фотографии ни в каком виде или формате, чтобы исключить слив или утечки информации.

Достаточно ли будет перенести обработку данных на сервер или терминалу достанутся лишь условные функции измерения температуры? Очевидно, что для дальнейшей работы подобных сценариев использования биометрии потребуется переоборудование СКУД в части обработки персональных данных.

Что касается задач видеоаналитики, многие из таких решений могут обойтись без доработки. Например, те, которые изначально не требуют привязки физического лица к паспортным данным, а лишь используют лицо для определения эмоций, пола, возраста или других аналитических параметров. 

Перспективы 

Без сомнений, принятие правовой базы подтолкнет развитие решений для распознавания лиц, поскольку закон не запрещает идентификацию личности посредством использования ее биометрических данных. И для этого уже есть все необходимые документы. Но с точки зрения исполнительной власти и контроля за исполнением закона ситуация все еще в стадии доработки.

Прежде чем появятся четкие инструкции по использованию биометрии на все случаи жизни, экспертному сообществу России предстоит решить множество вопросов с учетом всех нюансов, относящихся к защите персональной информации.

Источник