Microsoft представила инструмент для тестирования безопасности ИИ

Компания Microsoft выпустила инструмент с открытым исходным кодом Counterfit, который помогает разработчикам тестировать безопасность систем искусственного интеллекта. Meet Counterfit 👋, the new automation framework for #NetworkSecurity testing machine learning models. Discover how this new open-source project enhances AI systems: https://t.co/kqCltXBRi6— Microsoft Security (@msftsecurity) May 3, 2021 По словам разработчиков, инструмент предназначен для сканирования уязвимостей систем ИИ и создания журналов атак на целевую модель. С его помощью специалисты по данным используют телеметрию для дальнейшего повышения безопасности. В Microsoft указали, что Counterfit не зависит от среды, модели и данных. Его используют локально, на периферии, в облаке для тестирования любой модели искусственного интеллекта, которая зависит от входных данных практически в любой форме, включая текст и изображения. Изначально компания создала инструмент для собственных нужд. Он представлял собой набор скриптов для атаки на модели ИИ. Позже Counterfit превратился в инструмент автоматизации, который масштабно атакует несколько моделей ИИ. «Этот инструмент появился из-за нашей собственной потребности в оценке уязвимостей систем ИИ Microsoft для защиты служб в соответствии с принципами ответственного ИИ и инициативой ответственной стратегии ИИ в разработке (RAISE)», — говорится в блоге компании. Microsoft протестировала Counterfit с несколькими клиентами, включая аэрокосмического гиганта Airbus. Напомним, в конце апреля Microsoft внедрила технологию обнаружения угроз от Intel для поиска скрытых майнеров в корпоративную платформу безопасности Defender для конечной точки. В марте на конференции Ignite 2021 Microsoft представила ряд новых инструментов и сервисов облачной платформы Azure для разработчиков. Среди них платформа для запуска ИИ-моделей на граничных устройствах, семантический поиск в Azure Cognitive Search и службы Azure Arc. Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!