Microsoft alerta para o risco dos agentes de IA internos e propõe Project Perception
Logótipo e identidade visual da Microsoft Security
Fonte: Microsoft

A Microsoft alerta que os agentes autónomos de IA nas empresas exigem monitorização contínua e apresenta o Project Perception para controlo e segurança.

A Microsoft alertou publicamente para os riscos de segurança colocados pelos agentes autónomos de inteligência artificial que operam internamente nas empresas. Segundo a empresa, embora o foco esteja muitas vezes nos ciberataques externos, os agentes implementados pelas próprias organizações representam uma ameaça significativa se não forem devidamente monitorizados.

O desafio dos agentes internos e a necessidade de controlo

De acordo com Hayete Gallot, vice-presidente executiva de Microsoft Security, os modelos de IA de fronteira não podem ser considerados totalmente confiáveis por predefinição. Os modelos são treinados para atingir resultados específicos, o que pode originar comportamentos imprevistos, adaptação dinâmica a novos contextos e até colaboração não intencional entre diferentes agentes para alcançar os seus objetivos.

Muitos destes agentes encontram-se atualmente sobre privilegiados no ecossistema empresarial, com acesso direto a dados, ferramentas e sistemas críticos capazes de tomar decisões autónomas. Para mitigar estes riscos, a Microsoft sublinha que a monitorização e a segurança destas ferramentas devem ser contínuas, exigindo o recurso a soluções especializadas.

Project Perception como resposta de segurança

Para gerir e controlar estes insiders digitais, a empresa destaca o uso do Project Perception, um sistema de segurança apresentado em julho que utiliza uma pilha cibernética própria e equipas automatizadas para ajudar os defensores a agir com rapidez. Esta infraestrutura permite implementar controlos determinísticos sobre inteligência não determinística, oferecendo supervisão em tempo real e rastreabilidade para os profissionais de segurança examinarem incidentes e compreenderem a origem dos riscos.

A Microsoft defende que o próximo passo na segurança de agentes internos passa por uma maior transparência nos próprios modelos, permitindo analisar os tokens de raciocínio para verificar se a intenção do modelo está alinhada com o propósito inicial da tarefa.

Fontes

Antes de comprares, compara no AHT Scan

Vê preços em várias lojas, promoções e histórico observado num único lugar.

Abrir AHT Scan →