2024. El verano de los riesgos de la IA

"2024. El verano de los riesgos de la IA" artículo de Juan Carlos Muria Tarazón en la sección "Diario de una Tortuga Ninja" de la edición de Julio de 2024 de la Revista Tecnología y Sentido Común TYSC a Revista Líder de Audiencia de la Alta Dirección y los Profesionales en Gestión de Proyectos, Servicios, Procesos, Riesgos y por supuesto Gobierno de Tecnologías de la Información

En nuestra sección Diario de una tortuga ninja hemos hablado en anteriores ocasiones sobre los riesgos de la inteligencia artificial (IA) y su impacto social, pero hoy nos detendremos en las nuevas ciberamenazas que surgen en el uso de sistemas de IA.

Y es que con la resaca de los recientes ciberataques a grandes empresas, ahora debemos prepararnos para una segunda mitad del año que puede ser “caliente” en lo que a ciberataques se refiere, y no solo hablamos de ciberataques “tradicionales” sino que con la inteligencia artificial se abren nuevos escenarios para los que debemos estar preparados.

Organizaciones como MITRE u OWASP, desde sus diferentes perspectivas, tienen ya unas taxonomías definidas de nuevas estrategias de ataque sobre los sistemas de aprendizaje automático o inteligencia artificial y esto es lo que abordaremos a continuación, así como las mejores prácticas para evitarlos.

En primer lugar, tenemos que ser conscientes de que los ataques que pueden realizarse son de cuatro tipos: ataques durante la fase de desarrollo, ataques durante la fase de entrenamiento, ataques de caso de uso y ataques al sistema. En la fase de desarrollo los ataques pueden ir dirigidos a alterar el comportamiento del modelo de IA o a vulnerar la confidencialidad del propio modelo o incluso de los datos de prueba. En definitiva, son variantes de ataque de tipo cadena de suministro que debemos conocer y tomar medidas para evitar que ocurran.

En la fase de entrenamiento el foco debe estar en los datos, en evitar que ocurran brechas de datos que pongan en riesgo la privacidad o la confidencialidad de estos datos, o bien que una alteración de estos datos de entrenamiento produzca un comportamiento erróneo del modelo, algo que se conoce como envenenamiento de datos.

En cuanto a casos de uso (o de mal uso, para ser más precisos), pueden producirse ataques adversarios, robos de modelos, ingeniería inversa del modelo, ataques para que el modelo revele datos confidenciales de personas o de organizaciones, inyecciones de código, o inferirse la identidad de una persona o una organización a partir de la interacción con el sistema de IA, entre otros tipos de ataque.

Continuar leyendo…

Licenciado en Informática y Doctor Cum Laude en Organización de Empresas por la Universidad Politécnica de Valencia. Con acreditación en Gestión de Datos para Investigación Clínica por la Universidad de Vanderbilt, ha sido profesor de marketing digital, big data e inteligencia de negocio, y ahora es profesor de Organización de Empresas en la Universidad Politécnica de Valencia. Miembro de la Junta Directiva de la Asociación Valenciana de Informáticos de Sanidad (AVISA), auditor CISA, CGEIT y profesional certificado en ITIL, COBIT 5 y PRINCE 2. Con casi 20 años de experiencia en el sector de la salud, ha dirigido proyectos de interoperabilidad, seguridad y big data, y actualmente es directivo en una importante multinacional de soluciones de TI para el sector de la salud.

Todo lo que un Directivo debe saber...

Ha llegado la hora de formar a la Alta Dirección

Sesiones Directivas en Directo y en Remoto sobre todos aquellos aspectos que debe conocer la Alta Dirección sobre Gobierno y Gestión Organizacional.

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver
Privacidad