Anthropic les dio las llaves de la casa a seis investigadores y ahora no puede callarlos

Imaginate que contratás a alguien para que revise si tu casa tiene filtraciones y le das la llave, lo sentás en tu living y le permitís publicar en el diario lo que encuentre sin pedirte permiso. Eso, más o menos, acaba de hacer Anthropic con un grupo de evaluadores externos que ahora trabajan puertas adentro con nivel de empleado.

Seis investigadores de METR, una organización sin fines de lucro que se especializa en medir qué tan riesgosos son los sistemas de inteligencia artificial, recibieron computadoras, espacio físico y herramientas internas de Anthropic. Pueden conversar con el personal como un colega más y revisar los modelos de primera mano. Las únicas zonas vedadas son tres: datos de clientes, información protegida por el secreto entre abogado y cliente, y detalles finos de la arquitectura de los modelos.

Un esquema con escalera y tres peldaños

• Nivel bajo: organizaciones como SecureBio hacen revisiones puntuales y necesitan luz verde de la empresa antes de publicar.
• Nivel medio: acceden a más información y pueden publicar sin pedir autorización previa.
• Nivel alto: es el que ocupa METR, con acceso equivalente al de un empleado y libertad total para difundir evaluaciones, incidentes y críticas de prácticas.

La propia Anthropic aclaró que en esas categorías sensibles puede pedir que se borre o redacte información, pero el equipo auditor queda habilitado a decir públicamente si le parece que esa redacción estuvo justificada o no. O sea, aunque no pueden revelar el dato en sí, pueden señalar que la empresa les tapó algo y contárselo al mundo.

¿Por qué tanto? La compañía asegura que una auditoría útil tiene que cumplir cuatro condiciones, que resumo en castellano rioplatense: que el auditor sepa lo suficiente como para distinguir cuándo un modelo está fingiendo que es inofensivo; que cobre y opere sin depender de la empresa auditada; que vea más allá del modelo terminado e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad; y que pueda publicar sin que nadie le ponga un candado previo.

La compañía también fue honesta sobre sus límites: no va a hacer pública toda su información de seguridad porque parte podría caer en manos de actores maliciosos o revelar secretos comerciales. Por eso eligió un acceso profundo pero acotado, con acuerdos legales firmes, y mantuvo al resto del personal de METR fuera de esa línea de trabajo.

“Una auditoría sin acceso profundo es como pedirle a un mecánico que diagnostique el motor mirando el capó cerrado.”Anthropic, sobre las cuatro condiciones para una revisión útil

El equipo de METR no arrancó de cero: ya venía revisando informes de riesgo de Anthropic desde hacía más de un año. La diferencia es que ahora la relación pasó de control remoto a convivencia diaria. Falta ver qué publican primero y cómo reacciona la empresa si los hallazgos les incomodan.

Consejo práctico para entender este tipo de acuerdos

• Fijate siempre quién paga al auditor: si lo financia la empresa auditada, mirá el informe con sospecha, por más riguroso que parezca.
• Preguntate qué nivel de acceso tuvo: sin acceso a código y a entrenamiento, la auditoría es un cover.
• Leé si el auditor puede publicar sin filtro previo: la libertad de difusión vale más que cualquier promesa verbal.
• Revisá si el acuerdo permite denunciar públicamente las zonas que la empresa quiso tapar: eso es lo que separa un sello de goma de un control real.