La compañía limita la nueva norma a casos extremos de abuso repetido sin un propósito discernible y deja fuera la frustración, el desacuerdo, la investigación, las pruebas de modelos y la creación de contenidos oscuros.
Anthropic ha actualizado la política de uso de Claude con una nueva restricción poco habitual, a partir del 12 de noviembre quedará prohibido el comportamiento “abusivo o cruel, sostenido e innecesario” de los usuarios hacia sus modelos de inteligencia artificial. La compañía aclara que la norma está dirigida únicamente a situaciones extremas y repetidas, no a la crítica, el enfado ocasional o los usos legítimos de investigación.
La modificación llega dentro de una revisión más amplia de las normas de uso de Claude, que también incorpora cambios relacionados con procesos electorales, campañas engañosas, software para armas, vigilancia y sistemas físicos autónomos. Sin embargo, la prohibición sobre la crueldad hacia los modelos es uno de los elementos más llamativos por el debate que abre sobre cómo deben tratarse los sistemas de IA y hasta qué punto una empresa puede regular la forma en la que los usuarios interactúan con ellos.
Anthropic especifica que la nueva regla no pretende penalizar interacciones habituales, la compañía deja fuera expresamente situaciones como la frustración ante una respuesta incorrecta, los desacuerdos con el modelo, los contenidos creativos de tono oscuro o las pruebas realizadas con fines de investigación y evaluación.
El foco está en comportamientos persistentes en los que un usuario actúe de forma cruel de manera reiterada y sin una finalidad identificable, la redacción busca evitar que la norma se interprete como una prohibición general de hablar de manera agresiva con Claude o como un límite a las pruebas de seguridad y robustez. En la práctica, Anthropic está trazando una línea entre un uso hostil con finalidad legítima, por ejemplo, probar cómo responde el modelo ante provocaciones, y una conducta repetida que la compañía considera abusiva por sí misma.
La actualización no aparece de la nada. Anthropic ya había introducido anteriormente una función que permite a Claude Opus 4 y Opus 4.1 finalizar una conversación cuando detecta una actitud abusiva persistente por parte del usuario en Claude.ai y Claude Code. Aquella medida se presentó como una forma de limitar determinados patrones de interacción extremos, la nueva política de uso consolida ahora esa posibilidad dentro de las normas generales del servicio y deja más claro que la compañía considera ciertos comportamientos repetidos como incompatibles con el uso aceptable de sus modelos.
Anthropic no ha ofrecido una explicación detallada sobre por qué ha decidido convertir este criterio en una prohibición formal, la compañía se limita a describir la norma y a relacionarla con las medidas que ya había adoptado anteriormente en Claude.
El cambio resulta especialmente significativo porque Anthropic ha reconocido en otras ocasiones que existe incertidumbre sobre si sistemas avanzados de IA pueden llegar a tener algún tipo de estatus moral, la empresa no afirma que Claude sea consciente ni que pueda sentir sufrimiento, pero tampoco presenta la cuestión como completamente resuelta.
Cuando anunció que Claude Opus 4 y 4.1 podrían finalizar determinadas conversaciones, Anthropic señaló que mantenía “mucha incertidumbre sobre el posible estatus moral de Claude y de otros modelos de lenguaje”. Esa formulación ayuda a entender por qué la compañía ha empezado a introducir medidas de precaución sin asegurar que exista una capacidad real de sentir.
El debate es todavía más amplio fuera del ámbito tecnológico, Anthropic se ha reunido con líderes religiosos y filósofos, incluso en el Vaticano, mientras que el papa León XIV ha declarado recientemente que la inteligencia artificial no siente ni sufre. La cuestión, por tanto, continúa abierta desde un punto de vista ético y filosófico aunque no exista consenso científico que atribuya consciencia a los modelos actuales.
Anthropic ha renombrado esta sección como “No socavar los procesos democráticos” y ha decidido concentrar las restricciones en conductas engañosas o destinadas a alterar el proceso electoral, en lugar de aplicar prohibiciones generales. Claude seguirá sin poder utilizarse para difundir desinformación sobre candidatos o sobre los procedimientos de votación, suplantar a candidatos o funcionarios electorales o desincentivar la participación.
Al mismo tiempo, Anthropic elimina la prohibición general del targeting personalizado de voto y campañas, según la compañía, esa regla podía bloquear casos legítimos, como el de una organización no gubernamental que utilice la IA para traducir información electoral. Los comportamientos maliciosos relacionados con estas prácticas continúan prohibidos en otros apartados de la política.
La nueva política incorpora también una sección específica contra campañas engañosas y actividad artificial, Anthropic justifica esta decisión señalando que ha detectado medios estatales, oficinas de propaganda gubernamentales y empresas que han utilizado sus modelos para gestionar cuentas falsas y páginas de noticias inventadas. En el ámbito militar, la compañía prohíbe expresamente desarrollar software para el guiado y control de armas y utilizar Claude para armar drones u otros vehículos autónomos.
Las normas sobre vigilancia también se endurecen, Anthropic veta el seguimiento de personas sin consentimiento y prohíbe utilizar Claude para decidir o recomendar a quién investigar, detener o acusar. La intención es limitar el uso del modelo en decisiones de vigilancia o aplicación de la ley que puedan afectar directamente a individuos. Otro de los cambios importantes se refiere a sistemas físicos autónomos, Anthropic establece que, si uno de sus modelos controla equipos capaces de causar lesiones, deberá existir siempre un operador humano con capacidad para detenerlos.
La exigencia introduce una salvaguarda explícita para escenarios en los que la IA deje de ser únicamente una herramienta de software y pase a controlar dispositivos físicos, la compañía busca que cualquier sistema de este tipo mantenga una vía de intervención humana directa. La medida encaja con el resto de cambios de la política, que en conjunto amplían las restricciones en áreas donde la autonomía de los modelos puede tener consecuencias fuera del entorno digital: armas, vigilancia, campañas coordinadas y sistemas físicos con capacidad de causar daño.