Imagina que dedicas años de tu vida a un proyecto que amas: una web construida con pasión, dedicación y horas de trabajo, con contenido original para cualquiera que quiera explorarlo. De repente, tu sitio empieza a fallar, los costos de mantenimiento se disparan y tú, sin entender por qué. Este fue el caso de Tania Cohen, CEO de 360Giving, una organización benéfica que tuvo que enfrentarse a una situación desesperante: ¡su web fue desconectada por la actividad de bots de IA! Pero, espera… ¿cómo es posible que algo así pase? La historia va más allá de un simple problema técnico. Detrás de todo esto están OpenAI, Anthropic y el hambre insaciable de datos.
La nueva amenaza digital: bots de inteligencia artificial (IA)
No se trata solo de Tania Cohen ni de 360Giving. Los bots de inteligencia artificial de empresas como OpenAI, Anthropic, y muchas otras están invadiendo internet como una plaga, recopilando toda la información posible para entrenar sus modelos de IA. La carrera por lograr la inteligencia artificial más avanzada ha llevado a estos bots a «raspar» páginas web de manera indiscriminada, afectando la estabilidad de pequeños sitios y convirtiendo la vida de sus creadores en un verdadero caos. La historia que comenzó como un avance tecnológico ahora se convierte en un dolor de cabeza para quienes ven cómo el tráfico de estos bots no solo sobrecarga sus servidores, sino que dispara costos y destruye meses o años de trabajo.
Cuando la pasión choca con los bots: el caso de 360Giving
360Giving es una organización que trabaja para hacer que las donaciones y subvenciones sean más transparentes y accesibles. Su web funcionaba sin problemas hasta que un día todo se fue al traste: caídas constantes, un aumento repentino en el tráfico y costos de mantenimiento por las nubes. La sospecha inicial fue que se trataba de un ataque cibernético, pero el diagnóstico fue otro: ¡bots de IA! La avalancha de visitas provenía de varios bots, entre ellos los de OpenAI, que extraían información de la web sin descanso.
Lo peor del caso es que esta web tenía un propósito altruista, como todas las de 360Giving. Un sitio creado para facilitar el acceso a datos para la comunidad benéfica, y de repente se vio asediado por una tormenta de tráfico imposible de controlar, generando costos que esta organización no podía costear y que pusieron en riesgo el futuro de su web.
La guerra por los datos: la fiebre del oro de la IA
Ahora, ¿por qué esta hambre de datos? La respuesta es clara: los modelos de IA necesitan entrenamiento constante para evolucionar, y eso requiere consumir ingentes cantidades de información nueva y actualizada. Pero, ojo, hay un problema grave: las fuentes de datos para entrenar IA podrían agotarse en menos de una década. Sí, como lo lees: para 2032, podríamos estar hablando de un déficit de información utilizable para estos fines. Y esto ha convertido la recopilación de datos en una carrera contrarreloj. Cada web con contenido valioso es un objetivo potencial para estos bots.
Páginas como 360Giving se convierten en el blanco perfecto para los bots. Sus datos están estructurados, categorizados y organizados por personas, lo que hace que el trabajo de estos rastreadores sea «pan comido». Pero, ¿a qué costo? A un costo enorme para pequeños creadores que ven cómo sus proyectos se ven afectados sin previo aviso.
La lucha contra los bots: el escudo del robots.txt
Ante esta invasión de bots, el primer recurso de defensa es el archivo «robots.txt». ¿Qué es esto? Básicamente, un pequeño archivo que permite a los propietarios de sitios web establecer restricciones y limitar el acceso de bots a ciertas áreas de su página. El problema es que su eficacia es limitada. Primero, porque debes conocer el nombre del bot que te está visitando. Segundo, porque se confía en que estos bots respeten las reglas. Y como podrás imaginar, eso no siempre ocurre.
De hecho, se ha visto un aumento notable en el uso de restricciones a través de robots.txt en el último año. Solo entre abril de 2023 y 2024, un 5% de los datos de internet y un impresionante 25% de los datos de mayor calidad comenzaron a implementar este tipo de restricciones. OpenAI encabeza la lista de empresas bloqueadas, con un 25,9% de todas las restricciones aplicadas con robots.txt, seguida por Anthropic con un 13,3% y Google con un 9,8%. Estas compañías afirman que respetan las reglas… pero, como sabemos, la realidad muchas veces no sigue los manuales.
Bots distorsionando métricas: cuando el tráfico es solo humo
Uno de los mayores problemas que generan estos bots es la distorsión de métricas. Imagina que eres dueño de un sitio web y necesitas analizar tus visitas para medir la efectividad de tu contenido, ajustar anuncios, ver conversiones, etc. Pero si la mitad de tu tráfico es generado por bots, tus métricas son humo. David Senecal, experto en fraude y abuso de Akamai, ha señalado que estos bots distorsionan la realidad de una web, dificultando cualquier tarea de análisis o monitoreo. Y para colmo, existen bots «impostores» que se hacen pasar por rastreadores conocidos, como los de OpenAI o Anthropic, lo que complica aún más su identificación.
Estos bots recorren una misma página varias veces al día, buscando actualizaciones y generando duplicados innecesarios de datos, con el consecuente impacto en la infraestructura de los sitios web. Lo que lleva a procesos de scraping que, muchas veces, son ineficientes e insostenibles.
La carga sobre pequeñas bases de datos: ejemplos que lo dicen todo
El caso de Tania Cohen y 360Giving no es único. Roberto Di Cosmo, director de Software Heritage, también vivió el impacto de los bots de IA cuando estos rastrearon masivamente su base de datos. Aunque Di Cosmo es un defensor del acceso abierto y no tiene inconvenientes en que su contenido se utilice para entrenar modelos de IA, insiste en que debe hacerse de manera responsable. Algo similar le ocurrió a Alexandra Smith, quien gestiona una pequeña web educativa con recursos gratuitos. La avalancha de tráfico de bots hizo que su servidor colapsara varias veces, y al ser una plataforma sin fines de lucro, los costos para mantener el sitio operativo se volvieron insostenibles.
Estos ejemplos demuestran que, aunque la información esté disponible para descarga directa, los bots optan por raspar los datos directamente desde el sitio, sin permiso, afectando el rendimiento y la estabilidad de páginas pequeñas y medianas.
¿Quién paga el costo del avance de la IA?
Las historias de Tania Cohen, Roberto Di Cosmo y Alexandra Smith revelan una realidad preocupante: los bots de IA, que son esenciales para el desarrollo de estas herramientas, están impactando negativamente a pequeños creadores de contenido, que muchas veces no tienen cómo defenderse. Y lo peor es que estas mismas herramientas no solo se benefician del trabajo de estos creadores, sino que, en muchos casos, terminan desplazando a los profesionales que buscan ayudar.
La IA llegó para quedarse, pero el equilibrio entre su desarrollo y la protección de aquellos que generan contenido valioso sigue siendo un tema pendiente. Entonces, la pregunta del millón es: ¿qué futuro les espera a los pequeños creadores si la carrera por la IA sigue este ritmo?
Nuestra reflexión
El desarrollo de la inteligencia artificial es imparable. Nos ofrece oportunidades brutales, pero no podemos ignorar los desafíos y responsabilidades que trae consigo. Lo que está ocurriendo con los creadores de contenido independientes es algo serio. Mientras estas tecnologías se presentan como el próximo gran paso en el mundo digital, es crucial recordar que cada página web tiene un detrás de escena lleno de esfuerzo humano, tiempo y recursos.
Las grandes compañías de IA deben encontrar formas más responsables y justas de acceder a la información, sin cargarle el costo a los creadores pequeños. Es vital que el progreso sea inclusivo. Además, la comunidad de creadores tiene que ser parte activa de esta conversación, exigiendo transparencia y buenas prácticas en el uso de datos. Si no se toman medidas ahora, podríamos estar entrando en una era de desigualdad digital en la que solo los más grandes saldrán beneficiados.
Así que, una pregunta para ti: ¿crees que el avance de la IA debe seguir a cualquier costo, o es momento de repensar cómo este avance afecta a quienes generan el contenido que la alimenta?
