En el marco de la acelerada revolución tecnológica, la moderación de contenidos digitales se ha convertido en uno de los desafíos más complejos que enfrentan las plataformas de redes sociales y las empresas tecnológicas de todo el mundo. La dependencia exclusiva del factor humano ya no es suficiente para controlar el flujo masivo de datos y el contenido en constante renovación las 24 horas del día, lo que ha generado una necesidad urgente de innovar con soluciones radicales que garanticen la seguridad de los usuarios y proporcionen un entorno digital saludable, libre de riesgos y amenazas constantes. De aquí surge la idea de fundar empresas especializadas que utilicen tecnologías avanzadas para ofrecer soluciones innovadoras y proactivas, superando los métodos tradicionales lentos y manteniéndose al día con el rápido crecimiento de la inteligencia artificial.
Desde los pasillos de Apple y Facebook hasta la innovación de soluciones proactivas
Cuando Brett Levinson dejó «Apple» en 2019 para asumir la dirección de integridad empresarial en «Facebook», el gigante de las redes sociales se encontraba en el centro de las repercusiones del famoso escándalo de «Cambridge Analytica», que sacudió la confianza de los usuarios. En ese momento, Levinson creía que simplemente podía solucionar el problema de la moderación de contenidos en la plataforma utilizando tecnología mejor y más avanzada. Sin embargo, el problema, como pronto comprendió a través de su trabajo de campo, era mucho más profundo que los meros desafíos técnicos pasajeros.
En los sistemas tradicionales, a los revisores humanos se les exigía memorizar un documento de políticas complejo de 40 páginas, traducido automáticamente para adaptarse a sus idiomas locales. Luego, a los revisores se les concedían solo unos 30 segundos por cada fragmento de contenido reportado para tomar una decisión crucial: no solo si dicho contenido realmente infringía las reglas, sino también qué medida estricta tomar al respecto: si bloquear el contenido, prohibir permanentemente al usuario o limitar el alcance de la publicación. Según Levinson, esas decisiones rápidas y bajo presión ofrecían «poco más de un 50 por ciento de precisión», lo que representa una clara deficiencia en la protección de las comunidades digitales.
El auge de Moonbounce y la nueva financiación
Este tipo de enfoque reactivo y tardío ya no es sostenible en absoluto en un mundo lleno de actores maliciosos inteligentes y bien financiados. El auge de los chatbots impulsados por inteligencia artificial ha agravado el problema de una manera sin precedentes, provocando que los fallos en la moderación de contenidos deriven en una serie de incidentes destacados que han acaparado los titulares y agitado a la opinión pública.
La frustración de Levinson con estos mecanismos infructuosos dio lugar al concepto de «la política como código», un método pionero destinado a transformar documentos de políticas estáticos y escritos en una lógica de programación dinámica, ejecutable y actualizable, estrechamente vinculada a la aplicación real de los procesos de censura. Esta profunda visión condujo a la fundación de «Moonbounce», que anunció recientemente que ha recaudado una financiación masiva de 12 millones de dólares. Esta ronda de financiación estuvo liderada por «Amplify Partners» y «StepStone Group», lo que refleja la confianza de los inversores en esta solución técnica única.
Mecanismo de trabajo y sectores objetivo
La empresa «Moonbounce» trabaja codo a codo con otras compañías para proporcionar una capa de seguridad adicional y sólida dondequiera que se genere contenido, ya sea creado por un usuario humano o generado por inteligencia artificial. La empresa ha entrenado sus propios modelos de lenguaje de gran tamaño para examinar con precisión los documentos de políticas de los clientes, evaluar el contenido en tiempo de ejecución real y ofrecer una respuesta decisiva en 300 milisegundos o menos, tomando las medidas necesarias de forma inmediata y sin retrasos perceptibles.
Hoy en día, la empresa atiende a tres sectores tecnológicos principales: plataformas que gestionan contenido generado por usuarios, como aplicaciones de citas; empresas de inteligencia artificial que desarrollan personajes o compañeros virtuales; y generadores de imágenes y vídeos respaldados por tecnologías generativas. Levinson señaló que la plataforma actualmente respalda más de 40 millones de revisiones diarias y da servicio a más de 100 millones de usuarios activos al día, incluyendo entre sus clientes destacados a nuevas empresas como «Channel AI» y «Civitai», además de plataformas de juegos de rol interactivos como «Dabble AI» y «Moiscape».
La seguridad como característica esencial y no solo como una obligación
Levinson enfatizó en sus declaraciones que el concepto de seguridad «puede ser en realidad una ventaja estratégica para el propio producto». Y añadió: «Esto no era así antes, ya que siempre se consideraba un paso posterior añadido al final, y no algo fundamental que realmente puedas integrar en el núcleo de tu producto técnico desde las primeras etapas de desarrollo». Hoy en día, las empresas de inteligencia artificial buscan cada vez más ayuda fuera de sus muros para fortalecer su propia infraestructura de seguridad. Levinson explicó el papel de su empresa diciendo: «Representamos a un tercero que se sienta entre el usuario y el chatbot, por lo que nuestro sistema no se inunda con el contexto intenso de la conversación como ocurre con la propia interfaz de chat, lo que nos permite intervenir con precisión y eficacia».
Visión de futuro: el enrutamiento iterativo para proteger a los usuarios
Levinson dirige esta empresa de 12 excepcionales empleados en estrecha colaboración con su excompañero en Apple, «Ash Bhardwaj». Su siguiente enfoque se centra en una nueva e innovadora característica técnica llamada «enrutamiento iterativo». Esta delicada función se desarrolló en respuesta a casos trágicos y dolorosos, como el suicidio de un joven de 14 años en el estado de Florida en 2024, después de obsesionarse con hablar con un chatbot de la empresa «Character.AI».
En lugar de depender de rechazos rotundos y explícitos que pueden resultar frustrantes o provocadores cuando surgen temas dañinos en una conversación, el sistema de «Moonbounce» interviene inteligentemente para interceptar el curso de la charla y redirigirla sin problemas, modificando las entradas en tiempo real para empujar al chatbot a ofrecer una respuesta de apoyo y positiva de manera proactiva y reflexiva.
Este cambio radical en la filosofía de gestión de contenidos digitales representa un hito crucial en el camino del desarrollo de tecnología segura. A través de la transición consciente de la simple reacción tardía a la intervención proactiva e inteligente, «Moonbounce» establece un estándar nuevo y avanzado en la industria, donde la seguridad digital deja de ser una pesada carga regulatoria para convertirse en un pilar fundamental que fortalece la confianza de los usuarios y apoya el crecimiento de las innovaciones tecnológicas en un entorno seguro y libre de riesgos.
Preguntas frecuentes
¿Qué es la empresa Moonbounce y cómo surgió?
Es una startup especializada en ofrecer soluciones de moderación de contenidos mediante inteligencia artificial. Fue fundada por Brett Levinson tras su larga experiencia en Apple y Facebook, y su objetivo es transformar las políticas de seguridad tradicionales en código ejecutable de forma inmediata.
¿Cuál es el volumen de financiación que ha recaudado la empresa recientemente y quién lo lideró?
La empresa recaudó 12 millones de dólares en una ronda de inversión liderada conjuntamente por «Amplify Partners» y «StepStone Group» para apoyar sus innovaciones en el campo de la seguridad digital.
¿Cómo funciona la tecnología de la empresa en la auditoría de contenidos?
La empresa utiliza modelos de lenguaje de gran tamaño especialmente entrenados para leer y comprender los documentos de políticas de las empresas; posteriormente, evalúa el contenido (ya sea texto o imagen) en una fracción de segundo (menos de 300 milisegundos) y toma la decisión adecuada al respecto de manera instantánea.
¿A qué se refiere la tecnología de «enrutamiento iterativo» que está desarrollando la empresa?
Es una tecnología inteligente e innovadora destinada a interceptar conversaciones dañinas o peligrosas con los chatbots, redirigiéndolas de forma proactiva para proporcionar respuestas de apoyo y positivas al usuario, en lugar de limitarse a un rechazo rotundo del contenido.
