El sistema para investigar y publicar artículos académicos sobre la IA está roto completamente roto... por el uso de IA
- En 2023 ICML recibió 6.538 'papers', y en 2024 nada menos que 9.653 artículos, lo que representa un crecimiento del 48%
- En marzo ICML rechazó de golpe 497 artículos científicos después de detectar que 506 revisores habían recurrido a la IA
Durante el pasado mes de marzo ICML (International Conference on Machine Learning), la conferencia académica dedicada al aprendizaje automático (machine learning) más antigua del mundo, rechazó de golpe 497 artículos científicos después de detectar que 506 revisores habían recurrido a la inteligencia artificial (IA) para escribir sus evaluaciones. Habían violado una norma que ellos mismos habían acordado respetar.
Esta conferencia está organizada por la International Machine Learning Society (IMLS), una organización sin ánimo de lucro, y se celebra anualmente desde 1980. Cada año los investigadores que desarrollan su actividad en el ámbito de la IA envían sus artículos científicos a finales de enero o principios de febrero a ICML. Esos papers son revisados por un comité constituido por otros investigadores de este campo con el propósito de evaluarlos y publicarlos si finalmente superan una revisión minuciosa que normalmente dura varios meses.
Las decisiones de aceptación o rechazo de los artículos suelen comunicarse a los autores durante el mes de mayo, y la conferencia ICML se celebra habitualmente en julio. Publicar en ICML, NeurIPS (Conference and Workshop on Neural Information Processing Systems) o ICLR (International Conference on Learning Representations) equivale a lo que en otras disciplinas sería publicar en las revistas científicas Nature o Science. Pero ICML tiene un problema grave: su autoridad está siendo cuestionada en r/MachineLearning, una comunidad de Reddit especializada en machine learning que tiene más de 2,5 millones de suscriptores.
Una perversión en la que los revisores no tienen tiempo para revisar
Antes de seguir adelante merece la pena que nos detengamos en un hito muy importante: el número de artículos científicos que recibe ICML está creciendo año tras año de una forma abrumadora. En 2023 recibió 6.538 papers, y en 2024 nada menos que 9.653 artículos, lo que representa un crecimiento del 48%. La raíz del problema reside en el hecho de que el número de revisores cualificados no está incrementándose con el mismo ritmo con el que lo hace el número de artículos científicos que es necesario evaluar.
