Un nuevo módulo genético amplía el enfoque Engram de DeepSeek
DeepSeek presentó con Engram un enfoque arquitectónico en el que un modelo de IA no almacena parte de su conocimiento en los parámetros del modelo, sino que lo externaliza en una obra de consulta específica y consultable de forma dirigida.
Del modelo de lenguaje a la IA genómica
Apenas unas semanas después de la publicación de Engram, investigadores en China llevan esa idea al ámbito de la genómica. Su módulo Gengram aporta una memoria externa similar a los modelos para secuencias de ADN.
El núcleo sigue siendo un gran modelo genómico. Gengram lo complementa con una capa fina de conocimientos especializados, de modo que el modelo principal puede concentrarse más en el contexto y la interpretación.
Por qué los modelos genómicos clásicos topan con límites
Muchos modelos genómicos actuales trabajan a nivel de bases individuales. Ven secuencias interminables de A, T, C y G y deben reconstruir por sí mismos, a partir de esos signos crudos, patrones típicos como señales de inicio de genes o sitios de empalme.
Eso es preciso pero costoso. En secuencias muy largas los modelos pierden fácilmente la perspectiva e invierten mucho cómputo solo para volver a ensamblar motivos conocidos.
Para las personas resulta poco natural. Al leer una palabra difícil ayuda recordar bloques conocidos. Sin ese conocimiento previo, cada palabra debería volver a analizarse de cero.
Gengram como diccionario biológico
Gengram interviene exactamente aquí. El módulo monta una tabla con fragmentos cortos de ADN, los llamados k-meros. Comprenden combinaciones de una a seis bases como ATG o CGTA.
Muchos de esos fragmentos ya se conocen como motivos funcionales, por ejemplo sitios de unión para factores de transcripción. Cada fragmento recibe un vector propio en la memoria que actúa como una entrada en un diccionario biológico.
Cuando un patrón de este tipo aparece en la secuencia, el modelo puede consultar directamente la entrada correspondiente. Ya no tiene que reconstruir por completo la estructura a partir de las bases individuales.
Como el ADN solo consta de unos pocos símbolos, el diccionario se mantiene compacto. Gengram añade a un modelo con miles de millones de parámetros solo unos veinte millones de parámetros adicionales.
Activación dinámica en lugar de funcionamiento permanente
Es decisivo que Gengram no esté permanentemente activo. Un mecanismo de gate decide en función del contexto cuándo merece la pena consultar el diccionario.
En regiones de alta densidad funcional como exones, promotores o agrupaciones de motivos conocidos, la consulta se activa con más frecuencia. En tramos largos y poco informativos, el sistema confía más en su representación general.
Surge así una división del trabajo. El conocimiento estático sobre motivos típicos reside en el diccionario, mientras que el modelo principal se encarga de la interpretación flexible y de la conjunción de esos bloques.
Saltos medibles en tareas biológicas
Pese a su tamaño reducido, Gengram aporta ganancias claras en tareas genómicas centrales. En las publicaciones, las métricas de calidad mejoran sensiblemente, por ejemplo, en la predicción de sitios de empalme y de marcadores epigenéticos.
Aún más relevante es la relación entre coste y beneficio. En comparaciones con otros modelos genómicos, un sistema con Gengram alcanza una calidad similar o mejor pese a usar muchos menos datos de entrenamiento y parámetros activados.
Eso eleva la eficiencia en datos y cómputo. Para muchos laboratorios, justamente ese es el factor decisivo, porque los grandes modelos genómicos topan rápidamente con límites prácticos.
Aplicabilidad amplia en distintas arquitecturas
Gengram no funciona solo con redes densas clásicas. El módulo también puede integrarse en arquitecturas Mixture-of-Experts y allí actúa además como estabilizador.
Al asumir el diccionario parte del reconocimiento local de patrones, los expertos quedan menos cargados con ruido de alta frecuencia. La carga se reparte de forma más uniforme y el entrenamiento converge más rápido.
El módulo se convierte así en un bloque de construcción general que puede acoplarse a distintos tipos de modelos sin rediseñar la arquitectura base.
Cuando el modelo redescubre implícitamente la estructura del ADN
Una observación de los experimentos llama la atención. Al probar diferentes anchuras de ventana para una etapa de agregación local, una longitud de veintiuna bases produce los mejores resultados.
Esa cifra no es casual. La doble hélice de ADN-B realiza una vuelta cada 10,5 bases aproximadamente. Dos vueltas completas equivalen, por tanto, a unas veintiuna bases. Las posiciones separadas por 21 bases se sitúan de nuevo en lugares espacialmente similares de la hélice.
El modelo elige así un tamaño de ventana que encaja con la geometría física de la molécula aunque no se le proporcione información explícita de estructura. Parece deducir por sí mismo parte de la lógica espacial del ADN.
Un posible esquema para la IA científica
Más allá del caso concreto, Gengram apunta a una futura arquitectura de modelos científicos de IA. En lugar de alimentar redes cada vez mayores con cada vez más datos, un modelo central podría complementarse con varios módulos especializados pequeños.
En genómica, Gengram asume ese papel. En otras disciplinas podrían surgir diccionarios análogos para materiales, química o física que pongan a disposición conocimiento experto estructurado como recurso externo.
La idea de fondo se mantiene. El modelo universal se centra en patrones complejos y razonamientos, mientras que el conocimiento de dominio compacto se organiza en módulos adicionales claramente definidos. Gengram demuestra que este enfoque puede funcionar en la práctica y no es solo un concepto teórico de arquitectura.