Como si se tratase de los últimos 100m en un 4x400, le cojo el testigo a @MariaPovedaV para explicar brevemente como hemos construido y publicado el #KnowledgeGraph de #Drugs4Covid en #VenceAlVirus @oeg_upm
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤓" title="Nerd face" aria-label="Emoji: Nerd face">
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤓" title="Nerd face" aria-label="Emoji: Nerd face">
Let& #39;s go!
https://abs.twimg.com/emoji/v2/... draggable="false" alt="⤵️" title="Arrow pointing rightwards then curving downwards" aria-label="Emoji: Arrow pointing rightwards then curving downwards">
https://abs.twimg.com/emoji/v2/... draggable="false" alt="⤵️" title="Arrow pointing rightwards then curving downwards" aria-label="Emoji: Arrow pointing rightwards then curving downwards"> https://twitter.com/MariaPovedaV/status/1246461406200967169">https://twitter.com/MariaPove...
Let& #39;s go!
Inputs:
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow"> Una maravillosa ontología a la que debemos ser fiel
https://abs.twimg.com/emoji/v2/... draggable="false" alt="😋" title="Face savouring food" aria-label="Emoji: Face savouring food">
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow"> Un par de Apache Solr dónde se han ido almacenando las anotaciones de papers y artículos
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤭" title="Face with hand over mouth" aria-label="Emoji: Face with hand over mouth">
Requisitos en el pipeline:
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow"> Reproducible
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow"> Flexible (datos cambiando continuamente)
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow"> Rápido
Requisitos en el pipeline:
Y esto es lo que nos ha salido:
Reproducibilidad --> @rml_io mappings!
Flexible --> utilizamos #yarrrml para poder cambiar las reglas fácilmente (tanto de las fuentes como de la ontología)
Rápido --> SDM-RDFizer con CSVs, por supuesto!
Reproducibilidad --> @rml_io mappings!
Flexible --> utilizamos #yarrrml para poder cambiar las reglas fácilmente (tanto de las fuentes como de la ontología)
Rápido --> SDM-RDFizer con CSVs, por supuesto!
Y finalmente algunos resultados de performance
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow">Descarga de Solr = ~15 min (~2Gb de CSV)
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow">Normalización = ~10 min
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow">Generación del RDF = ~7 min
https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Rightwards arrow" aria-label="Emoji: Rightwards arrow">Carga < 1 min
Es decir, generamos el #KnowledgeGraph < 30 min
Y todo subido a un SPARQL endpoint listo! Gracias @_aieme @oeg_upm
Es decir, generamos el #KnowledgeGraph < 30 min
Y todo subido a un SPARQL endpoint listo! Gracias @_aieme @oeg_upm