Posts by: Gaël Even
Cet article a pour but d’aider à la mise en place d’un serveur Galaxy en local. Il décrira également les avantages et inconvénients d’une telle approche par rapport à d’autres utilisations (Galaxy en ligne et Galaxy sur cloud).
Pour une définition de ce qu’est le logiciel de workflow Galaxy vous pouvez lire l’article précédemment posté sur ce blog ou accéder à la description PLUME du logiciel.
Préambule :
Il existe trois méthodes pour utiliser Galaxy :
> En local : c’est la méthode que nous décrirons ci-dessous
> En ligne : outre l’instance principale de Galaxy, de multiples organismes ouvrent l’utilisation de leurs serveurs Galaxy à l’extérieur ( pour une liste exhaustive cliquer ici)
> Sur un cloud : On utilise notre propre instance (virtuelle) de Galaxy mais au lieu d’être déployés sur une machine locale, les « jobs » sont envoyés sur le cloud de Amazon
Chaque approche a ses avantages et ses inconvénients, nous les détaillerons plus bas.
Installation :
Un grand nombre d’indications sont extraites du tutorial d’installation de Galaxy en local, disponible, en anglais, à cette adresse – http://wiki.g2.bx.psu.edu/Admin/Get%20Galaxy.
Ce qu’il faut retenir de l’installation de Galaxy en local est qu’il est possible de mettre en place un serveur en moins de 10 minutes!
Brève Explication du processus d’installation (sous un serveur Debian – les étapes seront les même pour Ubuntu):
Ouvrir une invite de commande
– Vérifier sa version de python :
python --version
La version 2.5 (et au-delà) est suffisante pour un bon fonctionnement de Galaxy.
– Installer le système de gestion de version mercurial : la version 1.6 est suffisante. S’ il est déjà installé, vérifier votre version :
hg --version
– Télécharger l’archive dans un répertoire (par exemple « workflow ») approprié :
hg clone http://bitbucket.org/galaxy/galaxy-dist
– Lancer Galaxy! Dans le répertoire galaxy-dist :
sh run.sh --reload
Note : reload permet de fermer correctement l’application sous debian (et ubuntu)
A ce stade, le programme devrait initialiser l’application.
Vous pouvez maintenant accéder à votre serveur Galaxy à l’adresse suivante : http://localhost:8080
Bienvenue sur votre installation de Galaxy en local
Evidemment ce tutoriel est court et ne prend pas en compte la configuration plus fine de l’application. Pour plus de détails sur l’installation mais aussi sur l’utilisation je vous invite à lire (et à tester) les excellentes explications consultables sur le site de Galaxy :
http://wiki.g2.bx.psu.edu/Admin/Get%20Galaxy
http://wiki.g2.bx.psu.edu/Admin/Training/
Pour les (heureux) propriétaires d’un serveur de calcul :
http://wiki.g2.bx.psu.edu/Admin/Config/Performance/Cluster
Pour l’utilisation de Galaxy dans un environnement de production – ou si vous voulez directement installer votre serveur Galaxy en partant sur des bases solides :
http://wiki.g2.bx.psu.edu/Admin/Config/Performance/Production%20Server
Utilisation :
Il faut savoir que Galaxy en local fait souvent un lien vers les logiciels sans que ces derniers ne soient présents « physiquement » sur votre serveur. Ainsi le mapping avec BWA ne marchera pas, à moins que vous installiez au préalable bwa sur le serveur. C’est le cas de pas mal d’outils, donc si vous rencontrez parfois des erreurs lors de l’exécution, il est fort probable qu’il vous faudra d’abord installer les outils utilisés par Galaxy.
Un des inconvénients majeurs de la version en ligne concerne la limitation de chargement de jeux de données à 2 Gb. En séquencage haut-débit cette limite est très souvent atteinte. En ligne il est possible de contourner cette limitation en chargeant ses fichiers par FTP. Mais on ne peut éviter le problème du débit (temps de transfert long) et de la confidentialité des données.
En local, cette la limitation est également fixée à 2 Gb, et il y a également la possibilité de charger ces jeux de données directement dans le logiciel, sans passer par une phase de chargement (« upload ») en installant son propre FTP. Évidement en local, le débit est fortement accéléré.
Pour ce faire, vous pouvez lire le tutoriel suivant en anglais ou suivre les indications ci-dessous :
http://wiki.g2.bx.psu.edu/Admin/Config/Upload%20via%20FTP
ou regarder la video tutoriel .
Comparaison entre les méthodes :
Comparatifs entres les différentes instances de Galaxy
Pour résumer, l’installation en local offre plusieurs avantages par rapport à la version en ligne, en terme de confidentialité, de taille de données, de transfert et de temps d’analyses. Quelques inconvénients subsistent notamment la contrainte d’investir dans une machine correcte si l’on veut obtenir un temps d’analyse correct ou la nécessité d’installer certains outils extérieurement à Galaxy.
Si l’on supprime l’aspect coût et les contraintes lors de la première installation, la solution Cloud semble la plus pertinente si l’on a pas accès à des environnements matériels conséquents.
L’aspect « customisation » et particulièrement l’intégration de ses propres outils fera l’objet d’un prochain article.
La confusion entre mate-pair et paired-end, tant au niveau technologique (selon qu’on lise les notes techniques d’Illumina, de Roche ou de Life) que logiciel nous a mené à rédiger, en collaboration avec Ségolène Caboche, Bioinformaticienne à l’université de Lille2, une note technique dont le contenu est résumé ci-dessous :
– Genèse de la confusion entre mate-pair et paired-end
– Descriptions les deux approches, avec un focus sur les principales technologies de seconde génération de séquenceurs
– Traitement au niveau logiciel et conseils généralistes pour l’utilisation
Le document est consultable dans son intégralité sur notre blog :
Télécharger Paired-end versus mate-pair
Bonne lecture!
Pierre Barthélémy, journaliste scientifique au monde, a publié hier sur son blog (passeurdesciences.blog.lemonde.fr) une interview de Etienne Danchin (directeur de recherche CNRS et directeur de l’EDB) qui nous parle de la nécessité de s’extraire du dogme du « tout-génétique » pour s’intéresser plus précisément à d’autres mécanismes qui régissent l’hérédité, tel que l’épigénétique, l’hérédité culturelle et environnementale.
Vous pouvez retrouver l’interview dans son intégralité ici :
Cette interview fait suite à la publication d’une synthèse sur l’hérédité non génétique et son rôle dans l’évolution parue dans Nature Reviews Genetics en Juillet 2011 que vous pouvez consulter en intégralité ici.
Etienne Danchin n’est pas le seul à s’interroger sur la part réelle de la génétique dans les mécanismes de l’hérédité, nous vous conseillons une nouvelle fois l’excellente émission de Jean Claude Ameisen (à écouter dans ce post) qui aborde ces aspects de la transmission génétique et non génétique, entre générations.
- Principales voies transmises de génération en génération (Nature Reviews Genetics 12, 475-486 (July 2011))
L’hérédité culturelle est une composante en général peu discutée (notamment dans le domaine animal): quelle est la part de variation phénotypique qui peut être expliquée par une transmission sociale (ou transmission par apprentissage)? A noter que le rôle de la composante culturelle dans l’hérédité a été formalisé dans les années 1970, ça ne date donc pas d’hier, mais comme toutes les composantes non génétiques impliquées dans l’hérédité elle s’est retrouvée minimisée, voire ignorée, au profit de la composante génétique.
Quoi qu’il en soit, à l’heure de l’arrivée de la 3eme génération de séquenceur haut-débit et de la génération toujours plus astronomique de données génomiques, il est toujours bon de rappeler que le seul transfert de gènes n’explique qu’une proportion des mécanismes étudiés.
Pierre Barthélémy, journaliste scientifique à publié hier sur son blog (passeurdesciences.blog.lemonde.fr) une interview de Etienne Danchin (directeur de recherche CNRS) qui nous parle de la nécéssité de sortir du dogme du « tout-génétique » pour s’intérésser plus précisement à d’autre mécanisme qui régisse l’hériédité, l’épigénétique, l’hérédité génétique et environementale.
Vous pouvez retrouver l’interview dans son intégralité ici :
Cet interview est le résultats d’une synthèse sur l’hérédité non génétique et son rôle dans l’évolution publié dans Nature Reviews Genetics en Juillet 2011 que vous pouvez consulter en intégralité ici.
Etienne Danchin n’est pas le seul à s’intéroger sur la place réelle de la génétique dans les mécanisme de l’hérédité, nous vous conseillons une nouvelle fois l’excellente émission de Jean Claude Ameisen (à écouter dans ce post).
Il y a quelques semaines, nous avions discuté de l’utilisation de logiciel de Workflow pour la bioinformatique. Il est temps de passer à la pratique en vous présentant un de ses dignes représentants : Galaxy.
Page d'accueil du site du workflow Galaxy
Le workflow Galaxy fournit un ensemble d’outils pour la manipulation et l’analyse de données génomiques. Il est très intuitif dans l’utilisation ce qui en fait une cible de choix pour le biologiste.
Il est possible d’utiliser Galaxy directement depuis le serveur. Avantage conséquent pour les bioinformaticiens il est possible d‘installer sa propre instance de serveur Galaxy, cette option fera l’objet d’un prochain post technique.
Du point de vue de l’interface graphique :
Interface principale - Workflow Galaxy
On peut également créer des workflows, les enregistrer dans un espace dédié, les partager, et les exécuter de façon automatique.
Pour exemple ce workflow de métagenomique publié gratuitement par un utilisateur de Galaxy (vous devez être connecté pour visualiser le workflow dans Galaxy)
Workflow analyse métagénomique - Galaxy
Les outils dédiés analyse de données NGS sont régulièrement mis à jour et nul doute que d’ici peu, certains seront dédiés IonTorrent.
Les tutoriels sont également très bien faits, on apprend très vite à maitriser l’environnement grâce à des dizaines de vidéos d’aides.
Galaxy offre donc la possibilité d’exécuter des analyses bioinformatiques sans effort de programmation. La version en ligne est intéressante car elle permet de se familiariser aux logiciels et d’exécuter l’analyse depuis un portable, mais la possibilité d’intégrer ces propres outils (nous y reviendrons) est indéniablement un gros avantage de la version locale.
Si nous devions citer un inconvénient, plutôt d’actualité : l’utilisateur est obligé de charger ses données en mémoire dans Galaxy, le temps de chargement peut être très long si l’on manipule des données issues d’expériences NGS. D’autres workflows tels que Ergatis, fonctionnent en local et permettent à l’utilisateur d’utiliser directement les données présentent sur l’ordinateur.
Pour en savoir plus :
La description complète du logiciel Galaxy en Français sur PLUME :
http://www.projet-plume.org/fiche/galaxy
Le Galaxy Wiki :
http://wiki.g2.bx.psu.edu/FrontPage
La publication associée :
Constat : le séquençage, un générateur fantastique de données
- Figure 1.0 : Accroissement des données insérées dans GenBank
L’explosion de la génération de données génomiques (Figure 1.0) et l’hétérogénéité de ces données entraînent inévitablement un accroissement de l’écart entre les données, les connaissances et l’information que l’on peut en extraire (Figure 1.1).
Le développement d’outils bioinformatiques permet de répondre à l’analyse de données dans l’ensemble des domaines de la biologie, mais le besoin en formalisation (des formats, des processus, des architectures matérielles…) est primordial si l’on veut éviter les problèmes d’incompatibilité et de réutilisation des solutions.
Figure 1.1 : Issu de "Biomedical informatics in translational research" Par Hai Hu,Richard J. Mural,Michael N. Liebman
En conséquence, afin d’obtenir des informations interprétables biologiquement à partir de ces données, la mise en place de processus d’analyse va de pair avec l’utilisation de logiciels à jour, efficaces pour la gestion de données à grande échelle.
En outre, les logiciels doivent aussi simplifier cette gestion de données et fournir des outils d’analyses bioinformatiques accessibles mais aussi reproductibles pour tous types d’utilisateurs – dont les biologistes eux-mêmes. C’est dans ce cadre que s’insèrent l’automatisation de processus (ou « Workflow ») et le développement de « Workflow management system », ou logiciel de Workflow, pour la bioinformatique.
Workflow ou automatisation de processus : définition
Le logiciel de Workflow s’inscrit aussi dans une logique de pérennisation des processus analytiques, qui a pour but de sortir de la logique « projet » (dans le sens ponctuel) en créant des processus d’analyses génériques.
Un logiciel de Workflow est un outil permettant d’exécuter un ensemble de processus de façon automatique. Ces « pipelines » sont très présents en bioinformatique (à défaut d’être tres utilisés) car ils permettent aux chercheurs en biologie d’analyser leurs données (issues de séquencages, génotypages) de façon relativement transparente et (quasiment) sans l’aide d’informaticiens (denrées rares dans la recherche).
Toutefois, il convient de distinguer deux sortes de logiciel de Workflow :
– Les logiciels de Workflow qui permettent aux chercheurs de manipuler leurs données et exécuter leurs analyses sans posséder de connaissances en écriture de scripts ou en bases de données. Les données sont rapatriées au sein du logiciel de Workflow, permettant l’exécution d’un ensemble de tâches, à travers des modules pré-installés. En séquençage, le Workflow permet de convertir des séquences en formats divers, les filtrer ou les assembler… Le logiciel de Workflow ISYS (2001), BioMOBY, Taverna et plus particulièrement Galaxy (qui fera l’objet d’un prochain post ici) entrent dans cette catégorie.
– Les logiciels de Workflow qui assurent un accès direct à des composants (installés sur le serveur) et/ou aux données génomiques sans passer par un rapatriement préalable des données. WildFire, Pegasys ou Ergatis (ce dernier sera décrit dans un prochain post) font partie de cette catégorie. De manière générale ces logiciels de Workflow sont plus difficiles à prendre en main mais sont évidemment plus flexibles.
Pour résumer, quel que soit le logiciel de Workflow utilisé il permet :
– D’automatiser des processus d’analyse (idéalement répétitifs) en les reliant dans un pipeline
– De lancer des analyses sur des architectures matérielles complexes telles des grilles de calculs (voir l’article sur Grisbi) ou des serveurs
– De formaliser le processus d’analyse en vue d’une publication scientifique
Philosophie générale : interaction et exemple de workflow
Pour finir cette introduction, nous vous proposons deux schémas : la place du logiciel Workflow et un exemple concret.
Figure 1.2 : Intégration d'un logiciel de Workflow dans la recherche en biologie
- Figure 1.3 : Exemple de conception d’un Workflow d’identification de promoteurs (extrait de « Accelerating the scientific exploration process with scientific workflows« )
Voici les résultats, présentés lors des journée France Grille 2011, d’une étude sur le déploiement de traitement de données NGS sur grille de calcul menée par plusieurs plateformes de bioinformatiques et centres de calcul universitaires français dans le cadre du projet GRISBI (Grille Support pour la Bio-Informatique) :
GRISBI a 
pour but, à travers la mutualisation de ressources informatiques des acteurs du projet, de proposer l’utilisation d’applications bioinformatiques déployées sur grille de calcul au plus grand nombre.
pour but, à travers la mutualisation de ressources informatiques des acteurs du projet, de proposer l’utilisation d’applications bioinformatiques déployées sur grille de calcul au plus grand nombre.Le constat est simple : la gestion des données provenant des séquenceurs, autant dans le stockage que l’analyse, va de paire avec la mise en place de nouvelles infrastructures plus efficaces, plus adaptables, plus sécurisées, plus accessibles que des solutions locales : les grilles de calculs sont une réponse à beaucoup de ces problématiques.
On nous présente les premiers résultats obtenues suite à un assemblage denovo sur ABySS et Ray et un assemblage sur génome de référence avec BWA, le tout déployé sur un ordinateur classique, sur un cluster de calcul (PlaFRIM) et sur l’infrastructure GRISBI (900 processeurs et 26To de mémoire).
Globalement les résultats sont meilleurs que sur un ordinateur local mais moins bons que sur un (gros) cluster de calcul (local également) mais l’utilisation de la grille présente deux avantages :
– On peut déployer simultanément une quantité de processus en faisant varier un paramètre d’assemblage (du fait de la quantité de ressources disponibles et de la parallélisation massive des traitements)
– On peut accéder à cette architecture sans aucune contrainte matérielle au niveau local, ce qui est particulièrement le cas dans un laboratoire de biologie moléculaire.
Le travail présenté ici amène plusieurs perspectives, notamment la nécessité de rendre l’utilisation transparente à l’utilisateur final, biologiste, en utilisant,par exemple, un workflow (dans ce travail c’est Ergatis mais nous en reparlerons plus tard).
Au delà des résultats relativement préliminaires, on nous confirme que la mutualisation de ressources en général est une réponse efficace à ce type de problématique.
Une revue intéressante et qui se veut exhaustive sur les conséquences de la généralisation des technologies de séquençage et les solutions/adaptations possibles, on y retrouve pèle-mêle :
– Un listing à jour (2011) des différentes plateformes dédiées à la génération de données de séquençage (Illumina, Roche, Life Technologie pour ne citer qu’eux…) et leurs spécificités;
– La description de quelques stratégies de NGS : identification de variants, séquençage d’éxome, séquençage sur des régions précises…
– Les problématiques en bioinformatiques : stockage et analyse de données, développement de solutions logicielles adaptées…
– Les différentes analyses ainsi que des listes de logiciels pour répondre aux besoins: assemblage denovo et sur génome de référence, annotation et prédiction fonctionnelle, autant open-source que sous licence payante.
Il convient tout d’abord de distinguer deux types de bioinformaticiens :
-Ceux qui sont intégrés dans une unité de recherche : ils sont souvent spécialisés sur une thématique ou même un projet précis : généralement isolés, non permanent, impliqués et informés des problématiques biologiques
-Ceux qui font partie d’une unité de bioinformatique : en émulation avec d’autres bioinformaticiens, moins précaires, plus loin des problématiques biologiques
Ce document se veut une libre opinion sur la bonne intégration d’un, ou d’une équipe, de bioinformaticiens au sein d’un groupe de recherche et les clés pour la bonne réussite de celle-ci. Il est en grande partie inspiré de l’éditorial « On the organization of bioinformatics core services in biology-based research institutes » agrémenté de commentaires plus personnels.
Pour le bien-être interne et externe d’une plateforme de bioinformatique, il convient de :
-Bien séparer les tâches dîtes de prestation et les activités de recherches.
-Scinder les sujets traités par tâches bien définies : par exemple, support en développement et maintenance de base de données, analyse statistique de données haut-débit, support pour le déploiement d’applications sur environnement HPC, analyse de donnée NGS…
-Mettre en place un comité d’utilisateurs incluant des utilisateurs biologistes/bioanalystes chargés d’établir les priorités
-Mettre en place des outils pour suivre l’activité bionformatique de la façon la plus transparente possible
-Mettre en place au maximum des projets transversaux pour favoriser l’interface entre biologiste et bioinformaticiens, les interactions pluridisciplinaires sont les plus enrichissantes et souvent les plus productives. Comme toutes disciplines, la bioinformatique peut devenir endogame, particulièrement dans ou le cadre où l’on parle de bioinformatique comme une science à part entière, et non comme un outil au service de problématiques biologiques : une équipe de bioinformatique peut très bien travailler sur des sujets « porteurs » (donc plus facile à financer) sans interagir, ou seulement sporadiquement, avec des biologistes pour valider le bien-fondé du travail. C’est une des dérives du système d’évaluation actuel, pour plus d’information, lire la libre opinion publiée dans ce blog : Chemins de traverses : la recherche d’excellence ou quand les mots perdent leur sens.
-Mettre en place des formations pour les biologistes : collaborer avec des personnes connaissant un minimum les problématiques bioinformatiques est plus efficace
-Dans le même esprit, nommer un bioinformaticien responsable pour le support utilisateurs pour assister les biologistes dans leurs tâches quotidiennes de bioanalyse est très utile pour entretenir de bonne relation avec les laboratoires de recherche
-Pour les bioinformaticiens intégrés dans une unité, il est primordial de trouver des structures permettant de rencontrer et de partager avec d’autres bioinformaticiens, à défaut, passer quelques heures par semaine à effectuer de la veille technologique peut être un palliatif.
Pour conclure, une équipe de bioinformaticiens doit communiquer un maximum avec leurs partenaires biologistes afin de favoriser une saine interaction, un bioinformaticien, seul, entourer de biologistes se doit de rester à la page, idéalement en partageant et en communiquant sur ces projets à d’autres bioinformaticiens.
L’accroissement des capacités technologiques en biologie moléculaire à pour conséquence la possibilité de séquencer/génotyper mais aussi stocker toujours plus de données constituant une manne d’informations sans limite pour qui sait en extraire du sens. C’est le travail du bioinformaticien de proposer à la fois un support technique et analytique au biologiste en même temps que la capacité en terme de ressources informatiques pour répondre aux besoins.
Ce premier post sur la place du bioinformaticien se focalise sur l’interaction avec le biologiste au sein d’un projet.
On peut dissocier un projet en trois phases :
– La préparation : identifier la question biologique, étudier la faisabilité et les coûts, mettre en place la méthodologie…
– La réalisation : génération des données biologiques et analyse bioinformatique
– La finalisation : interprétation des résultats, mise en production ou introduction d’une nouvelle question biologique
Le schéma ci-dessous montre un cheminement possible de l’intervention bioinformatique :
- Type d’intervention bioinformatique dans un projet de recherche
L’intervention du bioinformaticien est ici minimisée : il n’intervient qu’à partir de la phase analytique et dans l’interprétation des résultats (pour aider le biologiste à critiquer les résultats générés). Ceci pose plusieurs problèmes : les outils bioinformatiques doivent s’adapter, à tout prix, à la méthodologie mise en place précédemment. Si on constate que les méthodes d’analyses doivent être modifiées une fois la génération de données effectuées, la bioinformatique peut devenir ce qu’on appelle communément un goulot d’étranglement dans le projet…
Au contraire, Le schéma ci-dessous nous parait plus judicieux :
- Autre type d’interventions bioinformatique dans un projet de recherche
Ici, l’intervention bioinformatique est optimisée : le bioinformaticien est totalement impliqué dans la préparation du projet. Et, au contraire, en fin de projet, les interventions sont minimisées car la méthodologie mise en place est adaptée pour une bonne compréhension par le biologiste. L’idéal et de fournir les outils nécessaires pour que le biologistes puisse lui-même exécuter ses analyses.
Pour résumer, l’ interaction doit se faire en amont et en aval de l’analyse et l’on se doit de minimiser les interventions pendant la phase d’analyse. En aval pour conseiller sur les méthodologies à utiliser, en amont pour contrôler les erreurs éventuelles rencontrées pendant la phase d’analyse (exécuter par le biologiste).
Représentation de la dynamique de la biologie intégrative
L’une des ambitions de la biologie intégrative est d’étudier le plus finement et le plus efficacement possible les interactions menant à une variation phénotypique. Ce réseau peut être d’une vertigineuse complexité, il demande l’intégration et l’analyse de données hétérogènes avant d’envisager toute interprétation.
Ces nouvelles approches exigent l’interdisciplinarité : la biologie moléculaire (biologie humide) doit être supportée par la bioinformatique (biologie sèche) afin de rendre réalisables des études de plus en plus ambitieuses, coûteuses et complexes.
Le schéma proposé ici permet d’entrevoir les interactions possibles entre génome, transcriptome et protéome… chaque interaction donne lieu à des méthodes, des techniques d’études particulières que nous tâcherons de développer au travers de ce blog. En guise de préambule nous vous proposons d’écouter une émission très didactique et plutôt exhaustive datant du 5 février 2011, « Sur les épaules de Darwin » de Jean Claude Ameisen.
Sur les épaules de Darwin – Jean Claude Ameisen
Qui sommes nous?
Christophe Audebert [@]
En charge de la plateforme génomique
du département recherche et développement
de la société Gènes Diffusion .
Renaud Blervaque [@]
Biologiste moléculaire, chargé d'études génomiques.
Gaël Even [@]
Responsable bioinformatique au sein
du département recherche et développement de la société Gènes Diffusion.
