Statistiques d`usage de la grille EGEE, Retour d - ARESU
Contents
1. 6 groupes de serveurs interrog s en parall le Nous avons aussi t contraints de limiter en volume les r sultats de ces requ tes pour s assurer de la bonne ex cution des requ tes sur les serveurs distants param tr s de fa on diff rentes Ces donn es brutes sont transform es en environ 12 Go de donn es interm diaires r capitulatif pour chaque job de son cycle de vie Nous avons collect en deux ans les donn es concernant environ 15 millions de jobs et finalement nos r sultats regroupement des jobs suivant diff rents param tres n occupent que quelques Mo 5 R sultats Les diff rents r sultats sont publi s en ligne par Resource Broker par VO ou par pays ou ont t transmis aux utilisateurs finaux sous forme de graphiques lorsque les statistiques concernaient un chantillon restreint de donn es 5 1 Les r sultats disponibles en ligne Le visiteur choisit d abord le type de statistiques par VO par resource broker par pays puis pour chacun respectivement les VOs les resource brokers ou les pays de son choix Enfin il choisit les statistiques qui l int ressent Tous les r sultats sont affich s par mois Par pays le visiteur du site pourra obtenir une r partition du nombre de jobs par mois ou par site Un pays abrite g n ralement plusieurs sites Par VO ou par resource broker il pourra obtenir les statistiques suivantes e Status jobs distribution and succes2. Ces statistiques ont t utiles aux scientifiques pour mesurer le temps coul global pour l ensemble de leurs calculs le taux de r ussite vu par la grille l impact de ce data challenge sur les statistiques de la VO Ce travail effectu en collaboration avec le responsable du data challenge Nicolas Jacq LPC Clermont nous a galement permis de progresser en d gageant le fait que l activit de la grille est certes d pendante du nombre de jobs soumis mais galement de la dur e de ces jobs Un site web permet de consulter l ensemble des travaux li s au data challenge R9 Les aspects collecte des donn es R10 et la comparaison des statistiques de l utilisateur final par rapport aux statistiques de l activit Quality Assurance R11 ont t pr sent s lors d une r union du projet d di e aux statistiques Pise 6 Evolutions On a vu dans la description de l outil qu il est n cessaire de rassembler les informations d un m me job partir de diff rentes tables Le travail effectu avec les d veloppeurs des composants li s au logging et bookkeeping devrait aboutir dans un tr s proche avenir la livraison d un composant appel job provenance qui donnera acc s aux principales informations concernant chaque job Ce composant devrait permettre de simplifier l outil en am liorant grandement la collecte des donn es et en vitant la phase de construction des tables interm diaires pu
3. fonctionnement des composants de la grille sont g n ralement de taille cons quente Elles permettent galement l utilisateur au moyen de commandes simples de conna tre l avancement de ses travaux N ayant pas t con ues des fins de statistiques la documentation interne disponible est volontairement limit e On trouvera des indications compl mentaires ce sujet dans l article RS Il est donc indispensable de travailler en troite collaboration avec les concepteurs pour assurer une interpr tation correcte des donn es Figure 2 Etats des jobs SUBMITTED CANCELLED SCHEDULED ABORTED RUNNING DONE failed 3 3 L outil de statistiques L outil nous permet de r cup rer les donn es qui nous int ressent sur un serveur local et de traiter ces donn es pour en tirer les statistiques utiles au projet Nous publions ces statistiques sur le site de l activit Quality Assurance du projet R2 L architecture de cet outil est pr sent e la Figure 3 Il est maintenant compos d une base de donn es et de quatre modules ind pendants assurant les fonctionnalit s suivantes 1 la collecte des donn es n cessaires partir des diff rentes bases L amp B de la grille droite du sch ma Ces donn es sont charg es dans des tables de collecte 2 la pr paration des donn es s lection des donn es utiles dans les tables de collecte et regroupement des donn es par job ca
4. sessionId 17 amp slotId 0 amp confId a0514 20 05 10 25 Biomed Data Challenge statistics Comparison from end users statistics against RBs statistics Nicolas Jacq LPC Clermont siie
5. He CGCG nabling Grids urec for E scienc Statistiques d usage de la grille EGEE Retour d exp rience au sein du groupe de travail Quality Assurance d EGEE Cyril L Orphelin et Genevi ve Romier EGEE JRA2 CNRS UREC R sum Ce document pr sente les statistiques d usage de la grille EGEE r alis es par l activit Quality Assurance JRA2 Apr s pr sentation du contexte du projet et des objectifs de ce travail nous d crivons dans une partie plus technique le fonctionnement de la grille les donn es utilis es et l outil d velopp et mis en uvre Puis nous pr sentons les principales statistiques et ce qu elles repr sentent et enfin les volutions possibles dans le cadre du projet Nous essayons galement d identifier les principales difficult s rencontr es au cours des deux ann es du projet Les statistiques ont t r alis es par les ing nieurs de l UREC en 2004 Elodie Sanchez et Genevi ve Romier en 2005 et 2006 Cyril L Orphelin et Genevi ve Romier ne 1 Contexte du projet Le projet EGEE Enabling Grid for E science avril 2004 mars 2006 R1 financ pour plus de 30 M Euros par la commission Europ enne est con u comme la premi re partie sur 2 ans d un projet d une dur e totale de 4 ans Le but du projet EGEE est en s appuyant sur les derni res technologies de grille de calcul de mettre en place une infrastructure de grille de calcul disponible pa
6. O ou communaut s d utilisateurs de la grille Ceci a permis par exemple la communaut Bio m dicale de montrer son utilisation croissante de la grille Enfin plus r cemment nous avons pu valuer le temps de run ou temps d ex cution tel que per u par l utilisateur des jobs sur la grille et le comparer avec le temps que passe le job sur la grille avant le run Il est en effet important de savoir si le temps d attente avant ex cution n ob re pas le gain obtenu en utilisant plusieurs n uds Dans un projet de ce type en volution constante et rapide il est n cessaire d adapter constamment les outils de mesures aux objectifs du moment et le travail se fait par ajustements successifs aux nouvelles demandes La Qualit est dans ce contexte une activit pragmatique aux objectifs qui doivent rester r alistes par rapport au contexte du projet Le travail se fait en liaison avec les autres activit s dans le cas des statistiques d usage de la grille d une part avec les utilisateurs finaux et d autre part en liaison avec les concepteurs de l intergiciel pour interpr ter les diff rents codes retra ant le d roulement des jobs 3 Pr sentation technique 3 1 Comment la grille fonctionne Pour mieux comprendre le fonctionnement de la grille la Figure 1 pr sente un sch ma r capitulatif Figure 1 sch ma simplifi du fonctionnement de la grille EGEE Interface Utilisateur UI Statis
7. cc s aux bases logging et bookkeeping ou dues au manque de documentation permettant l interpr tation des donn es nous ont montr qu il est essentiel que les objectifs soient partag s par l ensemble des intervenants dans ce type de projet tr s r parti que ce soit au niveau du management des ressources ou encore des utilisateurs 10 8 Glossaire Un glossaire des termes utilis s fr quemment au sein du projet est disponible http egee jra2 web cern ch EGEE JRA2 Glossary Glossary html Job travail jobs status status tats des jobs Resource Broker courtier de ressources VO Virtual Organisation communaut d utilisateurs L amp B logging and bookkeeping action de tracer les v nements ou par extension traces des v nements CE Computing Element composant o sont ex cut s les jobs 9 R f rences R1 Site web du projet EGEE http egee intranet web cern ch egee intranet gateway html R2 Site web de l activit Quality Assurance du projet EGEE http egee jra2 web cern ch EGEE JR A2 index html R3 Les grilles informatiques tat de l art et d ploiement Marcel Soberman CNRS STIC marcel soberman cars dir fr http www jres org paper 4 pdf R4 Site du projet Crossgrid http www crosserid org main html R5 Distributed Tracking Storage and Re use of Job State Information on the Grid D Kou ril A K rene
8. ec la plus grande prudence cette statistique puisqu on sait que certaines exp riences de physique des hautes nergies confient une ou deux personnes le soin de lancer et suivre les jobs pour toute la communaut des utilisateurs 5 2 Les r sultats sp cifiques adress s directement aux utilisateurs Nous avons galement t sollicit s pour suivre et mesurer l usage de la grille li un data challenge d un groupe d utilisateurs de la VO Bio m dicale Un data challenge est une utilisation intensive de la grille pendant une p riode d termin e dans un objectif pr cis de r sultats Dans le cas pr sent il s agissait pour quelques utilisateurs de faire une pr s lection in silico i e par calcul l aide de logiciels sp cialis s de m dicaments potentiellement capables de traiter la malaria Ce data challenge est d crit dans le document R8 Cette pr s lection n cessitait l utilisation de deux logiciels dont l un n tait disponible que deux semaines l ensemble des calculs devant tre termin s en 6 semaines Il fallait donc tudier le plus de cas possible dans le temps imparti et par cons quent utiliser aussi le plus de ressources possibles sans saturer la grille pour obtenir le maximum de r sultats Nous avons pu r cup rer et isoler sur l ensemble des resource brokers utilis s les l ments nous permettant d tablir les statistiques pour cet ensemble de donn es
9. ilisateur D2 date heure de run sur le Computing Element D3 date heure de fin sur le Computing Element Le Computing Element repr sente le composant o est ex cut le job e Execution Time Jobs Distribution Cette statistique est une r partition des jobs en fonction de leur dur e d ex cution pour chaque VO Les jobs sont class s dans les cat gories suivantes short jobs 0 lt temps d ex cution lt 300 s 5 mn medium jobs 300 s lt temps d ex cution lt 2 700 s 45 mn long jobs 2 700 s lt temps d ex cution lt 10 800 s 3 h infinite Jobs temps d ex cution gt 10 800 s On remarquera que la dur e des jobs d pend de chaque VO En effet les VOs travaillent avec des applications de types diff rents La dur e des jobs varie galement selon que les jobs sont des jobs de tests ou des jobs de production e Active Users Avec cette statistique nous avons voulu mettre en vidence le nombre d utilisateurs par VO en fonction de l usage et nous avons arbitrairement fix deux cat gories o Identified users ceux qui ont lanc moins de 10 jobs mais au moins un dans la p riode d un mois o active users ceux qui ont lanc plus de 10 jobs dans la p riode On a pu constater une volution du nombre d utilisateurs actifs montrant un usage plus cons quent de la grille avec le temps On doit tout de m me interpr ter av
10. intergiciel 1l a donc t n cessaire de s adapter aux possibilit s offertes par les bases logging et bookkeeping De plus une des grandes difficult s d coulant de ce fait est la v rification puisqu il n existe pas de r f rences Nous avons donc proc d continuellement des v rifications sur les donn es Les statistiques que nous avons pu tablir ont permis de donner d s le d but du projet des indications sur l usage de la grille Plus tard nous avons pu affiner et mesurer l importance relative des VOs travers la quantit de jobs soumis mais aussi leurs dur es de vie d ex cution La collaboration avec les utilisateurs particuli rement ceux de la VO bio m dicale ainsi qu avec les d veloppeurs des composants logging et bookkeeping a t fructueuse et nous a permis de progresser Les difficult s constat es pour le recensement des resource brokers et les masses de donn es collecter pour centraliser les informations n cessaires montrent qu il n est pas facile de consolider des informations dans un syst me con u pour tre distribu et dans lequel les statistiques d usage n ont pas t int gr es au sch ma de conception Les m mes difficult s sont rencontr es par les quipes en charge de l accounting 1 e la mesure exacte de l activit sur les ressources permettant ventuellement une facturation Les difficult s constat es dans l obtention des droits d a
11. isque les donn es seront d j pr trait es D autres activit s ont galement produit des statistiques apr s quelques mois de projet en se basant sur les donn es produites sur les Computing Elements Ils se sont heurt s aux m mes difficult s que nous pour identifier et obtenir les droits d acc s aux Ressources Brokers mais avec les Computing Elements et il ne leur a pas t possible d obtenir les donn es de tous les sites Ils ne disposent donc ce jour que de donn es partielles Pour la deuxi me partie du projet 2006 2008 un groupe de travail inter activit s sera en charge de la d finition des statistiques n cessaires l ensemble du projet Une meilleure prise en compte de l ensemble des utilisateurs et des ressources devrait tre possible On sait galement que certains utilisateurs de la grille EGEE n utilisent pas la totalit des composants de l intergiciel propos et pr f rent utiliser leurs propres composants Par exemple ils ne soumettent pas leurs jobs travers un resource broker mais les envoient directement sur la ressource cible Pour le moment personne ne dispose des indications n cessaires pour valuer le nombre de ces utilisateurs et encore moins le nombre de jobs qu ils soumettent ainsi Le groupe de travail devra l encore trouver le moyen de quantifier ces usages 7 Conclusion Aucune statistique d usage n a t pr vue la conception de l
12. k L Matyska M Mula c J Posp il M Ruda Z Salvet J Sitera J krabal M Voc u CESNET z s p 0 Zikova 4 160 00 Praha 6 Czech Republic P Andreetto S Borgia A Dorigo A Gianelle M Mordacchini M Sgaravatto L Zangrando INFN Sezione di Padova Via Marzolo 8 I 35131 Padova Italy S Andreozzi V Ciaschini C Di Giusto F Giacomini V Medici E Ronchieri INFN CNAF Viale Berti Pichat 6 2 I 40127 Bologna Italy G Avellino S Beco A Maraschini F Pacini A Terracina DATAMAT S p A Via Laurentina 760 I 00143 Roma Italy A Guarise G Patania INFN Sezione di Torino Via P Giuria 1 I 10125 Torino Italy M Marchi M Mezzadri F Prelz D Rebatto INFN Sezione di Milano Via Celoria 16 I 20133 Milano Italy S Monforte M Pappalardo INFN Sezione di Catania Via S Sofia 64 I 95123 Catania Italy R6 Jobs statistics tools functionality and software architecture Cyril L Orphelin Genevi ve Romier CNRS UREC https edms cern ch document 703893 R7 Jobs statistics tools installation and running Cyril L Orphelin Genevi ve Romier CNRS UREC https edms cern ch document 703895 R8 https edms cern ch document 592572 R9 http wisdom eu egee fr R10 http indico cern ch sessionDisplay py session d 17 amp slotId 0 amp confld a05 14 20 05 10 25 Biomed Data Challenge statistics Data collect Cyril L Orphelin Genevi ve Romier CNRS UREC R11 http indico cern ch sessionDisplay py
13. lcul des tables interm diaires 3 le calcul des diff rentes statistiques partir des donn es pr par es dans les tables interm diaires 4 la publication des r sultats travers des pages Web dynamiques affichant les tables statistiques calcul es pr c demment Deux documents concernant cet outil sont disponibles le premier R6 d crit ses principales fonctionnalit s et son architecture le second R7 est un manuel d installation et d exploitation Le logiciel est galement disponible sous licence EGEE Figure 3 traitement des donn es dans l outil de statistiques Statistics Database EGEE Grid our MySo Database remote L amp B databases Collecting tables events_all_rb short_fields_1 short_fields_2 events_1 events_2 jobs_YO jobs_all_rb VO_RB VO_RB_duration sites users_active pa web Site pvems 4 short_fields Web pages http egee jra2 web cern ch EGEE JRA42 00 JobsMetrics Job Metrics htm VO from long_fields http ccjr82 in2p3 fr EGEE JRAZ QAmessurement index php 4 Quelques chiffres pour fixer les id es Durant les deux ann es du projet nous avons rassembl les donn es issues d une soixantaine de resource brokers diff rents ce qui repr sente environ 400 Go de volume de donn es brutes Pour collecter ces donn es nous avons d parall liser les requ tes de fa on solliciter plusieurs serveurs distants en m me temps Nous en sommes
14. rtout en Europe 24 heures sur 24 Le projet qui est un des plus importants de ce genre vise fournir des ressources de calcul et de stockage cons quentes aux chercheurs acad miques et industriels ind pendamment de leur localisation g ographique Trois types d applications scientifiques les sciences du vivant la physique des hautes nergies et des applications g n riques d autres disciplines ont t choisies pour d montrer la faisabilit d une telle infrastructure 2 Objectifs des statistiques D s le d but du projet EGEE en avril 2004 le groupe de travail Quality Assurance R2 a souhait mesurer l activit en terme de quantit de jobs travaux soumis par les utilisateurs lanc s sur la grille il fallait tre en mesure d valuer afin de d terminer l activit des utilisateurs leur int r t pour la grille et leur profil d activit Un outil d velopp par le projet Crossgrid R4 tait alors disponible et permettait une valuation du nombre de jobs en fonction de leurs tats successifs sur la grille Nous l avons donc d ploy sur la grille EGEE Rapidement le besoin a volu en terme de statistiques et nous avons cherch valuer galement le taux de succ s des jobs c est dire le nombre de jobs r ussis par rapport au nombre de jobs lanc s ce qui a t possible en affinant les proc dures Plus tard nous avons cherch donner ces informations en fonction des V
15. s rate Cette statistique donne la r partition des jobs en fonction de leur tat final par rapport au nombre de jobs enregistr s sur la grille pendant la m me p riode tous resource brokers confondus par VO ou toutes VO confondues par resource broker Les diff rents tats finaux affich s sont succ s job termin correctement du point de vue de l intergiciel cancelled job stopp par l utilisateur aborted job stopp par un composant de l intergiciel Le taux de succ s est galement affich Celui ci est calcul de la fa on suivante Taux_succ s NbJts NbJenr NbJstop avec NbJts nb de jobs termin s avec succ s NbJenr nb de jobs enregistr s NbJstop nb de jobs stopp s par l utilisateur Enfin le tableau donne galement le nombre moyen de jobs par jour Ces diff rents l ments permettent d valuer l usage de la grille de mois en mois Ceci permet entre autres de mettre en vidence que cet usage va croissant particuli rement au d but du projet ou lors des premi res semaines d existence des nouvelles VO e Jobs Duration Statistics Cette statistique est la comparaison entre le temps d attente des jobs et le temps total d ex cution calcul s comme suit Temps d ex cution ET D3 D2 Temps d attente WT D2 D1 avec D1 date heure d enregistrement sur le Resource Broker par le composant interface ut
16. s traces dites logging and bookkeeping Ces traces produites par les diff rents composants de la grille viennent enrichir de fa on asynchrone et continue des bases de donn es logging and bookkeeping ou L amp B associ es aux diff rents ressource brokers Il nous faut donc identifier les ressources brokers de fa on avoir une vue repr sentative de la grille EGEE II faut donc tre r aliste et pragmatique malgr l absence d exhaustivit concernant les resource brokers nos r sultats statistiques sont significatifs ils refl tent des tendances Chaque tape de la vie du job est codifi e dans une base L amp B sous forme d un v nement et de renseignements associ s qui permettent de conna tre le r sultat de l v nement ou Status et une partie du contexte par exemple on peut savoir si le job a t lanc et sur quelle machine ou s il a t interrompu par quel composant et pour quelle raison La Figure 2 d crit de fa on simplifi e le cycle de vie d un job et diff rents tats possibles On voit facilement m me sur un sch ma simplifi qu il existe de nombreuses possibilit s de cheminement pour un job En fait le nombre d v nements pour un seul job varie d une dizaine plusieurs dizaines Les v nements et les renseignements associ s sont stock s dans plusieurs tables dans les bases L amp B Ces bases de donn es destin es au suivi du
17. tiques JRA2 JDL Scripts Utilisateur Base logging and bookkeeping Etat des Ressources Site Web Publications des statistiques L utilisateur final travers l interface utilisateur User Interface ou un portail qui lui masque cette interface soumet un travail job ou une s rie de jobs la grille en s adressant un courtier de ressources ou resource broker Il peut pr ciser l aide du JDL ou Job Description Langage les options de son choix Le resource broker qui conna t les ressources de calcul et de stockage gr ce au syst me d information de la grille oriente les jobs vers les ressources ad quates L utilisateur r cup re ses r sultats finaux apr s que les jobs ait t ex cut Il existe sur la grille EGEE plusieurs dizaines de resource brokers chacun peut d cider d en installer un et il n y a pas de moyen automatique permettant de les recenser de fa on exhaustive m me si le syst me d information en conna t une grande partie Chaque communaut d utilisateurs n gocie l utilisation d un ou plusieurs de ces resource brokers Re avec les diff rents sites Les sites en installent r guli rement de nouveau et stoppent l activit de certains Des compl ments et d autres intergiciels sont d crits dans le document R3 3 2 Les donn es l origine des statistiques Les statistiques qui nous int ressent dans ce document sont issues de
Download Pdf Manuals
Related Search