Rapport de stage - LIRIS
Contents
1. La d tection des s quences doit tre bas e sur la reconnaissance d expression r guli re dans un ou plusieurs champs de chaque v nement de la s quence 3 3 Reconnaissance des dates Afin d identifier une s quence chronologique il faut que le syst me puisse re conna tre et utiliser la date inscrit dans l v nement La d finition d une date dans un v nement peut se faire de diff rente mani res le syst me doit donc pouvoir s adapter quelque soit les v nements 3 4 Sorties Les sorties r sultantes de la d tection des s quences doivent tre le plus confi gurables possible En effet DesEsper est un outil de pr traitement la sortie doit tre utilisable par un autre logiciel logiciel d analyse Data Minig Tableurs etc 4 Benchmarks 4 1 Pr ambule Afin de comparer les 4 syst mes de l tat de l art ils ont t soumis l analyse de logs par de diverses s quences Ce test est bas sur le benchmark effectu dans le document r f rence FPDRO07 Le test a t effectu sur un ordinateur quip d un processeur Intel R Core TM 2 Duo CPU T7250 2 00GHz avec un total de m moire de 2Go sur le syst me d exploitation Ubuntu 8 04 Les logs tudi s ont t g n r s par l application SIMS et contiennent environ 1800000 v nements sauvegard s dans un fichier de 196Mo Ces logs suivent le format d fini dans l API Log4C Exemple de logs 3074214800 2007 11 27 12 352. 59 548 DEBUG sims Run channel manager checking channel ages 3074214800 2007 11 27 12 35 59 548 DEBUG sims Run channel manager channel ages were successfully checked 3051301776 2007 11 27 12 35 59 622 INFO sims PeriodicEvent time reached 3051301776 2007 11 27 12 35 59 622 INFO sims Synchronisation New synchronisation is running Fichier de description de logs pour DesEsper lt logs gt lt description gt lt champ type String debut 0 taille 10 gt Numero lt champ gt lt champ type Date debut 11 taille 25 format YYYY mm dd hh ii ss xcl gt Date lt champ gt lt champ type String debut 37 taille 10 gt TypeEvt lt champ gt lt champ type String debut 50 taille 0 gt description lt champ gt lt description gt lt groupes gt lt groupe nom tous gt lt groupe gt lt groupes gt lt logs gt Afin d crire cette description des champs de logs il a fallut compter les positions des caract res pour chaque champs Cette tape n est pas tr s intuitive et peut facilement amener a des erreurs 4 2 R alisation des tests R1 S lectionner tous les v nements d un log Cette requ te donne 1 800 000 v nements GREP 1 09 sec grep E logs sims log 2 Esper 55 21 sec select from BaseEvent DesEsper 42 61 sec lt sequences gt lt sequence nom AfficherTous unique faux gt lt etape source tous timeout 0 gt lt critere
3. champ description gt lt critere gt lt etape gt lt sequence gt lt sequences gt SEC 2 min 51 sec type Single ptype RegExp pattern desc 0 action write sortie txt 0 R2 S lectionner les v nements contenant err ind pendamment de la casse dans leur description Cette requ te donne 144 v ne ments Remarque Grep et Sec ne permettent pas de rechercher dans un champ particulier de l v nement ils recherchent dans l v nement entier GREP 23 46 sec grep E i err logs sims log Esper 17 38 sec Select from BaseEvent where description regexp err ERR Err DesEsper 18 84 sec lt sequences gt lt sequence nom AfficherErr unique vrai gt lt etape source tous timeout 0 gt lt critere champ description gt i err lt critere gt lt etape gt lt sequence gt lt sequences gt SEC 71 93 sec type Single ptype RegExp pattern err ERR desc 0 action write sortie txt 0 R3 S lectionner les v nements ayant eu lieu le 2007 11 26 entre 07 12 48 et 07 25 01 Cette requ te donne 1908 v nements GREP 34 41 sec grep E i 2007 11 26 07 12 4 89 12 5 0 9 1 3 9 0 5 0 9 2 0 4 0 5 0 9 Esper 9 sec Select from BaseEvent where timestamp regexp 2007 11 26 07 12 4 89 12 5 0 9 DesEsper 14 sec lt sequence nom AfficherIntervalTemp uniq
4. d but et de fin puis calculer la moyenne 4 3 Synth se de ces exp rimentations Le syst me DesEsper n apporte pas la solution tout les probl mes soulev s par les autres syst mes Orient gestion des dates il permet d exprimer plus facilement certaines requ tes requ te R3 lorsqu il s agit de manipuler les dates et de r soudre les probl mes de gestion des dur es entre diff rents v nements Requ te R8 A requ tes et sorties gales DesEsper est l g rement moins rapide qu Es per mais le syst me de reconnaissance d expression r guli rement est encore en d veloppement Voir sections ci dessous Le probl me soulev par les requ tes R6 et R7 n est abord dans aucune des solutions logiciels test s Ces requ tes font appel une d tection d l ments inconnus mais communs 2 v nements Ces l ments correspondent une expression r guli re le plus souvent mais ne sont pas accessibles directement une fois l expression r guli re satisfaite Ceci pourra tre une tude part afin de cr er un algorithme de d tection de ce genre de s quence 5 Analyse et Conception de DesEsper 5 1 Analyse 5 1 1 Restriction sur les flux analyser Afin de pouvoir d tecter les dates dans les v nements l v nement doit pou voir tre d coup en deux champs minimum un champ Date et un autre Les champs sont d finis par leur position dans l v nement et leur taille Afin de pr
5. voir les champs tailles variables la taille du champ peut tre d finie 10 comme tant jusqu la fin de l v nement fin de la ligne Ce d coupage en plusieurs champs fixe est utilis e dans plusieurs syst mes d analyse de flux tel que Cayuga R f rence BDGT07 Le nombre de champ est illimit mais un champ doit toujours se situer la m me position d un v nement l autre sur une ligne Avant de d tecter des s quences dans le flux il est possible de grouper les v nements dans diff rents groupes selon des crit res sur les champs d finis Ainsi il sera possible de d tecter les s quences sur un type d v nement pr cis d am liorer la rapidit de d tection et la lisibilit des s quences Exemple d v nement analysable log EDF APP G1 03 06 07H00 06 9 MARCHE POMPE REGUL APP G1 03 06 07HO00 06 9 FREINAGE EN COURS ALARME APP G1 04 06 07HOO 21 7 DEFAUT VANNE de TETE Dis G1 03 06 07HO1 05 0 MARCHE POMPE VANNE de TETE Dans cette exemple d venements le d coupage peut tre fait suivant quatre champs un premier champ Alarme un deuxi me champ qui cor respond un type d v nement un troisi me champ Date contenant et un quatri me champ contenant la description de l v nement Description XML des champs pour DesEsper lt logs gt lt description gt lt champ type String debut 0 taille 10 gt Numero lt champ gt lt champ type Date d
6. 08 dans le laboratoire Liris en partenariat avec EDF R amp D sur le sujet Analyse de log applicatif d une centrale hydraulique Partant au d but sur une approche analyse de logs pour EDF le stage s est orient au fur et mesure vers une approche pr analyse de flux En effet durant ce stage a t d velopp DesEsper un outil de pr traitement d analyse de flux d v nements 1 1 Etat de l art Les outils qui permettent une analyse de flux ne sont pas nombreux et ont souvent des limites ne permettant pas d effectuer les analyses souhait es Grep Grep est un outil ligne de commande unix permettant de rechercher les lignes contenant une expression r guli re donn e Il prend en entr e une liste de fichiers ou l entr e standard et retourne les lignes respectant l expression r guli re sur la sortie standard SEC SEC Simple Event Correlator est un outil base de r gles permet tant d tudier des flux d v nements SEC prend en entr e plusieurs types de sources telles que l entr e standard ou des fichiers texte La lecture des v ne ments se fait par l interm diaire d adaptateurs pr d finis ou cr s par l utili sateur chaque mise jour du flux En sortie de SEC des flux peuvent tre galement g n r s par les r gles Le chargement des r gles se fait au d mar rage de l application partir de fichiers texte En interne les v nements issus des diff rentes sources sont r unies dan
7. Rapport de stage Stage Analyse de logs applicatifs INSA Lyon Liris EDF R amp D S bastien Gassmann 27 ao t 2008 Table des mati res 1 Introduction 1 1 Etat de l art 1 2 Pr sentation du stagel 153 Contribution x Lans oe RARES SMS Bt ee ee ve VETS 2 Terminologie utilis e 3 DesEsper Fonctionalit s voulues 3 1 Flux analysables 3 2 D tection de s quences 3 3__ Reconnaissance des dates 3A SOCHE e ere node do oe P 1 ae de A ee he a a a Yar n td Nh Pew A 4 Benchmarks 5 41 Preambule lt lt u 4a 3 s amp So A BEG aha A aS 26 76 SES 36 38 5 4 2 _ R alisation des tests oo a e a a a 6 0 4 3 Synthese de ces exp rimentations 1 5 Analyse et Conception de DesEsper 5 1 Analyse 5 1 1 Restriction sur les flux analyser 5 1 2 D tection de la date 11 ee 12 5 1 4 Reconnaissance des motifs 12 5 1 5 Sortie des r sultats 13 sae oa a Sd us enna De at 38 D 13 5 2 1 Fonctionnement de la partie analyse des v nements T che Analyse 15 quences termin es T che Sortie 5 2 3 L interface graphiquel 16 16 16 1 Introduction Ce document finalise le stage qui s est d roul en t 20
8. ction des temps En effet afin de d tecter les s quences de d marrage et d arr t des groupes hydrauliques il fallait que les dates soient extraites chaque v nement de log re u Aucun syst me ne permettait de le faire J ai donc eu l id e de cr er moi m me un syst me d analyse de logs qui r pondrait parfaitement mes attentes C est ainsi qu est n le syst me DesEsper le nom est d riv du syst me d analyse de flux Esper 2 Terminologie utilis e Un v nement Une ligne dans un fichier ou un flux cette ligne tant struc tur e Un fichier Ensemble fini d v nements Un flux Ensemble infini d v nements Une s quence Suite chronologique d v nements Une tape Ev nement d une s quence correspondant un ou plusieurs cri t res Un champ Portion fixe d un v nement Un crit re Expression r guli re portant sur un champ d un v nement Un groupe Ensemble d v nements qui ont un ou plusieurs crit re en com mun 3 DesEsper Fonctionalit s voulues 3 1 Flux analysables Les flux analysables par le syst me DesEsper peuvent tre finis comme un fichier de logs ou continus comme des v nements provenant en continu d un autre logiciel 3 2 D tection de s quences La r le principal de DesEsper est de pouvoir identifier une s quence d finie par une suite d v nement Cette suite d v nement est ordonn e chronologi quement
9. ebut 11 taille 25 format YYYY mm dd hh ii ss xcl gt Date lt champ lt champ type String debut 37 taille 10 gt TypeEvt lt champ gt lt champ type String debut 50 taille 0 gt description lt champ gt lt description gt lt logs gt 5 1 2 D tection de la date Les informations de la date doivent contenir au minimum le jour le mois Vheure la minute et la seconde Si l ann e n est pas renseign e l ann e en cours est assign e l v nement La pr cision de la date peut aller jusqu la millise conde Le format de la date peut tre tr s vari l ann e peut tre d finie par 2 ou 4 chiffes le jour par 2 chiffres 01 31 le mois par 2 chiffres 01 12 Vheure peut tre de pr cision variable seconde dixi me centi me ou milli me Exemple de date APP G1 03 06 07H00 06 9 MARCHE POMPE REGUL Description du format pour DesEsper YYYY mm dd hh ii ss xcl 11 La date extraire de l v nement ci dessus 03 06 07H00 06 9 peut tre extraite facilement par le syst me DesEsper en lui sp cifiant les informations disponibles Cette date contient les informations n cessaires jour mois heure minutes secondes et facultatives dixi me de secondes 5 1 3 Permission sur les contraintes temporelles L ordre des v nements dans le flux peut tre diff rent de celui d fini par Vestampille temporelle de l v nement Pour cela un temps de retard accept peut tre d
10. ent de DesEsper Organisation de la description d v nement Une description d v nement une instance de la classe Evts Chaque Evts contient une liste de Champ et une liste de Groupe Chaque Groupe contient une liste de Critere Organisation des s quences en cours Une s quence en cours une instance de la classe SequenceEnCours Les v nements sont manipul s sous forme d Object Java Map Un syst me multit che DesEsper est un syst me multit che d coup en deux t ches une t che ayant pour r le d analyser les v nements au fur et mesure qu ils arrivent et une autre ayant pour r le de fournir le r sultat de sortie pour chaque s quence termin e Une priorit plus importante est donn e la premi re t che afin de permettre une analyse plus rapide des v nements dans le cas o ils arriveraient en continue Voir figure 2 14 N T che Analyse gt T che Sortie Fic 2 Sch ma du fonctionnement multitache de DesEsper 5 2 1 Fonctionnement de la partie analyse des v nements T che Analyse Soit une liste de s quences en cours au d but vide une liste de s quences de base d finies par l utilisateur une liste de s quences termin es r sultant des s quences en cours objet partag avec la t che sortie un buffer d v nements dont la taille est param trable deux param tres n
11. eout 0 gt lt critere champ description gt Failed to call service lt critere gt lt etape gt lt sortie gt NumeroRequete lt sortie gt lt sequence gt lt sequences gt SEC 49 32sec type Single continue TakeNext ptype RegExp pattern Failed to call service desc 0 action eval a b write sortie txt fa R6 D clencher une alarme si le nombre d checs de connexion les v nements contenant ERROR et Failed to call service pour un m me service est sup rieur ou gal 4 Grep Impossible car grep ne permet pas de regrouper des v nements en fonction d une partie de leur description Esper Impossible car Esper ne permet pas de regrouper des v nements en fonction d une partie de leur description DesEsper Impossible car DesEsper ne permet pas de regrouper des v nements en fonction d une partie de leur description SEC Impossible de g rer un nombre ind termin de compteur en parall le R7 S lectionner les v nements error ou err de deux sources diff rentes associ s la m me adresse IP Grep Impossible car grep ne permet pas d exprimer des conditions entre plusieurs sources Esper Impossible car Esper ne permet pas d appliquer une condition d ga lit entre deux parties de champs texte En effet il est seulement possible de rechercher un motif pr d fini DesEsper Impossible car DesEsper ne permet pas d appliquer une condi tio
12. epuis le d but du flux et pour chaque v nement nom des diff rents champs d finis plus Date et Log dur e entre le premier v nement et l v nement en cours dur e entre l v nement pr c dent et l v nement en cours num ro de l tape dans la s quence Exemple de sortie d sir es Afficher pour chaque s quence d tect e le nom de la s quence suivi de la dur e totale et de la date de chaque v nement Traduction de la sortie en XML lt sortie gt NomSequence a dur e DureeTotale Voici les dates des v nements qui sont apparus E C Date C E lt sortie gt 5 2 Conception Fonctionnement g n ral DesEsper analyse un flux d v nements suivant des requ tes continues s quences d finies par l utilisateur Ces requ tes s ap puient sur le d coupage en champs de l v nement et l identification de la date au sein de l v nement Une s quence d tecter est constitu e d une ou plu sieurs tapes une tape correspondant l arriv e d un v nement pr cis Le r sultat des s quences d tect es est fourni en continue sur la sortie standard ou redirig vers un flux Voir F igure 1 Organisation en classes Organisation des s quences en classes Une s quence une instance de la classe Sequence Chaque Sequence contient une liste d Etape Chaque Etape contient une liste de Critere 13 DesEsper Fic 1 Sch ma g n ral du fonctionnem
13. fini ainsi qu une limite d v nements autoris s tre en retard L v nement arrivant en retard selon le retard accept et la limite d v ne ments permise sera automatiquement replac dans son contexte temporelle Les v nements une fois arriv dans le syst me sont plac s dans un buffer tri chronologiquement Plus le temps de retard et la limite d v nement d finies seront grands moins la vitesse d analyse des s quences sera importante 5 1 4 Reconnaissance des motifs Les motifs reconnus par DesEsper sont d finis sous forme de s quence d v ne ments qui doivent chacun correspondre des crit res correspondance de champs des expressions r guli res restriction sur les dates etc Les champs sur lesquels sont appliqu s les crit res sont ceux d finis dans la description des v nements Un champ Log est automatiquement d fini contenant l ensemble de l v nement Une contrainte temporelle maximale peut tre d finie entre deux v nements cons cutifs ainsi un motif ne sera reconnu que si les v nements arrivent dans un laps de temps imparti La d finition d une contrainte temporelle minimale est en cours de d veloppement A une s quence d v nements d finie est associ un nom et un tat unique ou non le nom sert identifier la s quence d tect e et l attribut unique per mettre ou non la s quence d tre reconnue plusieurs fois en m me temps si un
14. ic Flouvat Jean Marc Petit Pierre Etienne Delon and Alain Ribiere Lot 2 Proposition d une architecture pour exploiter les traces g n r es par edf March 2007 16 Rou04 John P Rouillard real time logfile analysis using the simple event In 18th USENIX System Administration Confe correlator sec rence LISA 04 Proceedings November 2004 umb edu rouilj sec 17
15. n d galit entre deux parties de champs texte En effet il est seulement possible de rechercher un motif pr d fini SEC Impossible de dissocier les v nements des diff rentes sources si cette information n est pas pr sente dans la description des v nements R8 Calculer le temps moyen d une tentative de connexion ayant conduit un chec i e calculer le temps moyen de la s quence lt At tempt 1 Attempt 2 Attempt 3 Error gt avec un intervalle maximum de 2 sec entre chaque v nement Grep Impossible car grep ne permet pas de d tecter des s quences Esper Impossible simplement car Esper ne permet pas d extraire les es tampilles temporelles Il faut pour cela d velopper un programme Java qui sera ensuite appel dans une requ te DesEsper 10 23sec lt sequences gt lt sequence nom Afficher unique vrai gt lt etape source tous timeout 2000 gt lt critere champ description gt attempt 1 3 lt critere gt lt etape gt lt etape source tous timeout 2000 gt lt critere champ description gt attempt 2 3 lt critere gt lt etape gt lt etape source tous timeout 2000 gt lt critere champ description gt attempt 3 3 lt critere gt lt etape gt lt sortie gt DureeTotale lt sortie gt lt sequence gt lt sequences gt SEC Impossible simplement Il faut pour cela d finir 4 r gles pour d tecter la s quence et d velopper un programme Perl pour extraire les estampilles de
16. ombre d v nement maximum et dur e maximum entre le premier et le dernier v nement A chaque r ception d un v nement la liste des s quences en cours est parcou rue pour chercher celles que l on peut avancer d une tape gr ce cet v nement Ensuite avec ce m me v nement la liste des s quences de base est parcourue pour chercher celles que l on peut ajouter dans la liste des s quences en cours gr ce cet v nement Enfin l v nement est ajout dans le buffer d v nement si cet v nement est en retard c est dire si la date inscrite dans l v nement est ant rieure la date de l v nement le plus r cent les v nements arriv s apr s au point de vue de la date des v nements sont r inject s dans le cycle parcours des s quences en cours et de base Les s quences termin es si toutes les tapes ont t franchies et des requ tes expir es si une tape a atteint son timeout sans recevoir l v nement qui la ferait passer l tape suivante sont enlev es de la liste des s quences en cours 15 Tout le syst me de dur e moment timeout est g r partir des dates des v nements aucun moment le syst me ne se base sur le moment d arriv e de l v nement ou le moment actuel 5 2 2 Fonctionnement de la partie sortie des r sultats des s quences termin es T che Sortie La t che sortie permet de s parer les cr ations des r sultats des
17. s quences d tect es lors de l analyse Lorsqu elle est active du temps processus est libre la liste des s quences termin es est parcourue et leurs actions sont effectu es pour chacune Calcul des dur es affichage de champs etc 5 2 3 L interface graphique L interface graphique de DesEsper a t d velopp ind pendamment Son uti lisation n est pas absolument n cessaire Une utilisation par la ligne de com mande se fait tout aussi ais ment L interface graphique permet de visualiser directement l cran la sortie et de lancer et stopper l analyse du flux simplement grace l appuie de bouton 6 Conclusion Le stage est termin mais le d veloppement de DesEsper n est pas ter min de nombreuses am liorations peuvent y tre apport es L ensemble des exemples codes sources documents sont disponibles l adresse http socq liris cnrs fr DesEsper 7 Annexes Manuel d utilisation de DesEsper Fichier externe Rapport personnel Fichier externe R f rences BDG 07 Lars Brenna Alan Demers Johannes Gehrke Mingsheng Hong Joel Ossher Biswanath Panda Mirek Riedewald Mohit Thatte and Wal ker White Cayuga A high performance event processins engine In SIGMOD 07 June 2007 Esp08 EsperTech Esper Event stream intelligence 2008 http esper Fou05 Free Software Foundation grep print lines matching a pattern 2005 http www gnu org software grep FPDR07 Fr d r
18. s un m me flux de donn es et estam pill s par SEC Ensuite les r gles sont appliqu es s quentiellement sur ce flux d v nements Esper Esper est une API Java open source orient e ESP Event Stream Pro cessing et CEP Complex Event Processing L ESP est la probl matique s int ressant plus particuli rement l interrogation des flux de donn es haut d bit Le CEP se focalise quant lui sur l extraction d informations plus complexes dans des environnements g n rant des flux tels que la d tection de patrons d v nements complexes 1 2 Pr sentation du stage Dans le cadre de ma quatri me ann e l Institut National des Sciences Appli qu es de Lyon dans le d partement Informatique j ai effectu un stage de 4 mois dans le laboratoire Liris sur le sujet Analyse de log applicatif d une centrale hydraulique Le stage se situe la suite de l tude effectu e par Frederic Flouvat qui consistait d finir une architecture pour un logiciel qui permettrait d analy ser les logs Cette tude fut men e en partenariat avec EDF R amp D qui exprimait ses besoins et fournissait les logs Mon travail consistait tudier les possibilit s utiliser un des syst mes tudi s par Fr d ric Flouvat pour r pondre aux besoins nonc s par EDF 1 3 Contribution En testant les syst mes tudi s par Fr d ric Flouvat j ai rapidement t confront leurs limites en ce qui concerne la d te
19. ue vrai gt lt etape source tous timeout 0 gt lt critere champ Date formatDate YYYY mm dd hh ii ss comparateur sup gt 2007 11 26 07 1 lt critere champ Date formatDate YYYY mm dd hh ii ss comparateur inf gt 2007 11 26 07 2 lt etape gt lt sequence gt R4 S lectionner les 10 derniers v nements Cette requ te donne 10 v nements Grep Impossible en utilisant grep Par contre la commande tail peut tre utilis e tail n 10 logs sims log 2 Esper Impossible partir du langage de requ te mais l API permet d avoir acc s aux derniers v nements pass s DesEsper Impossible pas de notion de d but et de fin dans un flux Pour un fichier impossible mais facilement impl mentable SEC Impossible car SEC ne permet pas de d tecter le dernier v nement mais il permet partir d un v nement d clenchant une r gle de retrouver les v nements qui le pr c dent R5 Compter le nombre d v nements contenant le patron de cha ne de caract res Failed to call service o peut tre n importe quel nom 1 valeur enregistr e 47 Grep 21 sec grep E i c Failed to call service logs sims log 2 Esper 12 22 sec select count from BaseEvent where description regexp Failed to call service DesEsper 15 sec lt sequences gt lt sequence nom AfficherIntervalTemp unique vrai gt lt etape source tous tim
20. v nement peut tre commun deux d tections d une m me s quence Exemple d expression d une s quence Exemple de s quence d tecter Une s quence de 3 v nements une erreur de connexion entre chaque v nement un temps de 2 secondes maximum est autoris le premier v nement doit contenir attempt 1 3 le deuxi me v nement doit contenir attempt 2 3 et le troisi me attempt 3 3 Traduction de la s quence en XML lt sequence nom Erreur connexion unique vrai gt lt etape source tous timeout 2000 gt lt critere champ description gt attempt 1 3 lt critere gt lt etape gt lt etape source tous timeout 2000 gt 12 lt critere champ description gt attempt 2 3 lt critere gt lt etape gt lt etape source tous timeout 2000 gt lt critere champ description gt attempt 3 3 lt critere gt lt etape gt lt sequence gt 5 1 5 Sortie des r sultats Les r sultats d analyse sont dirig s par d faut sur la sortie standard mais peuvent tre redirig s vers un fichier ou un flux Le format de sortie est compl tement configurable un format de sortie est d fini pour chaque s quence d finie Les informations de sortie suivantes sont disponibles pour le moment premier v nement d tect dernier v nement d tect de la s quence nom de la s quence dur e totale de la s quence num ro de la s quence Nombre de fois que la s quence a t trouv d
Download Pdf Manuals
Related Search