Reporte completo
Contents
1. primary header 2 1 primary 3 255 redshift 55 redshift_2 E redshift_3 spectro 2 spectro 3 10 102. coordinaci n y en el uso de algoritmos inteligentes avanzados para el procesamiento de datos Debido a que la experiencia previa del equipo en el rea de coordinaci n de tareas o Workflow es b sicamente en sus aplicaciones sobre automatizaci n de procesos de negocios nos hemos dado a la tarea de analizar las particularidades de trabajos existentes en Workflow Cient fico De entre los trabajos representativos en Workflow Cient fico se analizaron las propuestas de Kepler 4 Pegasus 2 ASKALON 3 y JOpera 5 entre otros Un aspecto a destacar es que el Workflow Cient fico tiene un especial nfasis en la manipulaci n de grandes colecciones de datos hecho que es poco usual para Workflow orientado a negocios Por esta raz n un gran n mero de lenguajes de Workflow Cient fico est n orientados al flujo de datos en contraste con el convencional paradigma orientado al flujo de control usado en Workflow orientado a negocios Se debe mencionar que los lenguajes orientados al flujo de datos pueden resultar en especificaciones de dif cil compresi n Esto ha motivado esfuerzos para integrar ambos 4 10 paradigmas 1 5 6 esta misma l nea el equipo ha iniciado un trabajo reflejado en el proyecto de Tesis de Maestr a de Miguel Angel M rquez Cabe mencionar que el an lisis de prototipos de Workflow cient fico incluye la prueba del software subyacente si est disponible Este an lisis que contin a Como un proceso exploratorio
3. Martini Dra Genoveva Vargas Solar Alberto Portilla Flores estudiante de doctorado Javier Alfonso Espinosa Oviedo estudiante de maestr a Gabriela Montiel Moreno estudiante de maestr a Lourdes Ang lica Mart nez Medina estudiante de maestr a V ctor Hern ndez Baruch estudiante de licenciatura Configuraci n del servidor e grov e implementaci n de la conexi n con la base de datos del INAOE a trav s de una aplicaci n Java instal el sistema de mediaci n de datos ANDROMEDA sobre el servidor e grov que permite integrar datos astron micos de diferentes bases de datos Estamos preparando la documentaci n sobre las instalaciones y configuraciones de los SGBDs de Postgres y MySQL sobre el servidor de e grov que formar n parte de la biblioteca virtual de conocimiento siguiente paso ser a llevar a cabo una copia de la informaci n localizada en el INAOE usando ANDROMEDA sobre el servidor e grov para empezar a llevar a cabo los experimentos 2 2 WORKFLOW CIENT FICO LOTE 2 Participantes Dr Luciano Garc a Ba uelos Dr Jos Federico Ram rez Cruz Abel Armas Cervantes Juan Manuel Ramirez Arrioja Miguel Angel M rquez Rosas Un aspecto primordial en el desarrollo de experimentos cient ficos en la Grid es la coordinaci n de las varias fases del procesamiento de grandes masas de informaci n En este respecto el equipo de la Universidad Aut noma de Tlaxcala se enfoca de manera particular en la
4. UNIVERSIDAD DE LAS AM RICAS PUEBLA E GROV EXPLOTACI N DE MEGA BASES DE DATOS ASTRON MICAS EN GRID REPORTE T CNICO DR JOSE LUIS ZECHINELLI MARTINI COORDINADOR GRUPO ADMINISTRACION DE DATOS Y DE CONOCIMIENTO CENTIA DESCRIPCI N SINT TICA DEL PROYECTO El proyecto e GrOV 12 meses aporta soluciones para la construcci n de ambientes de an lisis cient fico que hacen intervenir grandes vol menes de datos y que pretenden utilizar al m ximo capacidades de c mputo distribuida alrededor de una Grid El objetivo es construir una mini grid que organice administre d acceso y difunda mega muestras de datos astron micos permita ejecutar procesos cient ficos usando herramientas y conocimiento para apoyar el an lisis masivo de datos astron micos El proyecto e GrOV se apoya en un equipo multidisciplinario en reas de la computaci n conectar tres sitios a trav s de Internet2 y ofrecer una plataforma para efectuar experimentos cient ficos que hagan intervenir grandes masas de datos y procesos de c mputo masivo necesarios para apoyar el trabajo de investigaci n en astrof sica Los resultados clave de e GrOV son para la explotaci n masiva de mega bases de datos astron micos y servicios para la ejecuci n de e experimentos cient ficos Biblioteca virtual de conocimiento t cnico para el uso de los datos y servicios programas y bibliotecas de software de la mini Grid La exper
5. de la biblioteca de los sitios UDLA INAOE y UATx a 3 2 Conexi n de bases de documentos AM 3 3 Construcci n de herramientas de b squeda de documentos A Figura 1 Calendario de actividades 3 CONCLUSIONES Nos parece importante se alar que los avances del proyecto han respetado el calendario y los entregables previstos en la propuesta ENTREGABLE Se activ un sitio de trabajo para el proyecto e GrOV http groups google com group e grov ENTREGABLE 1 Se activ la conexi n a IPV6 en la UDLA y se asign 1 servidor y 300 Gigabytes de almacenamiento en disco Este espacio se agrega al terabyte de disco del INAOE Se trabaj en la configuraci n de la plataforma y en los accesos a los servidores intra e inter institucionales Actualmente es posible comunicar las bases de datos entre la UDLA y el INAOE y se est procediendo a instalar el proceso de llenado y administraci n autom tica ENTREGABLE 2 Se activ la conexi n alta velocidad entre el INAOE y la UDLA La UATx trabaj igualmente en la configuraci n de su acceso a Internet 2 Las instituciones participantes han comprendido la importancia del proyecto y han decidido apoyar con infraestructura En particular la UDLA otorg espacio de almacenamiento 300 Gigabytes y 1 servidor SUN con capacidad de c lculo importante con acceso a Internet2 exclusivamente para el Observatorio Virtual Debido a ello hemos retrasado la compra de los servidores y disco previs
6. embre y el transporte avi n fue financiado por el Laboratorio Franco Mexicano de Inform tica 7 10 REFERENCIAS 1 S Bowers B Ludaescher A H H Ngu T Critchlow Enabling Scientific Workflow Reuse through Structured Composition of Dataflow and Control Flow In EEE Workshop Workflow and Data Flow for Scientific Applications SciFlow 2006 2 E Deelman G Singh M H Su J Blythe Y Gil C Kesselman G Mehta K Vahi G B Berriman J Good A Laity J C Jacob D S Katz Pegasus a Framework for Mapping Complex Scientific Workflows onto Distributed Systems Scientific Programming Journal 13 3 pp 219 237 2005 3 T Fahringer J Qin S Hainzer Specification of Grid Workflow Applications with AGWL An Abstract Grid Workflow Language In Proceedings of IEEE International Symposium on Cluster Computing and the Grid 2005 CCGrid 2005 Cardiff UK May 9 12 2005 4 8 Ludscher 1 Altintas Berkley Higgins E Jaeger Frank Jones E Lee J Tao Y Zhao Scientific Workflow Management and the Kepler System Concurrency and Computation Practice amp Experience 18 10 pp 1039 1065 2006 5 C Pautasso G Alonso Parallel Computing Patterns for Grid Workflows In Proceedings of the HPDC2006 workshop on Workflows in support for large scale Science WORKSO6 2006 6 J Qin T Fahringer Advanced Data Flow Support for Scientific Grid Workflow Applications In Proceedings of the Internati
7. iencia en el montaje de una Grid gracias a Internet2 y de su uso para hacer ciencia contribuye a la formaci n de estudiantes en las instituciones participantes y permite formar colaboraciones s lidas para explotar ampliamente recursos de c mputo de almacenamiento Gracias a Internet2 e GrOV permitir dar un paso mas hacia la construcci n de un Observatorio Virtual Mexicano Proponemos desarrollar el proyecto e GrOV en 12 meses a lo largo de los cuales se capitalizar n y federaran los sistemas y recursos que cada instituci n ha venido desarrollando localmente Se organizar n seminarios t cnicos y reuniones de trabajo Se har n demostraciones en foros nacionales e internacionales as como algunos expertos en bases de datos y en astrof sica viajar n a los laboratorios participantes para contribuir en las actividades del proyecto Las siguientes secciones describen los lotes de trabajo y las tareas que definen la metodolog a que adoptaremos para realizar el proyecto 2 10 1 RECAPITULATIVO LOTES DE ACTIVIDADES A continuaci n presentamos un recapitulativo de los lotes de actividades previstos en el proyecto Tal y como le propusimos durante los primeros seis meses nos concentramos en las actividades de los lotes 1 y 3 para preparar las actividades del lote 2 La secci n 2 describir los logros obtenidos 1 1 LOTE 1 MINI GRID Y MEGA BASES DE DATOS COORDINADOR DEL LOTE UDLAP El objetivo de este lote es construir
8. ipar para cada algoritmo y que ser n registrados 72 2 o Ejecuci n de workflows cient ficos sobre los sitios de la mini Grid considerando los costos de ejecuci n dado el volumen de datos y el costo de c lculo de los algoritmos de an lisis 72 3 o Generaci n y almacenamiento de bit coras de experimentos que permitan reproducirlos varias veces en las mismas condiciones 3 3 1 3 LOTE 3 BIBLIOTECA VIRTUAL DE CONOCIMIENTO COORDINADOR DEL LOTE INAOE El objetivo es construir una biblioteca virtual de documentos que describan los recursos que ofrecer la mini Grid manuales de uso ejemplos y experiencias de uso y comentarios sobre la realizaci n de experimentos El proyecto parte de una iniciativa del INAOE que ya ha clasificado y puesto a disposici n documentos a trav s del sistema Pegos3 o Generaci n de una biblioteca de documentos en cada sitio UDLA INAOE UATx que haga la descripci n t cnica del sitio y de los servicios que ofrece T3 1 o Conexion de bases de documentos T3 2 o Construcci n de una herramienta de b squeda de documentos que facilite el uso de la biblioteca 3 3 3 10 2 ACTIVIDADES Y RESULTADOS De acuerdo al calendario de actividades propuesto cf Figura 1 los primeros seis meses del proyecto fueron dedicados a la configuraci n de una mini grid para la creaci n de mega bases de datos 2 1 CREACI N DE MEGA BASES DE DATOS LOTE 1 Participantes Dr Jos Luis Zechinelli
9. onal Conference on High Performance Computing Networking Storage and Analysis Supercomputing 2007 3607 IEEE Computer Society 2007 8 10 ANEXO LISTA ENTREGABLES Tipo Responsable Participantes Fecha 0 Espacio Wiki del proyecto y Stoweb Web Coordinator 106 mom 6 Motor de b squeda y clasificaci n de documentos Software maoe Todos Tors 8 Plataforma de ejecuci n de experimentos Software UATx Todos 0 8 9 Manual t cnico de plataforma de ejecuci n Documento UAT UADEUDIA 010 10 ECN MER de uso de la mini Grid Seminario UATx Todos TO 8 TO 10 TO 12 Reporte final 10 12 13 Demostraci n de la mini Grid Software Coordinador Todos TO 8 TO 10 TO 12 Software Publicaci n Sitio web presentaci n 9 10 ANEXO EJEMPLO DE UNA TAB Eq PostgreSQ a I sloan 8 sloane 7 sloanm LA DE LA MEGA BASE DE DATOS L amp y public Tables ba crosscorrelationredshift 8 crosscorrelationredshift_2 crosscorrelationredshift_3 9 line_fitting 1 line_fitting 1 2 line 9 1 3 N Ezz line_fitting_2 line fitting 2 2 line_fitting 2 3 255 lineindex 39 lineindex_2 lineindex_3 Maskresolutionhdu Maskresolutionhdu_2 H names 2 mE names_3 primary_header
10. se ha experimentado con el uso de algunos motores de ejecuci n de Workflow libre p e Apache Ode y de editores de workflows p e Eclipse STP BPMN Modeler y evaluando su utilidad en el rea Como parte del proceso de reflexi n se han abordado varios problemas subyacentes De entre estos las problem ticas de traducir notaciones gr ficas usadas por los lenguajes de Workflow en el c digo de ejecuci n correspondiente y las de integrar a ese proceso de traducci n la asignaci n de recursos y planificaci n de tareas 2 3 BASE DE DATOS ASTRON MICA Y BIBLIOTECA DE CONOCIMIENTO LOTE 3 Participantes Dr Aurelio L pez L pez Dr Roberto Terlevich Dra Elena Terlevich Dr Juan Pablo Papaqui El trabajo de los primeros seis meses se plantea como el inicio para la automatizaci n de la poblaci n de la base de datos Trabajamos en la descompresi n de archivos propietarios de tipo FITS en formato ASCII y logramos implementar un proceso de semi autom tico Se construy una mega base de datos relacional y se escribieron programas para automatizar la poblaci n de la base 1 terabyte Se estableci conexi n con los sistemas de la UDLA como se describi en la secci n 2 2 Los datos se obtienen del DR3 de la direcci n http das sdss org DR3 data spectro 1d_23 Los archivos comprimidos se guardaron en la computadora llamada cluster en el directorio home4 DR3 y contiene todas las placas El tama o total del directorio es de 66 GigaB
11. tos para enero de 2008 con el fin de hacer compras m s acorde con la infra estructura actual que se obtuvo en el curso de los ltimos 6 meses Los primeros resultados concretos est n consolid ndose en estos meses as que prevemos una actividad de publicaci n y de difusi n m s importante Sin embargo hemos comenzado a escribir y a someter art culos en revistas y a hacer difusi n Luciano Garc a Ba uelos particip en la Escuela de Sistemas Distribuidos del Laboratorio Franco Mexicano de Inform tica Issues on the translation of graph 6 10 oriented and block oriented process models case of BPEL Universidad de Colima noviembre 2007 Genoveva Vargas Solar Jos Luis Zechinelli Martini Victor Cuevas Vicenttin e GrOV data Grid step towards the Mexican Virtual Observatory submitted to IJCSSE journal Gabriela Montiel Moreno Jos Luis Zechinelli Martini Genoveva Vargas Solar Building a virtual laboratory to support transparent access to resources submitted to Ontology Dynamics journal Victor Hern ndez Baruch Alberto Portilla Jos Luis Zechinelli Martini ROSE transactional services coordination engine In Proceedings of the Mexican International Conference in Computer Science IEEE September Morelia Michoac n 2007 Uno de los art culos fue aceptado en la conferencia ENC El Dr Zechinelli Martini asisti a la conferencia financiado parcialmente a tra
12. una Mini Grid que ofrezca una plataforma de datos documentos aplicaciones y librer as y servicios de c mputo o Conexion de los tres sitios UDLAP INAOE y UATx a trav s de Internet2 con IPV6 para generar la plataforma mini Grid de datos 1 1 Instalaci n de nodos ANDROMEDA en los nodos de los sitios de la mini Grid T1 2 o Creaci n de mega bases de datos muestras de datos de aprox 1000 Gigabytes a trav s de la ejecuci n de consultas distribuidas ejecutadas por ANDROMEDA T1 3 o Almacenamiento de muestras en la mini Grid bajo una organizaci n basada en ndices multi dimensionales distribuidos T1 4 El ancho de banda de Internet2 ser crucial para transferir cantidades importantes de datos Gigabytes para construir las mega bases de datos y para ejecutar consultas distribuidas 1 2 LOTE 2 AMBIENTE DE AN LISIS DE DATOS WORKFLOWS CIENT FICOS COORDINADOR DEL LOTE UATX El objetivo de este lote es crear un ambiente de composici n de experimentos definici n y ejecuci n tomando en cuenta o Instalaci n de servicios en la mini Grid Los servicios incluir n mecanismos de construcci n de muestras herramientas de an lisis y de visualizaci n 12 1 o Definici n de workflows cient ficos para implementar un experimento descrito por la colecci n de datos de inter s la secuencia de algoritmos an lisis y visualizaci n que quiere aplicar la parte de la colecci n y de los resultados parciales que van a partic
13. v s del proyecto e GrOV hotel y vi ticos La inscripci n fue financiada a trav s de la UDLA Los cargos se har n despu s del 15 de diciembre y por ello no aparecen en el reporte financiero Las becas otorgadas para el proyecto han sido designadas el a un postdoctorado experto en la construcci n de mega bases de datos En el caso de la UAT Abel Armas Cervantes y Juan Manuel Ramirez Arrioja son becarios desde septiembre medio tiempo cada uno Ambos son estudiantes de licenciatura en Ingenier a en Computaci n de la Universidad Aut noma de Tlaxcala En la UDLA hemos esperado a consolidar la infraestructura de conexi n para designar becas a dos participantes del proyecto V ctor Hern ndez Baruch Javier Alfonso Espinosa Oviedo estudiantes de maestr a en Ciencias de la Computaci n de la UDLA Los estudiantes comenzar n a beneficiarse de la beca e GrOV a partir de enero de 2008 En cuanto a las perspectivas La Dra Vargas Solar viaj a Francia 15 de octubre al 15 de diciembre para trabajar en la implementaci n de mecanismos de gesti n de grandes bases de datos en cooperaci n con el Laboratorio de Inform tica de Grenoble El objetivo es negociar acceso a la Grid 5000 en Francia y buscar trabajar con el Instituto de Grid del Centro Nacional de la Investigaci n Cient fica de ese pa s que se inaugur este mes Los vi ticos comidas ser n financiados por el proyecto e GrOV el cargo se har despu s del 15 de dici
14. ytes Para el DR4 se obtienen los datos de http das sdss org DR4 data spectro ss_tar_23 Los archivos comprimidos se est n guardando en la computadora llamada cluster en el directorio home4 DR4 y se espera que use un espacio de 87 Gigabytes El anexo muestra la organizaci n de la mega base de datos construida Se ha trabajado en la constituci n de la biblioteca virtual de conocimiento a trav s del sistema Pegos3 Estamos trabajando en la construcci n de un motor de b squeda y un administrador de conocimiento para permitir la administraci n del conocimiento asociado a la construcci n y uso del Observatorio Virtual 5 10 Programa de actividades Mes Actividades 1 2 3 4 5 6 7 8 9 10 11 12 Lote 3 Mini Grid y Mega Bases de Datos 1 1 Conexi n de los sitios UDLAP INAOE y UATx atrav s de Internet2 JJ 1 2 Instalaci n de nodos ANDR MEDA en los nodos de la mini Grid EH 1 3 Creaci n de la mega base de datos a trav s de consultas a ANDROMEDA PAS 1 4 Almacenamiento de muestras en la mini Grid 1 2 Lote 2 Amibiente de an lisis de datos workflows 2 1 Instalaci n de servicios de la mini Grid 2 2 Definici n de workflows cient ficos para implementar un experimento AA 2 3 Ejecuci n de workflows cient ficos sobre los sitios de la mini Grid E 2 4 Generaci n y almacenamiento de bit coras de experimentos Lote 3 Biblioteca virtual de conocimiento 3 1 Generaci n
Download Pdf Manuals
Related Search