Libro/Aprender con gnuLinEx
Contents
1. no crea directorios fuerza la creaci n de directorios no crea directorios en el anfitri n guarda ficheros en PREFIJO descarta N MERO componentes del directorio remoto establece que el usuario de http es USUARIO utiliza CLAVE como contrase a de http des habilita la cach del servidor de datos normalmente habilitada guarda todos los ficheros de texto html con la extensi n html ignora el campo Content Length de la cabecera Aprender con gnuLinEx 206 header TEXTO inserta el TEXTO entre las cabeceras proxy user USUARIO establece que el usuario del proxy es USUARIO proxy passwd CLAVE utiliza CLAVE como contrase a del proxy referer URL Incluir cabecera Referer URL en petici n HTTP s save headers guarda las cabeceras de HTTP en un fichero U user agent AGENTE identificarse como AGENTE en vez de Wget VERSI N no http keep alive deshabilita las conexiones persistentes de HTTP cookies 0ff no utiliza cookies load cookies FICH carga las cookies desde FICH antes de la sesi n save cookies FICH guarda las cookies en FICH tras la sesi n Las opciones por defecto que generan estos par metros pueden modificarse copiando el fichero etc wgetrc como home usuario wgetrc 3 CONSTRUCCI N DE UN PROYECTO Una vez analizadas las principales opciones vamos a desarrollar un proyecto que vamos a dividir en dos subproyectos En el primer subproyect2. La aceleraci n de la navegaci n web en los institutos Diego Mart n Arce Juan Sanguino Gonz lez Director del IES Calamonte diegomartina O edu juntaextremadura net Profesor de Geograf a e H IES Calamonte juan sanguino O edu juntaextremadura net INTRODUCCI N La configuraci n de los institutos extreme os con la utilizaci n masiva de ordenadores en el proceso de ense anza aprendizaje plantea numerosos retos Uno de los problemas sobre los que existe consenso es la velocidad de los accesos a internet en muchos casos dependiendo de la hora m s lenta que una conexi n telef nica normal Aunque el ancho de banda puede parecer suficiente 2Mb la conexi n de doscientos trescientos equipos ralentiza extraordinariamente la navegaci n Naturalmente esto hace poco til plantearse el acceso a webs externos en la ense anza cotidiana Este problema puede solventarse en gran medida si utilizamos una de las herramientas menos conocidas y que se incluye en la distribuci n de gnuLinEx wget Podemos utilizar wget para descargar webs enteras o partes de ellas y luego utilizarla con nuestros alumnos prescindiendo de los problemas de velocidad de la red pues al descargarlas podemos navegar por esas p ginas a la velocidad de nuestra red LAN 100Mb por segundo Desde luego la consulta a estas webs debe estar prevista pues las p ginas necesitan ser descargadas con anterioridad Esta herramienta no sirve cuando de lo que se trate s
3. tiles pero no imprescindibles 2 2 Opciones avanzadas En esta secci n vamos a descubrir algunas opciones que nos van a servir para perfilar la descarga de datos de las direcciones que queramos descargar 2 2 1 p page requisites La estructura de las p ginas HTML consiste en una serie de ficheros aislados que son llamados desde otros En el caso del fichero index html que tenemos alojado en nuestro localhost vemos que aparece una imagen con un u y un pinguino Esa imagen es un fichero distinto que es llamado desde el fichero index html Al igual que con este ejemplo ocurre si la p gina incluye m sica v deo un CSS etc Para garantizarnos la descarga de la p gina con todos los elementos necesarios para su contemplaci n tenemos que recurrir a la opci n p 2 2 2 c continue Con esta opci n se reanuda la descarga de un fichero parcialmente descargado por ejemplo por un corte de electricidad o porque hemos suspendido la descarga voluntariamente por cualquier circunstancia Si una descarga ha sido truncada podemos iniciar otra y la retomar desde el punto en el que la dej 2 2 3 i spider Como su nombre indica act a como un spider No baja los ficheros sino que chequea que est n all Es til para la gesti n de marcadores de p gina bookmarks 2 2 4 E extension A ade la extensi n html al fichero descargado y convertido en local Sirve para hacer un espejo de un sitio remoto que usa p ginas
4. Descarga bind address DIRECCI N realiza un bind a la DIRECCI N m quina o IP en la m quina local La aceleraci n de la navegaci n web en los institutos t tries N MERO establece en N MERO el n mero de reintentos 0 no pone l mite 0 output document FICHERO escribe los documentos en FICHERO nc no clobber c continue dot style ESTILO N timestamping S server response spider T timeout SEGUNDOS w wait SEGUNDOS waitretry SEGUNDOS random wait Y proxy on off Q quota N MERO limit rate TASA Directorios nd no directories x force directories nH no host directories P directory prefix PREFIJO cut dirs N MERO Opciones de HTTP http user USUARIO http passwd CLAVE C cache 0n off E html extension Agnore length no sobrescribir ficheros existentes o utilizar sufijos continuar recuperando un fichero existente establece el estilo de la pantalla de recuperaci n no recupera ficheros m s viejos que los locales imprime la respuesta del servidor no recupera nada establece el tiempo de espera de lectura en SEGUNDOS espera SEGUNDOS entre recuperaciones espera 1 SEGUNDOS entre reintentos espera de 0 a 2FWAIT segundos entre reintentos habilita deshabilita el uso de proxies establece la cuota de recuperaci n en N MERO limita la tasa de descarga a TASA
5. asp y que se quieren hacer visibles Otro uso es cuando se quiere descargar la salida de los CGI Actuando de este modo cada cierto tiempo se vuelve a ese fichero Para prevenir esta descarga in til se debe usar k y K para que la versi n original del fichero sea salvada como X orig 2 2 5 http user USUARIO y http password CONTRASE A Estas opciones son necesarias para descargarnos p ginas en las que nos van a pedir un usuario y una contrase a Hay que destacar que si ejecutamos esta opci n estamos dejando expuesto nuestro login y contrase a para acceder a esa web wget r k http user escandinaviA http password frio http loquesea com La aceleraci n de la navegaci n web en los institutos 2 2 5 random wait Algunas web hacen un an lisis de registros logs para buscar similaridades estad sticas significativas en el tiempo de petici n de las p ginas Con esta opci n se enmascara la presencia de wget para los an lisis de estos an lisis 2 2 6 A accept list Esta opci n permite elegir listas de archivos que contengan en su nombre una cadena de caracteres Por ejemplo la opci n A gif descargar a s lo los ficheros de extensi n gif Pueden seleccionarse varias extensiones separadas por comas A gif jpg En cambio si ponemos A fich nos descargar todos los ficheros que comiencen por la cadena fich 2 2 7 R reject list Hace justo lo contrario que la opci n A No ser n descar
6. directorios porque no nos va a ser til p e queremos guardar todos los ficheros de un tipo en un solo directorio Para descubrir m s opciones y su significado puede acudirse al manual de wget man wget desde un terminal Una peque a ayuda y su salida la obtenemos si tecleamos sergio Asergio wget help GNU Weet 1 8 1 un recuperador por red no interactivo Modo de empleo wget OPCI N URL Los argumentos obligatorios para las opciones largas son tambi n obligatorios para las opciones cortas Inicio V version muestra la versi n de wget y termina h help muestra esta ayuda b background pasa a segundo plano al iniciar e execute ORDEN ejecuta una orden como las de wgetrc Fichero de entrada y registro output file FICHERO registra los mensajes en FICHERO append output FICHERO a ade los mensajes a FICHERO debug imprime la salida de depurado quiet modo silencioso no muestra ninguna salida verbose modo informativo predeterminado nv non verbose muestra el minimo necesario de informaci n i input file FICHERO descarga las URLs que haya en FICHERO F force html trata el fichero de entrada como HTML B base URL a ade URL delante de los enlaces relativos en el fichero F i sslcertfile FICHERO certificado opcional del cliente sslcertkey FICHERO llave opcional para este certificado egd file FICHERO fichero del socket EGD
7. 61 661 Cargando robots txt por favor ignore los errores 18 15 58 http platea pntic mec es robots txt gt platea pntic mec es robots txt Reutilizando la conexi n con platea pntic mec es 80 Petici n HTTP enviada esperando respuesta 404 Not Found 18 16 00 ERROR 404 Not Found 18 16 00 http platea pntic mec es 7Emacruz neander indice1 html gt platea pntic mec es 7Emacruz neander indicel html Conectando con platea pntic mec es 195 53 123 3 80 conectado Petici n HTTP enviada esperando respuesta 200 OK Longitud 3 341 text html 100 2 48K s ETA 00 00 Por ltimo dentro del apartado de opciones b sicas podemos elegir la profundidad de descarga que queremos con la opci n seguida de un n mero si no indicamos nada wget toma la opci n por defecto 5 niveles de profundidad Borremos antes de continuar el directorio donde se encuentra nuestra descarga anterior para que no nos lleve a confusi n Y a continuaci n procedemos como sigue Swget r k 12 http www rte extremadura org Hasta ahora hemos visto c mo utiliza wget para descargar p ginas individuales c mo se utiliza para descargar p ginas recursivamente y c mo seleccionamos la profundidad de la descarga Aprender con gnuLinEx 202 Estas tres opciones podemos llamarlas b sicas y conviene que practiquemos algo m s con ellas por nuestra cuenta A continuaci n vamos a estudiar opciones muy
8. a descargar una web con contenidos sobre evoluci n humana manera recursiva r local k y guardando la informaci n que genere en el var www P var www Sweet r k p P var www http www ucm es info paleo ata port nt htm Aprender con gnuLinEx 208 En tercer lugar vamos a descargar im genes de tipo jpg A jpg de modo recursivo r de una web que podremos usar en nuestras clases para hacer presentaciones con Impress Queremos adem s que nos las guarde en una carpeta en home linex Documentos im genes P home linex Documentos im genes sin recrear los directorios originales nd Vamos a tomar una web con im genes de escultura italiana desde la Edad Media hasta la Edad Moderna Sweet r nd A jpg P home linex Documentos im genes http www thais it scultura default htm 3 Construcci n de un quiosco electr nico Ahora construimos un fichero ndice que nos va a llevar a las distintas secciones del quiosco y lo guardamos con el nombre index html en el directorio Var www sustituyendo al fichero anterior En este fichero crearemos los enlaces a los ficheros ndice de las publicaciones que hayamos seleccionado Para ello podemos utilizar el programa de construcci n de p ginas web de Mozilla Composer Medell n Las direcciones URL que vamos a necesitar son Para el diario Hoy http www hoy es Para la revista National Geographic http www esmas com nationalgeographic Para la revi
9. ea de buscar informaci n Aunque tambi n sirve para descargas mediante ftp este tema no ser abordado en este art culo por razones de extensi n 1 INSTALACI N Y CARACTER STICAS WGET es una completa utilidad gnu LinEx que trabaja en modo texto y que sirve para bajar ficheros usando los protocolos HTTP y FTP 1 Hay que se alar que no es necesario instalar esta aplicaci n porque ya est instalada en la distribuci n de gnuLinEx 2 En segundo lugar es una herramienta utilizable desde un terminal No se utiliza ninguna interfaz gr fica 3 La sintaxis es sencilla y como casi todo en gnuLinEx muy configurable 4 Por ltimo tiene numerosas opciones muchas de las cuales no vamos a utilizar nunca o casi nunca Aprender con gnuLinEx 200 Dado el car cter pr ctico de este art culo es recomendable leerlo usando un ordenador conectado a Internet para poder seguir los ejemplos 2 MANEJO DE LAS OPCIONES La utilizaci n de wget puede desglosarse en tres partes comando opciones y URL Aunque puede usarse sin ninguna opci n 2 1 Opciones b sicas En este apartado vamos a analizar la utilidad de tres opciones r k y l Veamos un primer ejemplo wget http www rte extremadura org Si ahora abrimos un navegador y le indicamos en la barra de navegaci n la ruta de el archivo index html podemos ver que tenemos esa p gina en nuestro disco duro y que se ha descargado a una gran velocidad A cont
10. gados los ficheros que contengan las cadenas a las que se haga referencia 2 2 8 K backup Cuando convierte un archivo hace una copia de respaldo de la versi n original con la extensi n orig 2 2 9 P Prefix Con esta opci n le indicamos d nde queremos que guarde los ficheros que baje directorio prefijado Si no se indica nada los guarda en el directorio actual Hay que tener cuidado para no confundirla con la opci n p Ejemplo wget p P home linex datos http www rte extremadura org De este modo se guarda la primera p gina de la web http www extremadurasi org en home linex datos 2 2 10 m mirror Cuando se selecciona activa las opciones de recursivo marcador de tiempo profundidad y recursividad infinita y permanecen los directorios de listados de FTP Es el equivalente a marcar a la vez r l K inf rn 2 2 11 np no parent Con esta instrucci n indicamos a wget que no ascienda en el rbol de jerarqu a de la web que estemos descargando Es muy til si lo que queremos es descargar varias p ginas pero no nos interesan las anteriores Como no sabemos c mo han construido la web conviene que usemos junto a esta opci n p Con estas opciones tenemos m s que suficiente para descargar webs que nos sirvan para acelerar la navegaci n web en las aulas 203 Aprender con gnuLinEx 204 2 1 12 nd no directory Esta opci n se usa cuando no queremos que recree la jerarqu a de
11. inuaci n vamos a ver hacer lo mismo pero con la opci n r wget r http www rte extremadura org Ahora observamos que no se detiene en una sola p gina sino que descarga muchas Si nos interesa podemos dejar que descargue enteramente la web www extremadurasi org si no podemos cortar la descarga pulsando simult neamente Ctrl z Si ahora abrimos el navegador vemos que wget nos ha creado una carpeta denomina con el nombre de la URL en nuestro caso www rte extremadura org y abrimos el archivo index html vemos que tenemos todas las p ginas pero que los enlaces apuntan fuera de nuestro web Para lograrlo tenemos que usar la opci n k que sirve para transformar los enlaces en locales weget r k http www rte extremadura org Obtenemos en el terminal una serie de mensajes parecidos a stos sergio Osergio wget r k 13 http platea pntic mec es macruz neander portada html amp 18 15 57 http platea pntic mec es 7Emacruz neander portada html gt platea pntic mec es Yo7Emacruz neander portada html 172141 sergio Osergio Resolviendo platea pntic mec es hecho La aceleraci n de la navegaci n web en los institutos Conectando con platea pntic mec es 195 53 123 3 80 conectado Petici n HTTP enviada esperando respuesta 200 OK Longitud 661 text html 100 gt 661 645 51K s ETA 00 00 18 15 58 645 51 KB s platea pntic mec es 7Emacruz neander portada html guardado 6
12. llos usuarios que necesiten salir de la red local REFERENCIAS Para conocer m s opciones de wget conviene leer la p gina del manual correspondiente mediante la orden
13. n da pl a eb 1 1 PA opa Pare de hd POT ed APR TR A E AA AA AAA plas vrtet ha 15 roba Arer y mad ha Cabir Tra e by hierrr ge C arry hap Bor Bra de do an Urime ya angel puedi us na pram g alipur a b ra F n A A KaT A po s Tip bnm e e ea ehr E por HTML Hia ol ad ipf ty Fras era CO erp me behed ha N am igi a A rr Dian pa Las 11 piar Ger TAL Log fea are paned in tes eps dl rl be ongs E Tre erro al ramin can be ran iy iagad Fai ll A A A AA A Ao A A rea a A Va ad LE ar a a A es E ai Ver dro rca al e doc wi e cc br m lim piki bial Erin al E e hoc Pin ir cl ba ibr fos an en nal Es ds o prin do Hea Gey der san Alta Ape coda e rl wi a a a ca ba cho FER ihe pira a lata i mw LA CE rra da jei a cam dl rap EA a ptr e a ay a e o or dia e aran Mis Fig 1 la p gina de bienvenida de nuestro servidor web apache 2 Elegir los recursos y usar wget Hemos elegido dos webs para descargar sus archivos La primera es una p gina chilena de Geograf a mientras que la segunda es una p gina de Prehistoria En el primer caso vamos a descargar la p gina de manera recursiva r transformando en local todos sus enlaces k y con tres niveles de profundidad 13 Le decimos adem s que descargue todo lo necesario para que pueda verse la p gina p y el lugar donde queremos que guarde la informaci n en var www P var www weget r k p P var www http icarito tercera cl icarito 2001 831 En el segundo caso vamos
14. o vamos a descargar p ginas de dos webs y a hacerlas navegables dentro de la red local En el segundo haremos lo mismo pero automatizando la descarga de modo que nos encontremos las p ginas descargadas cuando lleguemos al trabajo Como ejemplo para este segundo caso crearemos un quiosco electr nico para lo cual necesitaremos hacer uso de la tabla del cron crontab Una vez que tengamos la suficiente soltura no consumiremos m s de una hora en realizarlo todo teniendo en cuenta que este periodo puede superarse dependiendo de la velocidad de conexi n 1 Instalaci n de un servidor web Para instalar un servidor web en un equipo s lo hay que descargar de los repositorios Debian o LinEx dos paquetes apache y apache common Puede utilizarse synaptic administrador de paquetes o escribir en una terminal como root apt get install apache apache common Una vez descargados ese equipo contar con un servidor web Para comprobarlo abrimos un navegador Mozilla Gale n o cualquier otro y escribimos en la barra de navegaci n http localhost con lo que nos aparecer una p gina como esta La aceleraci n de la navegaci n web en los institutos 207 irte pia dsc ala a ed y Q00 6 se Mm me rd e Pa decai S s bui haii Welcome to Your New Home in Cyberspace Thu a a pamiii bead by de Lsj jan rele ol e dae Web paraa peig baon EE Ri Chamba apra tra e pes Da art Yaa litera e k E AA PO PAR Paja dl as Thaa
15. sta Muy Interesante http www muyinteresante es Ahora editamos el fichero etc crontab y a adimos las siguientes l neas Bloque del quiosco diario hoy 3516 IN A k p 14 np P home sergio quiosco http www hoy es National Geographic en espa ol 2768 root wget r k p 13 np P home sergio quiosco http www esmas com nationalgeographic Muy interesante 30610 IAN A k p 14 np P home sergio quiosco http www muyinteresante es Fin del bloque de quiosco La aceleraci n de la navegaci n web en los institutos 209 Nos llamar la atenci n el principio de cada l nea en las que hay una serie de n meros y despu s asteriscos Esto hace referencia a la hora y los d as Veamos el caso del National Geographic 276 8 Quiere decir que a las 6 horas 27 minutos del d a 8 empezar la descarga Los asteriscos indican que ser n todos los meses y cualquier d a de la semana AA dd dd de ii e LA Departamento de UFOLOGIA Quiosco elecir nico l Dara H A ibri im ra i oB REN eei a a e Ve pl q a a Fig 2 la p gina inicial concluida y con los enlaces a las descargas CONCLUSIONES wget es una potente herramienta para resolver la lentitud de la navegaci n web en horas de clase Esta herramienta permite el acceso y descarga de las p ginas de Internet acelerando extraordinariamente su navegaci n Por otro lado al consumir s lo recursos internos deja m s banda para aque
Download Pdf Manuals
Related Search