Instalación de ThunderCache 3.1 paralelo a Mikrotik

a mi tambien me muestra lo mismo y no hace cache con el thunder:

talvez habria que modificar el regex en el codigo del plugin pienso yo que asi:

http.*\.images-amazon\.com.*(\.jpg|\.png|\.gif)

y que busque dichas extensiones and (url.find(".jpg") != string::npos) or (url.find(".png") != string::npos) y asi consecutivamente pienso yo, habria que probar, espero ayudar en algo por lo menos, Saludos

 

Modifica la configuración de tu squid y asunto resuelto... Eso no necesita un plugin..

 

Con todo respeto amigo rochi_b, incrementar los plugins de este proyecto seria una buena mejora, no digo que no se pueda hacer con squid, de hecho despues de volver a cargar la misma pagina, me dice esto:

pero seria bueno como te digo incrementar los plugins del thunder y porque no aprender a hacerlos, dando gracias a todos los que comparten sus experimentos con el thunder, y talvez algun dia podamos hacer que este proyecto sea mejor que el thundercache comercial, eso es lo que pienso yo no se tu, igual respeto tu opinion, Saludos

 

Pienso de la misma forma que tu Firecold, solo intento colaborar.. Saludos. Quedaría averiguar si es bueno que el thunder trabaje con tantos plugin, cuando utilizaba el thunder comercial, decían que no era bueno hacer plugin para cualquier cosa, solo para contenidos dinámicos o esenciales, que eso dejaba cada vez mas lento el servidor..

 

Eso no tiene nada que ver con que haga Hit o no, eso es el tiempo en que permanecerá en el cache, tiempo minimo en que estará en el caché (si es 0 no hay tiempo minimo), porcentaje de vida y tiempo máximo en que expirará, esa configuración ya uno lo personaliza de acuerdo a lo que uno crea conveniente, por decir cuando las paginas cambian el contenido si se pone el tiempo de expiración muy largo el contenido saldria el mismo contenido antiguo del cache, esto hablando de contenido estatico.

 

yo lo tengo de esta manera, no hace tantos Hits como quisiera pero refresca lo suficiente el cache, hace tiempo lo cambie porque no refrescaba el cache y pasaba hasta una semana y no cambiaba el contenido, osea que si la pagina tenia algún cambio no me enteraba, solo si dejaba de usar el proxy me enteraba si había algún cambio, entonces lo cambie de este modo:

Código:

# -----------------------------------------------------------------------------
# OPTIONS FOR TUNING THE CACHE
# -----------------------------------------------------------------------------
# Imagenes
refresh_pattern -i \.gif 43200 80% 43200
refresh_pattern -i \.tiff 43200 80% 43200
refresh_pattern -i \.bmp 43200 80% 43200
refresh_pattern -i \.jpeg 43200 80% 43200
refresh_pattern -i \.xbm 43200 80% 43200
refresh_pattern -i \.png 43200 80% 43200
refresh_pattern -i \.wrl 43200 80% 43200
refresh_pattern -i \.ico 43200 80% 43200
refresh_pattern -i \.pnm 43200 80% 43200
refresh_pattern -i \.pbm 43200 80% 43200
refresh_pattern -i \.pgm 43200 80% 43200
refresh_pattern -i \.ppm 43200 80% 43200
refresh_pattern -i \.rgb 43200 80% 43200
refresh_pattern -i \.ppm 43200 80% 43200
refresh_pattern -i \.rgb 43200 80% 43200
refresh_pattern -i \.xpm 43200 80% 43200
refresh_pattern -i \.xwd 43200 80% 43200
refresh_pattern -i \.pict 43200 80% 43200
# Movies
refresh_pattern -i \.mov 14400 80% 43200
refresh_pattern -i \.mpeg 14400 80% 43200
refresh_pattern -i \.avi 14400 80% 43200
refresh_pattern -i \.qtm 14400 80% 43200
refresh_pattern -i \.viv 14400 80% 43200
refresh_pattern -i \.swf 14400 80% 43200
refresh_pattern -i \.flv 14400 80% 43200
# Sounds
refresh_pattern -i \.wav 43200 80% 43200
refresh_pattern -i \.aiff 43200 80% 43200
refresh_pattern -i \.au 43200 80% 43200
refresh_pattern -i \.ram 43200 80% 43200
refresh_pattern -i \.snd 43200 80% 43200
refresh_pattern -i \.mid 43200 80% 43200
refresh_pattern -i \.mp2 43200 80% 43200
refresh_pattern -i \.mp3 43200 80% 43200
# Archives
refresh_pattern -i \.sit 14400 80% 43200
refresh_pattern -i \.zip 14400 80% 43200
refresh_pattern -i \.hqx 14400 80% 43200
refresh_pattern -i \.exe 14400 80% 43200
refresh_pattern -i \.arj 14400 80% 43200
refresh_pattern -i \.lzh 14400 80% 43200
refresh_pattern -i \.lha 14400 80% 43200
refresh_pattern -i \.cab 14400 80% 43200
refresh_pattern -i \.rar 14400 80% 43200
refresh_pattern -i \.tar 14400 80% 43200
refresh_pattern -i \.gz 14400 80% 43200
refresh_pattern -i \.z 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9] 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9] 14400 80% 43200
# Data files
refresh_pattern -i \.txt 14400 80% 43200
refresh_pattern -i \.pdf 14400 80% 43200
refresh_pattern -i \.doc 14400 80% 43200
refresh_pattern -i \.rtf 14400 80% 43200
refresh_pattern -i \.tex 14400 80% 43200
refresh_pattern -i \.latex 14400 80% 43200
# Java-type objects
refresh_pattern -i \.class 14400 80% 43200
refresh_pattern -i \.js 14400 80% 43200
refresh_pattern -i \.class 14400 80% 43200
# Para evitar problemas con scripts .do
refresh_pattern -i \.do 0 0% 1440
refresh_pattern -i ^http://.*\.(css|htm|html|ico|js|jsp|xml) 1440 80% 999999
refresh_pattern -i ^http://.*\.(bmp|gif|jpeg|jpg|png) 1440 80% 999999 ignore-reload
#Fin
refresh_pattern ^ftp:	 1440	20%	10080
refresh_pattern ^gopher:	1440	0%	1440
refresh_pattern -i (/cgi-bin/|\?) 0	0%	0
refresh_pattern .	 0	20%	4320

y asi no tengo ningun problema, espero te sirva, Saludos

 

Claro, a eso me referia en el comentario anterior, el caché estatico tiene una manera diferente a funcionar, tambien he personalizado mi configuración del refresh-pattern de acuerdo a mis necesidades.

 

Y son justamente esos valores de refresco los que obligan al squid a hacer Hit de un contenido cacheado, obligando al navegador a mostrar el contenido cacheado por mas que el origen exija que se descargue nuevamente, casi toda las web exigen que el contenido sea descargado nuevamente desde el origen, si no se les obliga con algo de esto "override-expire override-lastmod reload-into-ims ignore-reload" o con algun plugin del thunder, prácticamente la tarea de squid es casi nula.. Pero bueno no se puede hacer plugin para tooodas las paginas que existen y que son accesadas, lo estático ya se le debería de dejar al squid.. pienso yo. Pero ahi va el plugin para amazon.com (testado y funcionando) auque yo sigo pensando que no es necesario.. Saludos..

images-amazon.com.so

Colocar esto en la lista de plugin http.*\.images-amazon\.com.*(\.swf|\.jpg|\.png|\.gif|\.txt)

Código:

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o images-amazon.com.so images-amazon.com.cpp
// regex
// http.*\.images-amazon\.com.*(\.swf|\.jpg|\.png|\.gif|\.txt)

string get_filename(string url) {
        vector<string> resultado;
        if (url.find("?") != string::npos) {
            stringexplode(url, "?", &resultado);
            stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
            return resultado.at(resultado.size()-1);           
        } else {
            stringexplode(url, "/", &resultado);
            return resultado.at(resultado.size()-1);
        }
}

extern "C" resposta getmatch(const string url) {
    resposta r;   

if ( (url.find(".images-amazon.com") != string::npos) 
   ) {
      
       r.file = get_filename(url);
      if (!r.file.empty()) {
         r.match = true;         
         r.domain = "Amazon.com";
      } else {
         r.match = false;
      }
   } else {
      r.match = false;
   }
   return r;
}

 

alguien me puedes explicar que es esto para mi squid.
mil gracias.
yo me estaba preguntando para que esta el squid,si tenemo que aser pluguins para [jpg gif png ]
no entiendo cual es la funcion del squid.si no esta aciendo cache de nada.

# Estandar de actualización de cache
# verificar cada 15 min y tiempo maximo de 2280 min (2 dias)
# reload-into-ims modifica no-cache y reload | cache obligatorio
#----------------------------------------------------------------------
refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.nub$ 2880 80% 21600 reload-into-ims
refresh_pattern -i exe$ 0 50% 999999
refresh_pattern -i zip$ 0 50% 999999
refresh_pattern -i \.mov$ 14400 80% 43200
refresh_pattern -i \.mpe?g?$ 14400 80% 43200
refresh_pattern -i \.avi$ 14400 80% 43200
refresh_pattern -i \.qtm?$ 14400 80% 43200
refresh_pattern -i \.viv$ 14400 80% 43200
refresh_pattern -i \.wav$ 14400 80% 43200
refresh_pattern -i \.aiff?$ 14400 80% 43200
refresh_pattern -i \.au$ 14400 80% 43200
refresh_pattern -i \.ram?$ 14400 80% 43200
refresh_pattern -i \.snd$ 14400 80% 43200
refresh_pattern -i \.mid$ 14400 80% 43200
refresh_pattern -i \.mp2$ 14400 80% 43200
refresh_pattern -i \.mp3$ 14400 80% 43200
refresh_pattern -i \.sit$ 14400 80% 43200
refresh_pattern -i \.zip$ 14400 80% 43200
refresh_pattern -i \.hqx$ 14400 80% 43200
refresh_pattern -i \.arj$ 14400 80% 43200
refresh_pattern -i \.lzh$ 14400 80% 43200
refresh_pattern -i \.lha$ 14400 80% 43200
refresh_pattern -i \.cab$ 14400 80% 43200
refresh_pattern -i \.rar$ 14400 80% 43200
refresh_pattern -i \.tar$ 14400 80% 43200
refresh_pattern -i \.gz$ 14400 80% 43200
refresh_pattern -i \.z$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.txt$ 14400 80% 43200
refresh_pattern -i \.pdf$ 14400 80% 43200
refresh_pattern -i \.doc$ 14400 80% 43200
refresh_pattern -i \.rtf$ 14400 80% 43200
refresh_pattern -i \.tex$ 14400 80% 43200
refresh_pattern -i \.latex$ 14400 80% 43200
refresh_pattern -i \.class$ 14400 80% 43200
refresh_pattern -i \.js$ 14400 80% 43200
refresh_pattern -i \.ico$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320

 

Asi es willysantana yo me hago la misma pregunta si alquien puede dar una mano se agradece.

 

saludos amigo tengo este problema yo e puesto las mismas reglas pero de igual me sigue saturando la wan a pesar de que mis cleintes no estan consumiendo mucho ejemplo la wan tiene de consumo 4mb y el thunder tambien pero por la lan solamente esta enviando 1 a 2mb y al dia siguiente me mandan una notificasion mi proveedor de que tengo virus o algo parecido que esta usando mi ip publica y la internet se me vuelve lenta y con solo desactivar el thunder todo vuelve a la normalidad y mi proveedor me avisa que ya no hay problemas en mi ip que mas puedo hacer esto me esta volviendo loco ayuda por favor auxilio

 

Como hariamos esas modificaciones con tu experiencia?

 

Ejemplo:
refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
0 - Los archivos estaticos con extensión jpg no tendran tiempo de vida minimo (por tener el valor 0, si tenia 1440 como valor minimo en vez del 0, los archivos estaticos .jpg cacheados tendrian 1440 minutos como tiempo de vida minimo, o sea un dia), pero insisto las mayoria de las paginas web obligan a que esto no se cumpla porgue exigen a los navegadores que soliciten el archivo directo del servidor original o que no utilicen del cache "nocache" o refresquen inmediatamente el objeto o archivo "reload", en el ejemplo esta la opción del squid reload-into-ims, que hace que el squid no haga caso al pedido de "nocache" de los navegadores y recarguen los archivos directo desde el origen solo si el archivo en cache ya no es el mismo al que tendria que descargar.
50% - Sería el calculo del tiempo desde la ultima modificacion del archivo, si fue hace 6 dias ---> 50% ---> tendra 3 dias.
21600 - Sería el tiempo maximo (siempre en minutos); que uno quiere que el squid considere el archivo en cache como valido, antes de renovarlo, o sea descargarlo de nuevo.
Creo que esta mas o menos claro.. Es solo cuestion de googlear un poco.. Saludos amigos...

 

hola amigo, necesito saber cual es el tiempo que dura el cache del squid en el disco.

y cual es la configuración adecuada para el refresh.
esta es la que estoy usando.

# Estandar de actualización de cache
# verificar cada 15 min y tiempo maximo de 2280 min (2 dias)
# reload-into-ims modifica no-cache y reload | cache obligatorio
#----------------------------------------------------------------------
refresh_pattern -i \.jpg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.gif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.png$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.jpeg$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.bmp$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tif$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.tiff$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.swf$ 0 50% 21600 reload-into-ims
refresh_pattern -i \.html$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.htm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtml$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.shtm$ 0 20% 1440 reload-into-ims
refresh_pattern -i \.nub$ 2880 80% 21600 reload-into-ims
refresh_pattern -i exe$ 0 50% 999999
refresh_pattern -i zip$ 0 50% 999999
refresh_pattern -i \.mov$ 14400 80% 43200
refresh_pattern -i \.mpe?g?$ 14400 80% 43200
refresh_pattern -i \.avi$ 14400 80% 43200
refresh_pattern -i \.qtm?$ 14400 80% 43200
refresh_pattern -i \.viv$ 14400 80% 43200
refresh_pattern -i \.wav$ 14400 80% 43200
refresh_pattern -i \.aiff?$ 14400 80% 43200
refresh_pattern -i \.au$ 14400 80% 43200
refresh_pattern -i \.ram?$ 14400 80% 43200
refresh_pattern -i \.snd$ 14400 80% 43200
refresh_pattern -i \.mid$ 14400 80% 43200
refresh_pattern -i \.mp2$ 14400 80% 43200
refresh_pattern -i \.mp3$ 14400 80% 43200
refresh_pattern -i \.sit$ 14400 80% 43200
refresh_pattern -i \.zip$ 14400 80% 43200
refresh_pattern -i \.hqx$ 14400 80% 43200
refresh_pattern -i \.arj$ 14400 80% 43200
refresh_pattern -i \.lzh$ 14400 80% 43200
refresh_pattern -i \.lha$ 14400 80% 43200
refresh_pattern -i \.cab$ 14400 80% 43200
refresh_pattern -i \.rar$ 14400 80% 43200
refresh_pattern -i \.tar$ 14400 80% 43200
refresh_pattern -i \.gz$ 14400 80% 43200
refresh_pattern -i \.z$ 14400 80% 43200
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 43200
refresh_pattern -i \.txt$ 14400 80% 43200
refresh_pattern -i \.pdf$ 14400 80% 43200
refresh_pattern -i \.doc$ 14400 80% 43200
refresh_pattern -i \.rtf$ 14400 80% 43200
refresh_pattern -i \.tex$ 14400 80% 43200
refresh_pattern -i \.latex$ 14400 80% 43200
refresh_pattern -i \.class$ 14400 80% 43200
refresh_pattern -i \.js$ 14400 80% 43200
refresh_pattern -i \.ico$ 14400 80% 43200
refresh_pattern -i \.css$ 10 20% 4320

 

a ver quien me ayuda con esto:

*- En mi nuevo relatorio no me sale la temperatura del CPU
*- DNS Caché 10 "Siempre son los mismos valores"
*- Conexiones 71 "Este valor si varia"
*- Usuarios 3 "Jamas cambia siempre es 3"
alguna diferencia con el de uds?

 

amigo rochi_b,no me ase cache el squid.
le puse el refresh que tu subiste al foro.
Connection:close
Content-Length:4394
Content-Type:application/octet-stream
Thunder:HIT FROM ebay
Via:1.0 proxy.routero-os.com:3128 (squid/2.7.STABLE9)
X-Cache:HIT from Thunder
X-Cache:MISS from proxy.routero-os.com
X-Cache-Lookup:MISS from proxy.routero-os.com:3128

Server:AmazonS3
Via:1.0 70485e1b723a393e51164c25e962c63e.cloudfront.net (CloudFront), 1.0 proxy.routero-os.com:3128 (squid/2.7.STABLE9)
X-Amz-Cf-Idzq-p7Mj0x_MIUnjcMIrkHknJIxTdsG6NCgsdvJ6VRBqiAJ70GsHDA==
x-amz-id-2:uT5L/CkrFcC50df25z4vZjpKtbbMMBRyOttrJYPLNT6MGyrtB67WouV3obO4FGVR
x-amz-request-id:EAB35CFB26096F6B
X-Cache:MISS from proxy.routero-os.com
X-Cache:Hit from cloudfront
X-Cache-Lookup:MISS from proxy.routero-os.com:3128

Connection:close
Content-Length:1053
Content-Type:application/octet-stream
Thunder:HIT FROM amazon
Via:1.0 proxy.routero-os.com:3128 (squid/2.7.STABLE9)
X-Cache:HIT from Thunder
X-Cache:MISS from proxy.routero-os.com
X-Cache-Lookup:MISS from proxy.routero-os.com:3128

 

Si tenes configurado el plugin para el amazon no te va hacer cache el squid, va a pasar directo para el thunder, estas teniendo hit del thunder ahora, si queres probar cancela primero el plugin..

X-Cache:HIT from Thunder Saludos..

 

amigo entonces el thunder entrega primero que el squid.

pero te diré algo estuve probando apague el thunder y estuve navegando y el squid esta asciendo cache con tu refresh.
pero tambien probé con el refresh de joeng y también ace cache el squid.

no entiendo los dos refresh asen cache,o estoy equivocado.
Accept-Ranges:bytes
Cache-Control:max-age=14400, public
Connection:close
Content-Length:98247
Content-Type:image/jpeg
Date:Fri, 31 Aug 2012 13:57:10 GMT
ETag:"17fc7-4c7a13ff9ae8c"
Expires:Fri, 31 Aug 2012 17:57:10 GMT
Last-Modified:Sun, 19 Aug 2012 16:54:43 GMT
Server:Nginx / Varnish
Via:1.1 proxy.routero-os.com:3128 (squid/2.7.STABLE9)
X-Cache:HIT from proxy.routero-os.com
X-Cache-Lookup:HIT from proxy.routero-os.com:3128

amigo si tengo 4 gb de Ram, cual seria el valor en Ran para cache men?

 

Si y también te muestra el plugin que esta haciendo el hit, "ebay" y "Amazon"

----- mensaje añadido, 31-ago-2012 a las 12:31 -----

1024*3=3072

 

amigo si tengo 4 gb de Ram, cual seria el valor en Ran para cache men?

como puedo calcularlo.