Instalación de ThunderCache 3.1 paralelo a Mikrotik

No es que el thunder entregue primero, esta linea de la configuración del squid "cache deny thunder_lst", esta negando el cacheo al squid y derivando para el thunder todo lo que este definido en el archivo thunder_lst (que es la lista de plugin para el thunder).

La configuración original que nos da el amigo Joem da hit de varias extensiones de algunas paginas con contenido estático, pero muchas otras no.

Yo tengo 8g y le doy solo 2g para la memoria, digamos unos 25% de lo que tengo, porque para el buen funcionamiento del squid se debe dejar reservado entre 10 a 14Mb de memoria por cada Gb de cache de disco asignado, o sea si tenes configurado tu cache de disco (del squid) con un total de 200Gb, seria 200 x 14 = 2800 Mb reservado para el uso del squid manipulando el cache de disco y el resto para los procesos thuder y el sistema en si, en mi punto de vista no conviene exagerar con el tamaño de memoria que se le asigna al cache de squid y dejar casi nada para lo demas.. Espero que mi opinión sea útil. Saludos!

 

amigos para los que tienen el problema de ataques de virus cada ves que activan el thunder lo solucione usando open dns en mi servidor mikrotik

 

Para los que tienen dudas respecto al refresh_patern pueden revisar en esta parte, creo se esta confundiendo su funcionamiento, esta en ingles pero pueden utilizar un traductor.
http://www.squid-cache.org/Doc/config/refresh_pattern/

Claro, en esas lineas se niega el cache a squid por medio de acl a esa lista para que el thunder se haga cargo de esa lista, y no es que contenga la lista de plugins lo que contiene es el regex de las URL de los servidores que utilizanl los plugins, sobre el refresh_pattern creo que no deberias de confundir con respecto a esto, se debe de ser más claro , esto no influye en que haga hit, esto influye en el tiempo que permanecera en el caché, como se muestra en la configuración inicial es una configuración estandar por asi decirlo, muchas de las lineas son iguales a las que pones si se quiere declarar más extenciones ya uno tiene que personalizar, se puso un ejemplo de como funciona.

Cuevana tv utiliza varios servidores en los cuales esta bayfiles y ya hay un plugin para bayfiles, tal vez si mencionas cuales son los servidores que mas se esta usando se pueda tener una mejor covertura.

 

No estoy confundiendo nada amigo luistec, se entiende perfecto que el refresh_patern es para manipular los tiempos de refrescos de los archivos en cache, solo digo que justamente manipulando esos parámetros se hace un mejor uso del cache de squid. De la forma standar en la que tienen configurado la mayoria se aprovecha muy pocos el cache de squid, solo eso..

 

luistec saludos.

ya te estoy entendiendo el squid si ase cache,el refresh es solo para manipular el tiempo en que permanezca cachado.

amigo entonces cual seria el mejor tiempo para el cache?,sin afectar en nada al server.

que asga cache pero que mantenga las pejinas actualizadas, si sale algo nuevo que vuelva y busque en Internet y actualiza lo guardado.

amigo en el thunder yo puedo ver lo cachado.
pero en el squid nunca lo puedo ver.
amigo yo quiero ver lo cachado por squid como puedo verlo gracias.

 

como estas foro buenas tardes
quice borrar la base de datos de windowsupdate y me dio el siguiente error

The total number of locks exceeds the lock table size

si alguien tiene la respuesta pido su ayuda muchas gracias
saludos
leandro

 

La directiva refresh_pattern controla la caché de disco de manera indirecta. Ayuda a Squid decidir si es o no una solicitud determinada puede ser un acierto de caché o debe ser tratada como una MISS. Ajustes liberales pueden aumentar su tasa de aciertos de caché, pero también aumentan las posibilidades de que los usuarios reciben una respuesta rancia. Ajustes conservadores, por otro lado, pueden disminuir proporciones de golpe y respuestas rancias o viejas.

Usted puede poner cualquier número de líneas refresh_pattern en el archivo de configuración. Calamar las busca para que una coincidencia de expresión regular. Cuando Squid encuentra una coincidencia, se utilizan los valores correspondientes para determinar si una respuesta almacenada en caché es fresco o añejo. La sintaxis refresh_pattern es la siguiente:

refresh_pattern [-i] regex min percent max [options]

El parámetro regex es una expresión regular que normalmente es entre mayúsculas y minúsculas. Puedes hacer que las mayúsculas y minúsculas con la opción -i. Squid comprueba las líneas refresh_pattern en orden, deja de buscar cuando uno de los patrones de expresión regular coincide con el URI.
El parámetro min es algún número de minutos. Es, esencialmente, un límite inferior en las respuestas rancios. Una respuesta no puede ser rancio a menos que su tiempo en la caché excede el valor mínimo. De manera similar, max es un límite superior en las respuestas frescas. Una respuesta no puede ser fresca a menos que su tiempo en la memoria caché es menor que el tiempo máximo.

Las respuestas que se encuentren entre el mínimo y el máximo son objeto de la última modificación de Squid factor (LM-factor) algoritmo. Para tales respuestas, Squid calcula la edad y el factor de respuesta LM-y lo compara con el valor de porcentaje. La edad respuesta es simplemente la cantidad de tiempo transcurrido desde el servidor de origen generado, o validado el pasado, la respuesta. La edad de los recursos es la diferencia entre las cabeceras Last-Modified y Fecha. El LM-factor es la relación de la edad respuesta a la edad de los recursos cacheados .

override-expire - omite el encabezado expirará a partir del servidor Web.

override-lastmod - ignora el último encabezado modificado fecha desde el servidor Web.

reload-into-ims - una petición de recarga desde un cliente se convierte en una solicitud de Si-Modified-Since.

ignore-reload - un cliente no-cache o "reload de origen del servidor" directiva es ignorada. La solicitud puede ser satisfecha por lo tanto de la caché si está disponible.

ignore-no-cache - una directiva no-cache del servidor Web que hace que un objeto no almacenable en caché se ignora.

ignore-no-store - una directiva no-store desde el servidor Web que hace que un objeto no almacenable en caché se ignora.

ignore-private - una directiva privado desde el servidor Web que hace que un objeto no almacenable en caché se ignora.

ignore-auth - objetos que requieren autorización son no almacenable en caché. Esta opción anula esta limitación.

refresh-ims - una petición de actualización de un cliente se convierte en una solicitud If-Modified-Ya.

Consulte a su archivo de configuración para ver cuál de estas opciones están disponibles en su versión de Squid.

Actualizar los patrones

Actualizar los patrones de determinar el tiempo de vida del objeto. Dentro de una duración de un objeto, Squid servir al objeto sin necesidad de pedir IMS ("si se modifican desde") bajo petición. Una vez que la vida se supera, Squid guardará el objeto, sino que enviar una solicitud de IMS al servidor de origen. Si el objeto ha sido modificado desde que fue el primero en caché Squid solicite la nueva copia. Si no, se mantiene la copia antigua. De cualquier manera, el objeto está marcado como fresco de nuevo.

Esta es nuestra (predeterminado) patrón básico de actualización:

refresh_pattern. 0 20% 4320

El punto (.) Es el patrón de la expresión regular, y coincide con cualquier cosa. Utiliza expresiones regulares POSIX.

El cero (0) es el tiempo mínimo frescura. Si es distinto de cero, prevalecerá sobre cualquier encabezado de caducidad dadas con el objeto. Si el proveedor de contenido realmente prestado un encabezado de caducidad, por lo general debe honrar.

El último término (4320) es el momento de máxima frescura. El objeto se vuelve rancio después de estos minutos de la caché.

El 20 por ciento se utiliza para nuestro caso por defecto, para cuando no hay información del proveedor de contenido acerca de la vida útil del objeto. Squid toma por ciento x (20 por ciento en este ejemplo) de la diferencia entre el tiempo de la última modificación del objeto y la hora actual, y lo usa como la duración del objeto. Si la duración de los objetos es menor que el mínimo establecido por el refresh_pattern, se incrementa hasta al menos eso. Si es mayor que el máximo suministrado, se reduce a eso.

Archivos no estándar

Algunos tipos de archivos se puede mantener mucho más tiempo que otros. Archivos zip, tar.gz, tgz, y. Exe rara vez cambiar el contenido sin cambiar el nombre también. Uso de expresiones regulares, podemos crear un conjunto de patrones de refresco como esto:

refresh_pattern -i \.gif 43200 80% 43200
refresh_pattern -i \.tiff 43200 80% 43200
refresh_pattern -i \.bmp 43200 80% 43200
refresh_pattern -i \.jpeg 43200 80% 43200
refresh_pattern -i \.xbm 43200 80% 43200
refresh_pattern -i \.png 43200 80% 43200

Espero que pueda despejar un poco mas las dudas sobre los patrones de refresco de squid, Saludos

 

Buenas tardes a todos los foristas, quería agradecer en especial al maestro joemg por esa facilidad que nos da para montar el servidor thundercache
He sido lector por mucho tiempo y no soy conocedor de linux pero espero que con la ayuda de todos ustedes y la del maestro joemg aprenda mucho sobre ese tema.
Muchas gracias a todos.

 

Amigos les hago una consulta desde que actualize a la versionn 3.1.2 con thunder report veo que el plugin static esta en 0 bytes por ende 0 hits sera que no esta funcional este plugin ? a alguien le pasa ?

 

yo lo instale hace tres dias y el plugin de youtube esta al 100 %

 

El squid integrado en la instalacion del thunder 3.1.2 es 2.7 stable, si ya hay una actualizacion mas actual Squid version 3.2 se podra actualizar esta nueva en las instalaciones nuevas del thunder? solo por duda

 

claro que se puede, por ejemplo yo uso squid 3.1.19, a mi forma de ver es muy bueno pero nunca e usado squid2.7 para decirte cual es mejor y claro varia un poco la configuracion pero eso es lo de menos, habria que hablar con el amigo joeMG a ver si le parece y claro si es factible, pues como digo nunca e usado squid2.7 para poder comparar o saber si es mas estable, Saludos

 

bueno pues al que hablar con joeng,porque lo que queremos es mejorar el server lo mas que se pueda.
gracias.

 

para eso habría que formular primero una configuración optima para squid3, para que se pueda tomar en consideración, porque cada vez que instalo el thunder mejor edito el script para adecuarlo a mi configuración, les mostrare como ejemplo al script de joemg le hice varias modificaciones les dejo el link para que lo revisen y me digan, si algo les parece extraño en las modificaciones preguntenme y explicare porque:

http://sdrv.ms/OCr8yS

y para que no lo tomen a mal, lo modifico a mi gusto, no por que el script joeMG este mal, nada que ver, yo se que a muchos les a funcionado excelentemente, solo es que me gusta siempre modificar un poco siempre, para probar claro, espero les guste, Saludos

 

exelente amigo pero hay algunas cosos q has modificado si seria tal gentil de expliar algo gracias

 

por eso dije: si algo les parece extraño en las modificaciones preguntenme y explicare, solo postea la parte que te parece extraña y muy gustoso explicare. Saludos

 

aki esta parte ............

acl accesototal src \"/etc/squid3/accesototal.txt\"
acl mired src \"/etc/squid3/mired.txt\"
acl webloqueadas url_regex -i \"/etc/squid3/sitiosdenegados.txt\"
acl magic_words1 url_regex -i 192.168.1
acl magic_words2 url_regex -i .exe .mp3 .zip .rar .avi .mpeg .mpe .mpg .wav .mov .3gp .mov .flv .mp2 .mp5 .aac .wma .ogg .mka .asf .iff .amv

aki este otro.......

acl youtubecache dstdomain .4shared.com .youtube.com .avast.com .avg.com .windowsupdate.com .depositfiles.net .googlevideo.com .gl$
cache deny youtubecache

aki este otro ,,,,,,,,,,,,,
# DELAY POOL PARAMETERS
# -----------------------------------------------------------------------------
# TABLA DE EQUIVALENCIAS
# 2048 B ==> 16 kb ==> 2KB
# 4096 B ==> 32 kb ==> 4KB
# 8192 B ==> 64 kb ==> 8KB
# 16384 B ==> 128kb ==> 16KB
# 32768 B ==> 256Kb ==> 32KB
# 65536 B ==> 512Kb ==> 64KB
# 131072 B ==> 1 Mb ==> 128KB
# 196608 B ==> 1.5 Mb ==> 192KB
# 262144 B ==> 2 Mb ==> 256KB

esto otro
LEON DE JUDA

esto otro
echo "127.0.0.1 localhost.localdomain localhost
$IP_DE_MAQUINA proxy.$HOST_NAME proxy
192.168.1.2 MAQUINA1
192.168.1.3 MAQUINA2
192.168.1.4 MAQUINA3
192.168.1.5 MAQUINA4
192.168.1.6 MAQUINA5
192.168.1.7 ALTERNA
esto es todo ojala puesdas explicar sobre esto aunque anteriormente usaba squid pero no tan pronfundo y era el 2.7

 

bueno explicare todas, claro esta una por una, en esta parte:

acl accesototal src \"/etc/squid3/accesototal.txt\"
acl mired src \"/etc/squid3/mired.txt\"
acl webloqueadas url_regex -i \"/etc/squid3/sitiosdenegados.txt\"
acl magic_words1 url_regex -i 192.168.1
acl magic_words2 url_regex -i .exe .mp3 .zip .rar .avi .mpeg .mpe .mpg .wav .mov .3gp .mov .flv .mp2 .mp5 .aac .wma .ogg .mka .asf .iff .amv

Son acl o reglas de acceso y en este caso sirven para aceptar y denegar ip, como en las primeras dos, le estoy diceindo a squid que permita las ips en dichos archivos, la tercera sirve para denegar ciertos sitios y las ultimas dos son reglas que las combino con delay pools, mas adelante lo explicare, pero las primeras 3 acl van acompañadas de esto ultimo:

http_access deny localhost
http_access allow accesototal
http_access allow mired !webloqueadas
http_access deny all
bueno, esto no lo voy a explicar a fondo ya que te dejo este link en el cual explico lo mismo para no hacer mas largo esto: https://www.peruhardware.net/showpost.php?p=2707343&postcount=1608

#----------------------------------------------------------------------
# Niega cache a youtube y otros mas accesados
#----------------------------------------------------------------------
acl youtubecache dstdomain .4shared.com .youtube.com .avast.com .avg.com .windowsupdate.com .depositfiles.net .googlevideo.com .gl$
cache deny youtubecache

como lo dice el rotulo hace que squid no cachee esas webs ya que thunder ya lo hace.

# -----------------------------------------------------------------------------
# DELAY POOL PARAMETERS
# -----------------------------------------------------------------------------
# TABLA DE EQUIVALENCIAS
# 2048 B ==> 16 kb ==> 2KB
# 4096 B ==> 32 kb ==> 4KB
# 8192 B ==> 64 kb ==> 8KB
# 16384 B ==> 128kb ==> 16KB
# 32768 B ==> 256Kb ==> 32KB
# 65536 B ==> 512Kb ==> 64KB
# 131072 B ==> 1 Mb ==> 128KB
# 196608 B ==> 1.5 Mb ==> 192KB
# 262144 B ==> 2 Mb ==> 256KB
# -----------------------------------------------------------------------------
delay_pools 3
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1
delay_access 1 allow accesototal
# -----------------------------------------------------------------------------
delay_class 2 2
#-1/-1 significa que no hay limites.
delay_parameters 2 -1/-1 -1/-1
delay_access 2 allow magic_words1
# -----------------------------------------------------------------------------
delay_class 3 2
delay_parameters 3 55000/55000 55000/55000
delay_access 3 allow magic_words2

esto igual ya lo explique mas atras, pero lo resumire la regla delay_class 3 hace que todos los archivos descritos en la regla acl magic_words2 url_regex -i .exe .mp3 .zip .rar .avi .mpeg .mpe .mpg .wav .mov .3gp .mov .flv .mp2 .mp5 .aac .wma .ogg .mka .asf .iff .amv, tengan un retraso en su descarga, en delay_parameters configuras la velocidad a la que quieres se descarguen los archivos.

rm -rf /etc/samba/smb.conf
touch /etc/samba/smb.conf

echo "#======================= Global Settings =======================
[global]
workgroup = LEON DE JUDA

es mi configuracion de samba para compartir archivos de Linux a Windows, porque comparto archivos, porque manejo un Ciber, y las demas maquinas usan windows.

mv /etc/hosts /etc/hosts_
touch /etc/hosts

echo "127.0.0.1 localhost.localdomain localhost
$IP_DE_MAQUINA proxy.$HOST_NAME proxy
192.168.1.2 MAQUINA1
192.168.1.3 MAQUINA2
192.168.1.4 MAQUINA3
192.168.1.5 MAQUINA4
192.168.1.6 MAQUINA5
192.168.1.7 ALTERNA

como te dije manejo un Ciber y a cada maquina le asigno una ip y un nombre y los pongo en /etc/hosts para que en Sarg me aparezca MAQUINA1 en vez de 192.168.1.2, espero que halla logrado explicar todo y que halla sido claro, Saludos

 

muy bien amigo.

 

si amigo gracias por las dudas q tenian en el pool y el resto si ya mas o menos sabia pero de igual sirve para todos nuestros compañeros