Instalación de ThunderCache 3.1 paralelo a Mikrotik

me podrias explicar mas a detalle como lograste el bloqueo de paginas a un grupo de cleintes; si lo hago desde el thunder me bloquea para toda la red. ya intente muchas cosas del foro pero hay algo que no estoy haciendo bien porque no me funciona. en que lineas de squid.conf agrego los comandos acl y http
y cuales lineas desactivo..

 

alguien me puede decir como poner las foto para los plugins.

 

Yo también tengo el problema de Leandro que se me generan muchisimas conexiones con pocos clientes pensaba porque tenia todo en bridge pero no creo que sea eso...



A penas tenga una solución la publico

 

No hay caso amigo a mi no me funciona sigue en 0 hice lo que explica JoemG y verifique si estaba creado el archivo que menciona y efectivamente está luego tire el comando para el crontab y verifique que haya quedado en el crontab y efectivamente está pero si que en 0 ¿pregunta tengo que desabilitar el cache dns de Mikrotik?

 

Pusieron un ejemplo en este enlace revisalo
https://www.peruhardware.net/showpost.php?p=2707343&postcount=1610
Tienes que cambiar el src de tus clientes, uno con acceso total otro con las restricciones luego crear los .txt en /etc/squid/

Si es como en la imagen se muestra no me parece exesivo el número de conexiones para la cantidad de usuarios conectados.

Reiniciaste el crontab /etc/init.d/cron restart, tambien puedes fijarte en el archivo /var/cache/bind/named_dump.db con un editor de texto y fijate si hay datos.

 

amigo joemg hice este plugin pero no me cacheo pero naita. puedes chequearlo por favor

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o petardas.com.so petardas.com.cpp
// regex
// http.*\.petardas\.com.*(\.flv|\.mp4|\.wmv)


string get_filename(string url) {
vector<string> resultado;
if (url.find("?") != string::npos) {
stringexplode(url, "?", &resultado);
stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
return resultado.at(resultado.size()-1);
} else {
stringexplode(url, "/", &resultado);
return resultado.at(resultado.size()-1);
}
}

extern "C" resposta getmatch(const string url) {
resposta r;

if ( (url.find(".petardas.com") != string::npos)
) {

r.file = get_filename(url);
if (!r.file.empty()) {
r.match = true;
r.domain = "petardas";
} else {
r.match = false;
}
} else {
r.match = false;
}
return r;

mis usuarios son porneros...

 

Joemg6, Como podriamos implementar el APC (Alternative PHP Cache) para seguir mejorando nuestro Thunder, o esto ya lo instala el script ? o no seria de mucha ayuda ?

 

Reiniciaste el crontab /etc/init.d/cron restart, tambien puedes fijarte en el archivo /var/cache/bind/named_dump.db con un editor de texto y fijate si hay datos.[/QUOTE]

Me habia olvidado de reiniciar pero para mala suerte reinicie y no hay caso sigue igual abri con el editor el named_dump.db y hay muchos datos inclusive las ultimas paginas que he visitado pero en reporter sigue en 0 en fin me parece que me voy a resignar a que este en 0, Gracias por todas las ayudas.

 

Pues según Joemg si es excesivo

 

----- mensaje añadido, 13-ago-2012 a las 01:06 -----

http://speedtest.tricom.net/

amigo joemg,me da un error.



ERROR

The requested URL could not be retrieved

--------------------------------------------------------------------------------


The following error was encountered while trying to retrieve the URL: http://speedtest.tricom.net/


Connection to 190.94.0.4 failed.

The system returned: (111) Connection refused

The remote host or network may be down. Please try the request again.

Your cache administrator is webmaster.


--------------------------------------------------------------------------------


Generated Mon, 13 Aug 2012 05:08:36 GMT by proxy.routero-os.com (squid/2.7.STABLE9)

amigo que tendra ese plugins.

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o tricom.net.so tricom.net.cpp
// regex
// http.*\.tricom\.net.*\.jpg

string get_filename(string url) {
vector<string> resultado;
if (url.find("?") != string::npos) {
stringexplode(url, "?", &resultado);
stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
return resultado.at(resultado.size()-1);
} else {
stringexplode(url, "/", &resultado);
return resultado.at(resultado.size()-1);
}
}

extern "C" resposta getmatch(const string url) {
resposta r;

if ( (url.find(".tricom.net/") != string::npos) and (url.find(".jpg") != string::npos)
) {

r.file = get_filename(url);
if (!r.file.empty()) {
r.match = true;
r.domain = "tricom.";
} else {
r.match = false;
}
} else {
r.match = false;
}
return r;
}

 

muchas felicitaciones amigo joemg6 y muchas gracias por tus aportes, esperemos que la gente de BM SOFTWARE no te censure como hicieron con ryohnosuke . saludos

 

Me pasa igual exactamente

 

Algo extraño, para ver si hubo una mala copia de los archivos pueden descargar en archivo que contiene el ThundeReport http://www.joemg.host56.com/tr/thunder.zip descomprimir y solo remplazar los archivos mkhot.php, cphot, rmhot, en /var/www/thunder/ y ver cómo sigue.

Si nos fijamos la URL y su contenido
http ://porn.im.c9f0b6a9.1940183.x.xvideos.com/videos/flv/f/0/b/xvideos.com_f0b17682e6525540c45012e320e76701.flv?e=1344831210&ri=1024&rs=85&h=b4bf8b7deae8da99571148101bfa9f45
Utiliza el servidor xvideos.com por lo tanto hará Hit en el plugin de xvideos y no hay la necesidad de hacer plugin para esa página.

Su método de hacer caché es distinto, se está probando para ver su efectividad, se publicará su instalación pero será de manera opcional.

Ya que te genera el archivo named_dump.db y contiene datos puedes poner por terminal el siguiente código:

Código:

less /var/cache/bind/named_dump.db | sort | uniq -c | wc -l

Si sale el número de conexiones puedes descargar el ThundeReport, descomprimir y solo remplazar el archivo system.php y ver como sigue.

Por lo que podido ver de ese servidor es que en algunos momentos no está disponible el servicio de medición directamente desde su página web pero si desde la página del speedtest, por eso es que sale ese mensaje, entonces ya no sería problema del plugin, se puede verificar desconectando el Thunder y si hay conexión con la página y en varios casos no había acceso.

----- mensaje añadido, 13-ago-2012 a las 11:26 -----

No hay motivo porque ocurra eso, el proyecto es distinto al que hacía Ryo, ahora que tengo el tiempo un poco flexible aprovecho para aportar y siempre que haya esa disponibilidad seguirán los aportes, hay todavía varios detalles por agregar al Thunder lo cual requiere pruebas y eso requiere tiempo, aprovecho para agradecer a todos los participantes que han aportado en la mejora del Thunder y a todos en general por su positivismo y como siempre les digo compartan lo que se ha aprendido.

 

amigo joemg.
porque porhub,ase hist en keezmovies.
en el thunderreport.

petarda.no me da hist,en ningun lado.

 

Trata de escribir mejor sino se hace difícil entenderte, si te refieres a porque hace Hits en otro plugin distinto al de la URL es porque el servidor que usa cambio, esto se puede ver con otras páginas también cuando cambian su servidor, a veces cambian al mismo del otro plugin por eso es que hace Hit en otro, tienes que fijarte la URL y el contenido de donde están saliendo, el plugin se tiene que hacer de acuerdo al servidor del contenido.

 

Amigo Joemg, note algo... al tratar de agregar un usuario al hotspot, veras... cuando agrego un usuario pero le coloco direccion ip si me lo agrega... pero si coloco los demas datos sin colocar la direccion ip no lo agrega....


No hay manera que lo agregue sin que haya necesidad de colocar dieccion ip ??

 

gracias amigo joemg.

me puedes decir porque petardas no me da hist.

tu dices que da hist en el servidor de xvideos, pero yo lo estoy probando y no da hist.

 

Joemg6 como puedo saber qué es lo que le tiene al proceso thunder en determinados momentos usando todo el procesador, de vez en cuando todo se queda lento y tengo que reiniciar el server, el procesador de mi servidor es de 2 núcleos, hay veces que veo que queda usando solo uno de ellos o sea 50 % y otras veces los 2 núcleos usando al 100% dos procesos thunder, dejando todo muy lento, lo normal es que se mantenga al 1 a 3 % de uso de CPU. Después todo funciona normal, cacheando todo, incluso modifique mi configuración de refresh_patern del squid para obligar a hacer más hit.. No sé si tenga algo que ver.. Si podes ayudarme.. Este sería la parte que modifique de la configuración del squid a mi parecer cachea mejor con esta configuración, solo el problema del proceso thunder dejando lento el servidor en determinados momentos..


#----------------------------------------------------------------------
# Estandar de actualización de cache
# verificar cada 15 min y tiempo maximo de 2280 min (2 dias)
# reload-into-ims modifica no-cache y reload | cache obligatorio
#----------------------------------------------------------------------

# Debian
refresh_pattern -i \.deb$ 129600 100% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.gz$ 129600 100% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.bz2$ 129600 100% 129600 override-expire override-lastmod reload-into-ims ignore-reload

# Imagenes
refresh_pattern -i \.gif$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.tiff?$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.bmp$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.jpe?g$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.xbm$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.png$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.wrl$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.ico$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.pnm$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.pbm$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.pgm$ 14400 80% 43200 reload-into-ims
refresh_pattern -i \.ppm$ 14400 80% 43200
refresh_pattern -i \.rgb$ 14400 80% 43200
refresh_pattern -i \.ppm$ 14400 80% 43200
refresh_pattern -i \.rgb$ 14400 80% 43200
refresh_pattern -i \.xpm$ 14400 80% 43200
refresh_pattern -i \.xwd$ 14400 80% 43200
refresh_pattern -i \.pict?$ 14400 80% 43200

# Movies
refresh_pattern -i \.jpeg$ 14400 50% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mov$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mpe?g?$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.avi$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.qtm?$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.viv$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.swf$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mp4$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.flv$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.f4v$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload

# Sounds
refresh_pattern -i \.wav$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.aiff?$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.au$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.ram?$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.snd$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mid$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mp2$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.mp3$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.skm$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.ftm$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.sdk$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload


# Archives
refresh_pattern -i exe$ 1440 50% 999999 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i zip$ 1440 50% 999999 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.sit$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.zip$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.hqx$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.exe$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.arj$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.lzh$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.lha$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.cab$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.rar$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.tar$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.gz$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.z$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.a[0-9][0-9]$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.r[0-9][0-9]$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload

# Antivirus
refresh_pattern -i \.nup$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload


# Data files
refresh_pattern -i \.txt$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.pdf$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.doc$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.rtf$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.tex$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.latex$ 14400 80% 129600 override-expire override-lastmod reload-into-ims ignore-reload
refresh_pattern -i \.pdf$ 14400 80% 43200 override-expire override-lastmod reload-into-ims ignore-reload


# Java-type objects
refresh_pattern -i \.class$ 14400 80% 43200
refresh_pattern -i \.js$ 14400 80% 43200


# Web-type objects
refresh_pattern -i \.css$ 10 20% 4320
refresh_pattern -i \.html?$ 10 20% 4320
refresh_pattern \/$ 10 20% 4320


# Para evitar problemas con scripts .do
refresh_pattern -i \.do$ 0 0% 1440

 

hola amigo tambien dije lo mismo lo hace hit de xvideos.. hice un plugin de petardas.com y ahora me guarda las imagenes.. pero de los videos si hace hit ahora pero de xvideos. extraño pero esta funcionando. aqui esta el codigo:

#include <iostream>
#include <cstring>
#include <vector>
#include "../utils.cpp"

// use this line to compile
// g++ -I. -fPIC -shared -g -o petardas.com.so petardas.com.cpp
// regex
// http.*\.petardas\.com.*\.jpg

string get_filename(string url) {
vector<string> resultado;
if (url.find("?") != string::npos) {
stringexplode(url, "?", &resultado);
stringexplode(resultado.at(resultado.size()-2), "/", &resultado);
return resultado.at(resultado.size()-1);
} else {
stringexplode(url, "/", &resultado);
return resultado.at(resultado.size()-1);
}
}

extern "C" resposta getmatch(const string url) {
resposta r;

if ( (url.find(".petardas.com/") != string::npos) and (url.find(".jpg") != string::npos)
) {

r.file = get_filename(url);
if (!r.file.empty()) {
r.match = true;
r.domain = "petardas";
} else {
r.match = false;
}
} else {
r.match = false;
}
return r;
}

 

Eso quiere decir que se solucionó el problema de agregar usuarios al Hotspot, en el caso que no pongas datos en la dirección IP lo tomara como una información errónea y por eso no agregará al usuario, lo que tienes que hacer es llenar con la dirección 0.0.0.0 en el IP así agregará al usuario sin ningún IP.

Eso se debe a que el servidor de los videos que utiliza es distinto a de la página, por lo que he podido ver en algunos videos utiliza el servidor de xvideos y keezmovies, sería que revises las URL de los videos para que así tengas más detalles de que servidores más esta usando.

En las reglas que pusiste son más que nada para el tiempo de refresco que estarán en el caché de squid, si en momentos sube el uso del procesador puedes ver que proceso es el que está generando ese consumo.

Código:

ps -aux

El servidor de los videos es distinto al que de la página principal, por eso dije que vieran la URL del contenido del video, en caso hagas un plugin con el nombre de este dominio serán las imágenes y otras detalles más pero no los videos.