SARG - Saiba o que seus usuários estão acessando

O Sarg é uma das melhores opções para geração de relatório a partir do log do squid. Fácil de instalar e usar. 
O tutorial abaixo foi copiado de http://www.devin.com.br/eitch/sarg/. 
O pacote de instalação pode ser baixado em http://sarg.sourceforge.net/ 

O SARG (Squid Analysis Report Generator) é uma ferramenta muito boa desenvolvida pelo brasileiro Pedro Orso, que permite à você ver para “onde” seus usuários estão indo na Internet através da análise do arquivo de log “access.log” do famoso proxy Squid. O poder da ferramenta é incrível, ele pode dizer para você quais usuários acessaram quais sites, em que horas, quantos bytes foram baixados, quantas conexões foram feitas, relatórios de sites mais acessados, usuários que mais acessam, relatório de sites negados, falha de autenticação, entre outros. A gerência que você pode obter com isso é muito boa, principalmente para as empresas que querem economizar o uso da Internet.

Instalação apt

A última instalação não usei mais o arquivo tarball baixado do site sarg, instalei diretamente pelo apt-get

$ sudo apt-get install sarg

Em relação à configuração no arquivo /etc/sarg/sarg.conf:

language Portuguese
access_log /var/log/squid3/access.log
title "Relatório de acessos internet - SQUID
header_bgcolor #C1CDC1
output_dir /var/www/sarg_incol
charset UTF-8
logo_image ./images/logo_incol.jpg
image_size 150 44
dansguardian_conf /etc/dansguardian/dansguardian.conf

Não esqueça de colocar a imagem (logo_incol.jpg) na pasta images. 

E ainda, não basta apenas alterar o arquivo /etc/sarg/sar.conf. Na hora de executar o sarg, é preciso indicar para o SARG o arquivo de configuração que se deseja utilizar:

$ sudo sarg -f /etc/sarg/sarg/conf

Instalação tarball

Dependências

Bibliotecas das quais o sarg depende para funcionar:

1. libc6-dev
2. libc6
3. libgcc1

Veja mais detalhes no site do debian.

Instalação

cd /usr/local
tar zpfx sarg-2.2.3.1.tar.gz
cd sarg-2.2.3.1
./configure --enable-sysconfdir=/usr/local/sarg
make && make install

Configuração

Com o sarg compilado e instalado, é preciso agora configurá-lo. O diretório de instalação escolhido foi o /usr/local/sarg:

cd /usr/local/sarg
cp sarg.conf sarg.conf.original
touch exclude.hosts
touch exclude.strings
touch exclude.users

Sobre os arquivos acima:

• exclude.hosts

Aqui cada linha terá um domínio/URL que não será mostrada no relatório. Útil para você colocar, por exemplo, endereços de download da Intranet que passam pelo Squid, mas não gastam banda de Internet nenhuma.

• exclude.strings

Se alguma linha do arquivo de log conter uma das strings deste arquivo (cada string por linha), esta linha do log será ignorada do relatório. Com isso você pode filtrar qualquer coisa do relatório.

• exclude.users

Os usuários que estiverem neste arquivo (separados por linha) não serão incluídos no relatório.

Na execução do Sarg, ele buscará pelo seu arquivo de configuração, armazenado em /usr/local/sarg/sarg.conf. É possível indicar um outro arquivo de configuração. Para facilitar, no quadro abaixo segue um arquivo de configuração completo, com o nome /usr/local/sarg/sarg-dia.conf

# Relatório Squid por: Dia

# Língua Utilizada, coloquei em inglês aqui, mas será tudo em português
# do Brasil, veja o porquê depois.
language English

# Arquivo de LOG do Squid, lembra? Na sua configuração do Squid tem
# falando onde se encontra este arquivo.
access_log /var/log/squid3/access.log

# Título da página HTML
title "Relatório Diário do Proxy"

# --- Visual ---
# Aqui tem várias variáveis que você pode mudar para deixar o
# visual do relatório (cores, fontes, etc) de acordo com o que
# você quiser. Aqui estou usando os valores padrões.
font_face Arial
header_color darkblue
header_bgcolor blanchedalmond
header_font_size -1
background_color white
text_color black
text_bgcolor beige
title_color green
#--- Fim do Visual ---

# Diretório Temporário
temporary_dir /tmp

# Diretório de Saída para as página de relatório, ou seja,
# onde o relatório vai ficar para consulta via um navegador.
# "Geralmente" esse diretório tem que estar dentro do root do seu
# servidor Web :D
output_dir /var/www/sarg

# Qual critério de ordem para a seção "TopUser?" USER/CONNECT/BYTES/TIME
# Isso irá organizar o relatório na seção de TopUsers, colocando os usuários
# que mais baixaram bytes primeiro.
topuser_sort_field BYTES reverse

# Qual critério de ordem para a seção "User"? SITE/CONNECT/BYTES/TIME
# Isso irá organizar a seção de usuários da mesma forma que o item anterior.
user_sort_field BYTES reverse

# Arquivo com usuários que não devem estar nos relatórios
exclude_users /usr/local/sarg/exclude.users

# Arquivo com hosts que não devem estar nos relatórios
exclude_hosts /usr/local/sarg/exclude.hosts

# Formato da data (e=dd/mm/yy, u=mm/dd/yy, w=yy/ww)
date_format e

# Limite de logs até os antigos serem removidos, quando houver mais
# de N relatórios, o mais antigo é automaticamente removido. Aqui
# estamos indicando para nunca apagar nada.
lastlog 0

# Remover arquivos temporários após o uso?
remove_temp_files yes

# Gerar o index.html? (only = gera só o index.html principal)
index yes

# Sobrescrever o relatório se já existe?
overwrite_report yes

# O que fazer com registros sem usuário? (ignore/ip/everybody)
records_without_userid ignore

# Usar vírgula ao invés de ponto?
use_comma no

# Qual a quantidade de sites mais visitados à listar?
topsites_num 100

# Qual critério de ordem para o topsites? CONNECT/BYTES A/D
# Aqui diz para ordenar os sites mais acessados por utilização de banda,
# em forma decrescente.
topsites_sort_order BYTES D

# Arquivo de códigos HTTP para serem ignorados no relatório
exclude_codes /usr/local/sarg/exclude_codes

# Tempo de checkagem
max_elapsed 28800000

# -- Tipo de Relatorio a ser gerado --
#      + topsites       - Mostra o site, conexão e bytes
#      + sites_users    - Mostra que usuários estavam acessando um site
#      + users_sites    - Mostra sites acessados pelo usuário
#      + date_time      - Mostra quantidade de bytes usados por dia e hora
#      + denied         - Mostra todos os sites negados com URL completa
#      + auth_failures  - Mostra falhas de autentificação
report_typie topsites users_sites sites_users date_time denied auth_failures site_user_time_date
 
# Exibir URLs completas? (Não recomendado)
long_url no

# Se alguma linha do access.log conter uma das strings, será ignorada
exclude_string /usr/local/sarg/exclude.strings

# Mostrar mensagem de sucesso na geração do relatório no fim?
show_successful_message no

# Campos para a seçao topusers
topuser_fields NUM DATE_TIME USERID CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE

# Quantidade de usuários para listar no relatório topsites
topuser_num 0

Mesmo setando a linguagem para Portuguese, o sarg sempre coloca em inglês (não sei se numa versão mais recente foi corrigido). Para solucionar o problema, faça o quadro abaixo:

cd /usr/local/sarg/languages
mv English English.old
ln -s Portuguese English  

Ainda, no idioma Portuguese, faltam duas linhas na tradução. Adicione as duas linhas abaixo no final do arquivo:

"Negado"
"Topsites"

Configuração no arquivo padrão (sarg.conf)

No arquivo de configuração padrão do sarg, o sarg.conf, talvez seja necessário modificar as opções abaixo:

→ access_log /var/log/squid3/access.log 
→ title “Relatório de Acessos do Squid” 
→ output_dir /var/www/sarg 
→ date_format e 
→ charset UTF-8 
→ overwrite_report yes 

Crie o diretório para o sarg:

$ sudo mkdir /var/www/sarg
$ sudo chown root.wwweb /var/www/sarg
$ sudo chmod 750 /var/www/sarg

Executando o Sarg

Para apresentar o log de acessos do Squid, é preciso rodar o comando sarg (/usr/bin/sarg). Esse comando vai ler o arquivo de log descrito no parâmetro access_log do arquivo de configuração /usr/local/sarg/sarg.conf. 
O resultado será gravado em formato html no local descrito no parâmetro output_dir do arquivo de configuração sarg.conf. Como root, execute em um terminal:

sarg

Se não informado nenhum parâmetro ao comando, ele pegará o log da data corrente. Também é possível executar o comando da seguinte maneira:

sarg -f /usr/local/sarg/sarg-dia.conf -d 29/06/2007-29/06/2007

Onde: 
-f /usr/local/sarg/sarg-dia.conf –> informa um arquivo de configuração. Caso não seja informado, pegará o arquivo padrão em /usr/local/sarg/sarg.conf. 
-d 29/06/2007-29/06/2007 –> informa um intervalo de datas a ser pesquisado no log. Caso não seja informado, pega o dia atual. 

OBS: o visual apresentado pelo script de configuração padrão (sarg.confg) ficou mais apresentável do que o da configuração de sarg-dia.conf.

Automatizando o Sarg

Essa é fácil… para que o sistema construa relatórios diários e de forma automática, basta criar um script com o comando acima e colocar no cron do sistema, em /etc/crontab

Visualizando o Sarg pelo browser

É definido pela variável de configuração output_dir, do arquivo sarg.conf. Na configuração foi definido o caminho /var/www/sarg . No navegador ficará 

http://localhost/sarg

Preview do Android 3.0

Google punirá na web empresas que tratarem mal seus clientes

O Google anunciou na quarta-feira (1) que desenvolveu um novo algoritmo que penaliza, automaticamente em seu sistema de buscas, as empresas que tratam mal seus clientes.

A decisão é uma reposta a uma reportagem do jornal americano "The New York Times". Segundo a matéria, uma empresa conseguiria registrar ascensão nas buscas do Google impulsionada pelo elevado número de críticas negativas.

“A principal premissa da reportagem foi de mostrar que ser mau na internet pode ser bom para o negócio”, explicou o engenheiro-chefe do Google, Amit Singhal. Ele acrescentou que sua equipe se “horrorizou” ao conhecer a história. O jornal relatou que as queixas dos usuários na web favoreciam a visibilidade das companhias no Google, uma notoriedade que atraía novos clientes.

A modificação, que foi qualificada de “solução inicial”, prejudica a posição no ranking do Google de companhias citadas na reportagem, assim como a de outras “centenas” que, na opinião da empresa, “oferecem aos usuários uma experiência extremamente pobre”.


Fonte: g1.globo.com

Seis coisas que odiamos na web

Vivemos em um mundo tecnológico profundamente paradoxal. Posso guardar mais álbuns no meu bolso, com um iPod, do que jamais caberia em minha estante de CDs; é possível ouvir estações de rádio do mundo inteiro na Internet, enquanto estou no ônibus, e, ao mesmo tempo, baixar canções, legalmente, por menos de um dólar - tudo em uma única, e elegante, interface do smartphone. No entanto, ao procurar a letra de uma música – tarefa das mais simples – indubitavelmente serei bombardeado com anúncios que ocupam a tela inteira, vídeos que tocam sem eu pedir, e links para o download de toques de celular.

Inconveniências que existiam nos primórdios da Internet foram abandonadas, como letras que piscam, pop-ups insistentes e musiquinhas de fundo que não podem ser interrompidas. Não obstante, a batalha por uma rede mundial mais sã continua; ainda há muito de arcaico, e perturbador, na moderna Web 2.0. 

1. Sites de download enganadores
Se eu visito um portal desses, é óbvio que estou à procura de um arquivo para baixar. Entendo que a banda necessária para hospedá-lo não é gratuita, portanto, não me incomodo com os anúncios em tela cheia que vêm em minha direção. Fecho-o e já avisto um botão grande: “Download Here”.

É uma armadilha! Clico nele e uma grande janela de propaganda aparece. Elimino-a, e lá está: um ícone azul e a palavra download. Olho-o por um instante e concluo: “Ah, mais uma cilada, nada de cliques para você”. Ao lado, um quadrado laranja com o “Download Here” de antes; é esse.

Esqueci de digitar o CAPTCHA – código que serve para evitar que robôs acessem o sistema. Certo, tentarei de novo. Encontrei o arquivo que quero, só preciso clicar no botão e... não, não é esse; eu não quero uma conta Premium. Seleciono “voltar” no navegador. Ah, finalmente, aí está: o botão certo, logo ao lado do Premium. Pronto, agora é só esperar uns 45 segundos e não me distrair, pois, caso demore a clicar no último ícone, terei que fazer tudo de novo. O que eu queria baixar mesmo?

2. Vídeos anexados
No Gmail Chat está a forma correta de anexar vídeos. Por outro lado, o YouTube já tem mais de cinco anos e ainda não nos ofereceu uma maneira eficiente de completar essa tarefa. Principalmente para os iniciantes, o portal de vídeos deveria seguir esse padrão: copio a URL da página para um e-mail, um tuite, ou qualquer outra caixa de texto, e a mídia aparece no conteúdo postado; como no Gmail Chat.

Todos os outros estão errados. Alguns sites convertem a URL corretamente, alguns exibem um código para a indexação, e existem aqueles que não a permitem. Só dá para saber qual é o método por tentativa e erro. Uma confusão.

3. Cookies de terceiros
Esses daí podem incomodar. Você já deve saber que os cookies também são usados para que uma determinada entidade possa monitorar a sua atividade na Internet. Assim, redes de publicidade descobrem quais são os seus interesses, exibindo anúncios que condizem com eles.

O modo mais fácil de escapar da ameaça é desabilitando o armazenamento desses arquivos. No entanto, eles servem para muitas coisas úteis, e um grande número de extensões depende deles para funcionar corretamente, tanto no Firefox quanto no Chrome. Logo, se correr o bicho pega e se ficar...

4. Anúncios que dançam e cantam
No primeiro exemplo, o mouse, acidentalmente, acaba passando por um anúncio no topo da tela. Não só ele cresce, como também começa a tocar um vídeo ou uma música. Por ser tão difícil de evitá-lo, acabo clicando nele sem querer. Isso já ocorreu centenas de vezes; em todas, minha insatisfação com o som que sai das caixinhas foi enorme.

No segundo exemplo, eu nem percebo que abri um site que possui uma dessas peças publicitárias. Já estou em outra aba quando noto que uma música está tocando. De onde vem? Eu não abri nenhum arquivo musical, nenhum vídeo. Demora um tempo até que eu reconheça a origem, e vou de janela em janela procurando o anúncio para poder fechá-lo.

Por favor, publicitários, esperem pelo clique antes de exibir um filme ou iniciar uma narração; ao levar o mouse até o espaço da propaganda, isso não significa que estou interessado, mas, ao selecioná-lo, aí sim, vocês podem comemorar que conseguiram o que queriam.

5. Sugestões de contas a seguir no Twitter e amigos no Facebook
Eu entendo. São redes sociais e se você é novo nelas é muito mais fácil adicionar alguns amigos e, depois, ir selecionando as sugestões que o portal lhe dá. De fato, chega a ser conveniente.

No entanto, para quem está no Facebook há um tempo, essa lista passa a ser uma coleção de conhecidos com os quais não quero contato. Convenhamos, se você e um outro têm 100 amigos em comum e, mesmo assim, não se adicionaram na rede, existe um motivo para isso, algo que a rede de Zuckerberg é incapaz de entender.

6. Sites que tocam vídeo e áudio automaticamente
Essa é similar à reclamação dos anúncios. Em geral, ao visitar um site de notícias, por exemplo, escolho as manchetes que mais me interessaram e as abro em abas diferentes. Quando um barulho que não me é familiar começa, tenho que investigar página por página para ver qual é a responsável. Veja bem, se eu quiser assistir a um vídeo, eu clicarei nele; o conteúdo não precisa iniciar automaticamente, sou capaz de fazê-lo tocar por conta própria.

Fonte: idgnow.uol.com.br

Clika aki mano!

Google analytics

O Google Analytics é a solução de análise da web de cunho empresarial que fornece a você uma ótima visibilidade do tráfego e da eficiência do marketing do seu website. Recursos avançados, flexíveis e fáceis de usar permitem que você veja e analise dados de tráfego de uma maneira totalmente nova. Com o Google Analytics, você se prepara melhor para compor anúncios mais bem segmentados, fortalecer suas iniciativas de marketing e criar websites que geram mais conversões.

Para acessá-lo é necessário ter uma conta no google. Acesse pelo endereço www.google.com/analytics.


Lá na página, o google pedirá pra você indicar quais páginas do seu site deverão ser analisadas. Depois fornecerá um script JavaScript que deverá ser adicionado em cada uma das páginas indicadas.


Finalmente o google fará um teste de acesso a essas páginas e concluirá a instalação. Logo depois disso você poderá acompanhar a análise de acessos às suas páginas.


E isso sem pagar nada, é claro..

Brasil paga 10 vezes mais por banda larga que países ricos

Parece brincadeira, e de mal gosto, mas não é. Nós, brasileiros, pagamos nada mais nada menos que dez vezes mais pelo preço da banda larga que cidadãos de países desenvolvidos, segundo estudo divulgado pelo IPEA (Instituto de Pesquisa Econômica Aplicada). Um estudo bastante abrangente, diga-se de passagem, embora o enorme gap revelado entre a disponibilidade de internet banda larga e o custo que pagamos seja esperado e não seja lá uma novidade (basta olhar em volta). Porém o que não deixa de assustar pela precisão dos números.

Segundo o estudo…

Enquanto na renda mensal dos brasileiros o gasto médio com banda larga no Brasil custava, proporcionalmente, 4,58% da renda mensal per capita de 2009, nos países desenvolvidos a mesma relação gravitava em torno de 0,5% –quase dez vezes menor, segundo os dados apresentados. Na Rússia, o índice caía para menos da metade no período, ou 1,68%.

O IPEA apontou ainda três fatores que contribuem para tamanha disparidade entre os preços praticados de banda larga entre países pobres e ricos:

• baixo nível de competição,
• elevada carga tributária,
• baixa renda da população

O Plano Nacional de Banda Larga, que prevê um acesso a internet por banda larga a um custo que gira em torno de R$30, ainda segue em discussão e deve vir somente em 2011. Seria de grande ajuda no sentido de democratização do acesso a um serviço tão básico para o cidadão do século 21.

Outros dados que são importantes considerar, conforme divulgados pelo estudo:

Segundo os técnicos do Ipea, o Brasil tem uma média de conexão de 1 Mbps (megabit por segundo), enquanto países como Japão e Coreia têm conexões de 100 Mbps. “Isso acontece por causa do uso de fibra óptica, que propicia velocidades mais altas”, afirmou Kubota.

Na divisão por velocidade de conexão, 34% das residências têm até 256 Kbps, enquanto 20% apresentam conexão entre 256 Kbps e 1 Mbps. Outros 15% possuem conexões entre 1 e 2 Mbps. Conexões entre 4 e 8 Mbps ou acima disso correspondem a apenas 2% da população. Outros 23% não souberam responder as velocidades.

É uma situação vergonhosa para um país que quer ser destaque positivo em termos de desenvolvimento, um líder na América Latina. Ainda mais para um país que espera grandiosos eventos como Olimpiadas e Copa do Mundo.

Ademais, a internet é a esteira do desenvolvimento da educação no cenário mundial. Negar internet tambem é negar educação. Do que adianta enormes investimentos em Educação a Distância se não temos infraestrutura para atender a demanda?

Todo o investimento feito nesse sentido tem retorno garantido, afinal, com mais conhecimento disseminado e redução dos custos dos processos educacionais, teremos um povo mais preparado para os desafios do futuro, que por sua vez retornará com maiores contribuições para o desenvolvimento do país. É um ciclo fabuloso!

Quando teremos de fato um acesso a internet de forma decente, sabemos apenas na teoria, até porque os políticos costumam se empolgar um pouco mais em véspera de eleições. Cabe a nós tomar cuidado com os candidatos que iremos votar. Agora é a hora de ficar ainda mais ligado nos planos de campanha de cada um, conhecer suas prioridades…não ter medo de mudar, se preciso for.

Fonte: carreiradeti.com

Usando o google webmaster tools

Para quem tem uma conta no Google, é possível utilizar sua ferramenta Google Webmaster Tools. O GWT é um conjunto de ferramentas do Google que oferece informações sobre:

• problemas encontrados ao indexar o site;
• desempenho dos links internos e externos presentes no site;
• os termos de busca que mais atraem visitantes ao site.

Na prática você adiciona o seu site, o Google vai exigir que você uma uma tag "meta" na página inicial do seu site para identificá-lo como sendo realmente o administrador do site. 

Confirmada a tag, o Google mostra várias ferramentas para que informam "Termos de pesquisa mais comuns", "Erros de rastreamento", "Palavras chaves" e outros. Vale a pena conferir.

Para acessá-lo: http://www.google.com/webmasters/tools/

O que é backbone?

Graças a ele, você pode acessar a Internet.

Pouca gente sabe, mas se não fosse pelo backbone, provavelmente não teríamos acesso à Internet em nossas casas, empresas, nos shoppings e outros ambientes. Backbone significa “espinha dorsal”, e é o termo utilizado para identificar a rede principal pela qual os dados de todos os clientes da Internet passam. É a espinha dorsal da Internet.

Esta rede também é a responsável por enviar e receber dados entre as cidades brasileiras ou para países de fora. Para que a velocidade de transmissão não seja lenta, o backbone utiliza o sistema “dividir para conquistar”, pois divide a grande espinha dorsal em várias redes menores.

Explicando melhor

Quando você envia um email ou uma mensagem pelo MSN, as informações saem do seu computador, passando pela rede local para depois “desaguar” no backbone. Assim que o destino da mensagem é encontrado, a rede local recebe os dados para então repassar para o computador correto.

Para entender melhor o conceito, pense no backbone como uma grande estrada, que possui diversas entradas e saídas para outras cidades (redes menores). Nesta estrada, trafegam todos os dados enviados na Internet, que procuram pela cidade certa a fim de entregar a mensagem.No Brasil, as empresas prestadoras deste serviço são: BrasilTelecom, Telecom Italia, Telefônica, Embratel, Global Crossing e a Rede Nacional de Ensino e Pesquisa (RNP).

Bloqueio nacional

Bloqueio nacionalVocê já deve ter ouvido falar de alguns países que bloqueiam o acesso a certos sites, como o YouTube. Como os sites, no submundo dos bits, nada mais são do que números de identificação, uma vez que esses códigos identificadores sejam bloqueados de modo que o backbone não possa enviar seu conteúdo, o país inteiro fica sem autorização para acessar as páginas.

Embora não pareça complicado, bloquear um site para que um país inteiro não tenha acesso ao seu conteúdo não é uma tarefa muito trivial. No entanto, uma vez feito, é praticamente impossível burlar a segurança.

Fonte: baixaki/info