A forma como teu site é linkado por outros sites diz muito ao Google sobre o tipo de conteúdo que ele irá encontrar pela frente. Estou falando das keywords, aquelas palavras que o Google interpreta para entender sobre o que diz alguma página.
Se o link que aponta pro teu site, for usado uma palavra-chave que tenha a ver com o conteúdo que você apresenta, isso irá aumentar a relevância do site naquela palavra-chave específica.
Uma forma de ver como o Google “digere” os links que apontam pro teu site é usando o Google Webmaster Tools, lá você acompanha os links externos (outros sites) e os internos (links do teu próprio site).
Retirei uma imagem do próprio Google Webmaster Central Blog pra ilustrar o funcionamento.

Veja que os links descritos como “clique aqui”, “visite aqui”, não colaboram em nada para aumentar a relevância do teu site, pois estas palavras não têm “peso” pro Google. Sabendo disto agora é só tratar das keywords que o Google cuida do resto!