Si trabajamos en SEO y tenemos que preparar un listado de enlaces indexados de nuestra web para hacer redireccionamientos 301, tenemos dos opciones: utilizar algún programa que nos liste todas las url de nuestro sitio o bien intentar obtener un listado de las url indexadas por los buscadores. Esta última opción es más óptima pero también más complicada. Para eso he preparado el programa GetMyLinks.
Obtener los enlaces de nuestra web en Google no es difícil, basta con hacer la consulta site:midominio.com y obtendremos un listado. El problema viene cuando queremos guardar este listado de enlaces. Es posible hacer un programa en algún lenguaje de programación que navegue autónomamente por Google y vaya recogiendo los enlaces pero esto contraviene las normas de utilización del buscador. La otra opción sería crear un navegador especializado que, al ir navegando por las páginas del buscador, vaya guardando los enlaces. Este es el enfoque de GetMyLinks, sólo tenemos que decirle de qué dominio queremos ver los enlaces y nos los irá mostrando en una lista que podremos copiar y utilizar en un excel o transformar fácilmente en cualquier otro formato.
Solamente hay un par de puntos a tener en cuenta. Google sólo nos dará los mil primeros resultados, si tenemos más páginas indexadas habrá que intentar obtenerlas por partes, es decir, hacer primero una búsqueda parcial como «site:midominio.com/productos/zapatos» y luego ir haciendo combinaciones hasta obtener el total de enlaces. La otra cuestión a considerar es que el programa nos obliga a hacer clic en el paginador para ir pasando de página. Si tenemos muchos enlaces será un poco tedioso, pero automatizar esta parte creo que iría en contra de las normas de utilización del buscador.
Para utilizar el programa en Windows basta con bajárselo de aquí y ejecutarlo: GetMyLinks para Windows
Si utilizas Linux puedes bajarte GetMyLinks para Linux
Para usarlo en Linux tienes que descomprimir el zip primero, luego le das permisos de ejecución con chmod a+x app y finalmente lo ejecutas con ./app
Nota: si al ejecutar la aplicación en Linux obtienes este error:
./app: error while loading shared libraries: libudev.so.0: cannot open shared object file: No such file or directory
puedes solucionarlo con la siguiente instrucción:
sudo ln -sf /lib/$(arch)-linux-gnu/ libudev.so.1 /lib/$(arch)-linux-gnu/ libudev.so.0
Gracias a los amigos de Bitexa informática por aportar esta solución.