Al pensar hoy en día en un motor de búsqueda, el primero que viene a la mente es Google. Los operadores de sitios web recurren también al motor de búsqueda personalizada (CSE, del inglés Custom Search Engine) del gigante de Internet para ofrecer a los usuarios una función de búsqueda de su propio contenido rápida y sencilla. Claro está que esta no es la única opción existente y para muchos ni siquiera la mejor. Una alternativa es Lucene: un proyecto gratuito de código abierto de Apache, que ofrece a los visitantes una función de búsqueda de texto completo.
Numerosas compañías han integrado Apache Lucene tanto online como offline. Hasta hace unos años, Wikipedia utilizaba Lucene como función de búsqueda, si bien ahora ha pasado a Solr, que a su vez se basa en el primero. Asimismo la búsqueda en Twitter funciona completamente a través de Apache Lucene. El proyecto de Doug Cutting, que comenzó a finales de la década de 1990 como un pasatiempo, se ha convertido en un software del que millones de personas se benefician a diario.
Lucene es una biblioteca de programas gratuita y de código abierto que cualquier persona puede utilizar y modificar y que está publicada por la Apache Software Foundation. Aunque en sus inicios Lucene estaba escrito completamente en Java, ahora también se puede usar en otros lenguajes de programación. Además Apache Solr y Elasticsearch sirven como poderosas extensiones que dotan a la función de búsqueda de más posibilidades.
Lucene permite la búsqueda de texto completo, es decir, se trata de un programa que busca en un conjunto de documentos de texto uno o más términos definidos por el usuario. De este hecho se deduce que Lucene no solo se utiliza en el contexto de la World Wide Web, si bien en este las funciones de búsqueda constituyen un elemento omnipresente. También se puede recurrir a Lucene en la búsqueda de archivos, bibliotecas o incluso en el ordenador de sobremesa y, además de aplicarse en documentos HTML, también trabaja con correo electrónico o incluso con archivos PDF.
El índice es un elemento decisivo en el proceso de búsqueda con Lucene y se considera el corazón del programa: en él se almacenan todos los términos de todos los documentos. Este tipo de índice invertido consiste principalmente en una tabla donde se guarda la posición de cada término. No obstante, para poder crear un índice, primero es necesaria la extracción de todos los términos de todos los documentos, proceso que cada usuario puede configurar individualmente. En la configuración, los desarrolladores establecen qué campos quieren incluir en el índice. Pero ¿a qué se refieren estos campos?
Los objetos con los que Lucene trabaja son documentos de cualquier tipo. Estos, desde el punto de vista del propio programa, contienen una serie de campos y estos incluyen, por ejemplo, el nombre del autor, el título del documento o el nombre del archivo. Cada campo tiene una designación y un valor únicos. Por ejemplo, el campo llamado title puede tener el valor "Manual de usuario de Apache Lucene". Al crear el índice, el usuario puede decidir qué metadatos quiere incluir.
En la indexación de los documentos, tiene lugar también lo que se conoce como tokenization. Para una máquina, un documento es ante todo un conjunto de información. Incluso cuando se pasa del nivel de los bits al de contenido legible para los humanos, un documento sigue estando compuesto por una serie de signos: letras, puntuación, espacios, etc.
A partir de estos datos, se crean con los segmentos de tokenization los términos (en su mayoría palabras) que finalmente van a poder buscarse. La forma más sencilla de ejecutar este tipo de tokenización es mediante el método de espacio en blanco: un término termina cuando se encuentra un espacio en blanco. Sin embargo, este método pierde su utilidad cuando un término está compuesto por varias palabras separadas, como puede ser el caso de "sin embargo". Para solucionarlo, se recurre a diccionarios adicionales que se pueden implementar también en el código Lucene.
Al analizar los datos de los que forma parte el proceso de tokenization, Lucene también ejecuta un proceso de normalización. Esto significa que los términos se convierten a una forma estandarizada, de modo que, por ejemplo, todas las mayúsculas se escriben en minúsculas. Además, Apache Lucene introduce una clasificación mediante una serie de algoritmos, por ejemplo, a través de la medida tf-idf. Como usuario, es probable que primero desees obtener los resultados más relevantes o recientes, lo que es posible gracias a los algoritmos del motor de búsqueda.
Para que los usuarios puedan encontrar lo que buscan, deben introducir un término o términos de búsqueda en una línea de texto. Dicho término recibe el nombre de query (consulta) en el contexto de ApacheLucene. Esta entrada no solo debe estar formada por una palabra o conjunto de ellas, sino que también puede contener comodines y operadores boleanos como AND, OR o + y -, entre otros. El denominado QueryParser, una clase dentro de la biblioteca del programa, traduce la entrada en una solicitud de búsqueda concreta para el motor de búsqueda. Los desarrolladores también pueden configurar el QueryParser de modo que se adapte exactamente a las necesidades del usuario.
Lo que caracterizó al lanzamiento de Lucene fue la indexación incremental. Antes de este programa solo era posible la indexación por bloques, que permitía indexar únicamente índices completos. No obstante, con la indexación incremental es posible actualizar un índice, de modo que se pueden añadir o eliminar entradas individuales.
La pregunta parece lógica: ¿para qué crear tu propio motor de búsqueda cuando ya hay otros como Google o Bing disponibles? Por supuesto, esta pregunta no tiene fácil respuesta y, en definitiva, depende de la aplicación que cada usuario quiera hacer de un motor. Pero una cosa hay que tenerla clara: cuando hablamos de Lucene como motor de búsqueda, se está haciendo uso solo de una denominación simplificada.
De hecho, Apache Lucene es una biblioteca de recuperación de información. Lucene es, por lo tanto, un sistema con el que se puede encontrar información. También lo son Google y otros motores de búsqueda, si bien estos se limitan a la información en Internet. Lucene se puede usar en cualquier escenario y es posible configurarlo para que se adapte a las necesidades de cada usuario, por ejemplo, al integrarlo en otras aplicaciones.
Apache Lucene no es, al contrario que los buscadores web, un software listo para usar: para obtener un beneficio de las opciones del sistema, primero es necesario programar el propio buscador. En nuestro tutorial de Lucene te mostraremos los primeros pasos.
Sobre todo los menos expertos suelen preguntarse cuáles son las diferencias entre Apache Lucene, Apache Solr y Elasticsearch. Los dos últimos se basan en Lucene: el producto original es un motor de búsqueda. Solr y Elasticsearch se presentan como servidores de búsqueda completos que amplían aún más el alcance de Lucene.
Si únicamente necesitas una función de búsqueda para tu sitio web, es mejor recurrir a Solr o Elasticsearch, pues estos sistemas están específicamente diseñados para su aplicación en la web.
En la versión original, Lucene está basado en Java, lo que permite utilizar el motor de búsqueda para diferentes plataformas online y offline siempre que sepas cómo hacerlo. A continuación, te explicamos cómo crear paso a paso tu propio motor de búsqueda con Apache Lucene.
Este tutorial utiliza Lucene basado en Java. El código se probó en la versión 7.3.1 de Lucene y la versión 8 de JDK. Se trabaja con Eclipse en Ubuntu. Cada uno de estos pasos puede cambiar si se utilizan otros entornos de desarrollo o sistemas operativos diferentes.
Para poder trabajar con Apache Lucene, has de tener Java instalado en tu sistema. Al igual que Lucene, es posible descargar el software Java Development Kit (JDK) de forma gratuita desde la página web oficial de Oracle. También debes instalar un entorno de desarrollo que te permita trabajar con el código de Lucene. Muchos desarrolladores utilizan Eclipse, si bien hay otras ofertas disponibles de código abierto. Finalmente puedes descargar Lucene de la página del proyecto. Elige la versión principal del programa.
Con todo, no es necesario que instales Lucene, basta con abrir el archivo descargado en la ubicación deseada. A continuación, crea un nuevo proyecto en Eclipse o en otro entorno de desarrollo y añade Lucene como biblioteca. Para este ejemplo, utilizamos tres bibliotecas, todas ellas incluidas en el paquete de instalación:
Si estás utilizando una versión diferente o has modificado la estructura de los directorios, debes adaptar la información en consecuencia.
Si careces de los conocimientos básicos de Java y de programación en general, los siguientes pasos pueden resultarte difíciles. Sin embargo, si ya cuentas con experiencia en este lenguaje de programación, trabajar con Lucene es una buena forma de desarrollar tus habilidades.
El núcleo de un motor de búsqueda basado en Lucene es el índice. Sin un índice no se puede ofrecer una función de búsqueda. Es por eso que el primer paso es crear una clase en Java para la indexación.
Pero antes de construir el mecanismo de indexación real, creamos dos clases que pueden servir de ayuda con el resto, pues posteriormente tanto la clase de índice como la clase de búsqueda recurren a ellas.
package tutorial;
public class LuceneConstants {
public static final String CONTENTS = "contents";
public static final String FILE_NAME = "filename";
public static final String FILE_PATH = "filepath";
public static final int MAX_SEARCH = 10;
}Estos datos serán importantes más adelante cuando se trate de definir los campos con exactitud.
package tutorial;
import java.io.File;
import java.io.FileFilter;
public class TextFileFilter implements FileFilter {
@Override
public boolean accept(File pathname) {
return pathname.getName().toLowerCase().endsWith(".txt");
}
}Con ello se implementa un filtro que lee los documentos correctamente. Ya aquí se puede ver que este motor de búsqueda solo va a funcionar con los archivos txt. Este ejemplo ignorará el resto de formatos.
Para empezar con una clase, importa primero otras clases, que bien forman ya parte de la instalación de Java o están disponibles a través de la integración de bibliotecas externas.
Es ahora cuando puedes crear la clase real para la indexación.
package tutorial;
import java.io.File;
import java.io.FileFilter;
import java.io.FileReader;
import java.io.IOException;
import java.nio.file.Paths;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
public class Indexer {
private IndexWriter writer;
public Indexer(String indexDirectoryPath) throws IOException {
Directory indexDirectory =
FSDirectory.open(Paths.get(indexDirectoryPath));
StandardAnalyzer analyzer = new StandardAnalyzer();
IndexWriterConfig iwc = new IndexWriterConfig(analyzer);
writer = new IndexWriter(indexDirectory, iwc);
}
public void close() throws CorruptIndexException, IOException {
writer.close();
}
private Document getDocument(File file) throws IOException {
Document document = new Document();
TextField contentField = new TextField(LuceneConstants.CONTENTS, new FileReader(file));
TextField fileNameField = new TextField(LuceneConstants.FILE_NAME,
file.getName(),TextField.Store.YES);
TextField filePathField = new TextField(LuceneConstants.FILE_PATH,
file.getCanonicalPath(),TextField.Store.YES);
document.add(contentField);
document.add(fileNameField);
document.add(filePathField);
return document;
}
private void indexFile(File file) throws IOException {
System.out.println("Indexing "+file.getCanonicalPath());
Document document = getDocument(file);
writer.addDocument(document);
}
public int createIndex(String dataDirPath, FileFilter filter)
throws IOException {
File[] files = new File(dataDirPath).listFiles();
for (File file : files) {
if(!file.isDirectory()
&& !file.isHidden()
&& file.exists()
&& file.canRead()
&& filter.accept(file)
){
indexFile(file);
}
}
return writer.numDocs();
}
} En el transcurso del código se ejecutan varios pasos: el IndexWriterse configura con el StandardAnalyzer. Lucene ofrece diferentes clases para análisis, todas ellas se encuentran en la biblioteca correspondiente.
En la documentación de Apache Lucene puedes encontrar todas las clases que se incluyen en la descarga.
Además, el programa lee los archivos y establece los campos para la indexación. Al final del código, se crean los archivos de índice.
Claro está que el índice por sí solo no sirve de nada. Es por eso que también es necesario establecer una función de búsqueda.
package tutorial;
import java.io.IOException;
import java.nio.file.Paths;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
public class Searcher {
IndexSearcher indexSearcher;
QueryParser queryParser;
Query query;
public Searcher(String indexDirectoryPath)
throws IOException {
Directory indexDirectory =
FSDirectory.open(Paths.get(indexDirectoryPath));
IndexReader reader = DirectoryReader.open(indexDirectory);
indexSearcher = new IndexSearcher(reader);
queryParser = new QueryParser(LuceneConstants.CONTENTS,
new StandardAnalyzer());
}
public TopDocs search( String searchQuery)
throws IOException, ParseException {
query = queryParser.parse(searchQuery);
return indexSearcher.search(query, LuceneConstants.MAX_SEARCH);
}
public Document getDocument(ScoreDoc scoreDoc)
throws CorruptIndexException, IOException {
return indexSearcher.doc(scoreDoc.doc);
}
}En el código hay dos clases importadas por Lucene que cuentan con una importancia particular: IndexSearchery QueryParser. Mientras la primera realiza la búsqueda en el índice, QueryParser es responsable de transformar la consulta de búsqueda a un tipo de información que la máquina pueda entender.
Es ahora cuando dispones tanto de una clase para indexar como de otra clase para realizar búsquedas en el índice, pero todavía no puedes realizar una consulta específica con ninguna de ellas. Por esto motivo requieres una quinta clase.
package tutorial;
import java.io.IOException;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
public class LuceneTester {
String indexDir = "/home/Index/";
String dataDir = "/home/Data/";
Indexer indexer;
Searcher searcher;
public static void main(String[] args) {
LuceneTester tester;
try {
tester = new LuceneTester();
tester.createIndex();
tester.search("YourSearchTerm");
} catch (IOException e) {
e.printStackTrace();
} catch (ParseException e) {
e.printStackTrace();
}
}
private void createIndex() throws IOException {
indexer = new Indexer(indexDir);
int numIndexed;
long startTime = System.currentTimeMillis();
numIndexed = indexer.createIndex(dataDir, new TextFileFilter());
long endTime = System.currentTimeMillis();
indexer.close();
System.out.println(numIndexed+" File indexed, time taken: "
+(endTime-startTime)+" ms");
}
private void search(String searchQuery) throws IOException, ParseException {
searcher = new Searcher(indexDir);
long startTime = System.currentTimeMillis();
TopDocs hits = searcher.search(searchQuery);
long endTime = System.currentTimeMillis();
System.out.println(hits.totalHits +
" documents found. Time :" + (endTime - startTime));
for(ScoreDoc scoreDoc : hits.scoreDocs) {
Document doc = searcher.getDocument(scoreDoc);
System.out.println("File: "
+ doc.get(LuceneConstants.FILE_PATH));
}
}
}En estas clases finales has de adaptar al menos tres entradas, ya que aquí se especifican las rutas que llevan a los documentos originales y a los archivos de índice y se indica la palabra o palabras de búsqueda.
Dado que en los tres casos se trata de una cadena de caracteres (strings), las expresiones han de incluirse entre comillas. Para indicar las rutas se usan barras oblicuas normales en lugar de barras inversas, también en Windows.
Para testar el programa, copia algunos archivos de texto plano en el directorio establecido como dataDir. Tienes que asegurarte de que los archivos seleccionados tienen la extensión ".txt". A continuación inicia el programa: en Eclipse, por ejemplo, clica en el botón con la flecha verde en la barra de menú.
El código de programa presentado es solo una demo del funcionamiento de Lucene. Por ejemplo, en este programa falta una interfaz gráfica de usuario: has de introducir el término de búsqueda directamente en el código fuente y solo puedes obtener el resultado a través de la consola.
La mayoría de los motores de búsqueda, también los más conocidos de la web, no solo se limitan a la búsqueda de un solo término. Con determinados métodos es posible encadenar términos, buscar frases o excluir palabras concretas. Apache Lucene también ofrece estas posibilidades: Lucene Query Syntax permite buscar expresiones complejas, incluso en diferentes campos.
Lucene es una potente herramienta para configurar una función de búsqueda en la web, en archivos o en aplicaciones. Los seguidores de Lucene prefieren utilizar el programa para crear mediante indexación motores de búsqueda de gran velocidad, que además pueden adaptarse a sus necesidades. Al ser un proyecto de código abierto, Lucene no solo está disponible de forma gratuita, sino que también dispone de una gran comunidad que lo desarrolla sin pausa.
Puedes usarlo en Java, pero también en PHP, Python y otros lenguajes de programación. De ello se deduce una única desventaja: es necesario contar con conocimientos en programación. Es por eso que Apache Lucene no es apto para todos. Si solo necesitas una función de búsqueda para tu web, posiblemente prefieras optar por otras ofertas.
| Ventajas | Desventajas |
|---|---|
| Disponible para diferentes lenguajes de programación | Requiere conocimientos en programación |
| Código abierto | |
| Rápido y ligero | |
| Búsqueda clasificada | |
| Posibilidad de búsquedas complejas | |
| Muy flexible |
Hoy en día, Google es el buscador más popular en Occidente. Sin embargo, solo una parte de los usuarios saben que Google ofrece una amplia gama de comandos especializados que ayudan a ajustar la búsqueda para obtener los resultados deseados. Estos operadores son muy fáciles de usar y para ello basta con integrarlos en las búsquedas. Los operadores de Google también facilitan el acceso a...
La usabilidad de una página web depende, en gran medida, de la rapidez con que los usuarios encuentran la información más relevante o que más les interesa. Por ello, poder buscar en una web por medio de palabras clave forma parte de las funciones básicas que hay que ofrecer a los lectores. Te mostramos cómo integrar una barra de búsqueda en tu propio proyecto.
¿Te gustaría ejecutar procesos informáticos complejos con una gran cantidad de datos? Este es precisamente el campo de especialización del framework para big data Hadoop. Este software open source de Apache ofrece un marco basado en Java, con el cual se pueden ejecutar en paralelo diversas aplicaciones en clústeres de ordenadores. Sin embargo, sus virtudes no quedan aquí, puesto que su capacidad...
Para muchos clientes, la barra de búsqueda representa el inicio de una búsqueda en una tienda online, por lo que se constituye como una de las herramientas esenciales para buscar productos y comprarlos en la red, hecho bien conocido por los vendedores de Internet desde hace tiempo. No obstante, no todas las funciones de búsqueda son igual de útiles. Aún muchas webs de ventas incluyen funciones de...
¿Qué es exactamente Solr? En combinación con la biblioteca Java Lucene, con Solr se pueden construir potentes motores de búsqueda web. Conoce los conceptos básicos de este práctico software de código abierto de Apache y sus funciones, aprende con nuestro tutorial a configurar el servidor de búsqueda y descubre en qué casos Elasticsearch se posiciona como alternativa interesante a Solr.
Ofrece un servicio fiable y de alto rendimiento a tus clientes con un pack hosting de 1&1 IONOS.
