- Fecha de publicación
- Marzo 2022
- Tecnology
- Artículo
Director del Programa Superior en Internet de las Cosas e Industria 4.0 y profesor de ESIC y CEO de Nektiu.
El nombre GPT-3 significa «transformador generativo preentrenado». Es un modelo de procesamiento del lenguaje de uso general, es decir, que no fue entrenado explícitamente para ningún tipo de tarea de procesamiento del lenguaje. Por lo tanto, los posibles casos de uso incluyen prácticamente cualquier caso de procesamiento del lenguaje natural.
Los modelos generativos son una rama de la modelización estadística. Hay dos tipos de modelos estadísticos: generativos y discriminativos. Los modelos generativos pueden generar nuevos datos. Los modelos discriminativos discriminan entre diferentes tipos de datos.
¿Te gustaría cursar nuestro Máster en Inteligencia Artificial [MIA]? Accede para más información.
¿Qué significa esto en la práctica? Un modelo generativo puede generar nuevas fotos de animales que se parecen a los animales reales, mientras que un modelo discriminativo puede diferenciar un perro de un gato. Para entrenar un modelo generativo, primero hay que recopilar un conjunto de datos, que es una colección de ejemplos que ayuda al modelo a aprender a realizar una tarea determinada.
Un modelo preentrenado es un modelo creado para resolver un problema concreto. En lugar de construir un modelo desde cero para resolver su problema, se utiliza el modelo entrenado en otro problema como punto de partida.
En el caso del GPT-3 está preentrenado en un corpus de texto de cinco conjuntos de datos: Common Crawl (petabytes de datos de páginas web recopilados durante ocho años), WebText2 (es un corpus interno de OpenAI creado mediante web scraping de alta calidad), Books1 & Books2 (colecciones de textos de decenas de miles de libros sobre diversos temas) y Wikipedia (incluye 6.358.805 artículos en inglés). Este corpus incluye en total casi mil millones de palabras, por lo que el GPT-3 puede realizar con éxito un número increíble de tareas de PLN sin necesidad de datos de ejemplo adicionales.
GPT-3 fue creado por OpenAI, una empresa pionera en la investigación de la IA con sede en San Francisco. Su misión es «garantizar que la inteligencia artificial general beneficie a toda la humanidad» y su visión de crear una inteligencia artificial general: un tipo de IA que no se limite a tareas especializadas en los seres, sino que realice una gran variedad de tareas, al igual que los humanos.
En junio de 2020, OpenAI anunció la creación de GPT-3, un corpus cien veces mayor que GPT-2, con 175B parámetros y 96 capas entrenadas en un corpus de 499B tokens de contenido web, lo que lo convierte en el mayor modelo lingüístico construido hasta la fecha, por lo que el GPT-3 puede hacer prácticamente de todo: escribir artículos, historias, guiones, recitar poemas, generar consejos, resumir documentos complejos o crear copias artísticas de anuncios.
Al GPT-3 solamente se puede acceder a través de una API, dando así a los creadores del modelo un mayor control sobre su uso. El uso típico de la API consiste en proporcionar un mensaje y un texto inicial para poner en marcha el modelo, junto con algunos ajustes opcionales de los parámetros.
Solo algunos (no en todos los casos) de los resultados producidos son realmente impresionantes por su verosimilitud y credibilidad como candidatos a ser textos de autoría humana. Aparte de la aplicación de la generación de texto, el GPT-3 tiene la capacidad para generar poesía, jugar al ajedrez, hacer aritmética y escribir código web sobre la base de requisitos expresados en lenguaje natural. Es realmente difícil no quedar impresionado.
La conclusión es que el GPT-3 tiene un potencial enorme, pero en lo que respecta a algunos casos de uso de aplicaciones clave no es tan deslumbrante. Esto no quiere decir que el GPT-3 carezca de aplicación práctica ni mucho menos, pero significa que algunos casos de uso son apropiados y otros no.
Al margen del revuelo que hay en torno al GPT-3, y aunque no está actualmente preparado para sustituir a los escritores, no podemos afirmar con total rotundidad que el GPT-5 o el GPT-100 no estén a la altura en el futuro.
Te recomendamos que no dejes de actualizarte en las últimas tendencias y adquieras los conocimientos adecuados. Te invito a que mires detenidamente el Máster en Inteligencia Artificial [MIA].
También te puede interesar
¿Qué es la Ley de Pareto o Regla del 80/20?
Si te interesa el mundo comercial, seguramente hayas oído hablar de la ley de Pareto, también conocida como el principio del 80/20. Se trata de un concepto ampliamente utilizado en diversos campos, ...
- Publicado por _ESIC Business & Marketing School
Intraemprendedor: definición, características y ejemplos
Es posible que alguna vez hayas oído el término intraemprendedor, un concepto que ha ido ganando relevancia en el mundo empresarial en los últimos años. Hoy profundizaremos en ello para que ...
- Publicado por _ESIC Business & Marketing School
Inteligencia artificial y derecho: ¿cómo se aplica? Ejemplos
No hay duda de que el 2024 va a estar marcado por la inteligencia artificial, que cada vez está irrumpiendo con más fuerza en nuestra vida. De hecho, según Grand View Research, se espera que el tam...
- Publicado por ESIC University