Demostración de sistemas de recomendación basados en filtrado colaborativo para películas basadas en una base de usuarios que brindaron una calificación
Enviado por irvinlozano • 27 de Noviembre de 2022 • Tareas • 1.444 Palabras (6 Páginas) • 52 Visitas
Proyecto final sistema de recomendación
Irvin Eduardo Lozano Yañez
UANL
Abstract— Demostración de sistemas de recomendación basados en filtrado colaborativo para películas basadas en una base de usuarios que brindaron una calificación.
Keywords—Filtrado colaborativo, DVS, ciencia de datos, sistema de recomendación , peliculas
Introducción
Los sistemas de recomendación funcionan como un sistema inteligente el cual busca predecir la calificación o preferencia de los usuarios sobre una base de productos, existen diferentes tipos de algoritmos pero en general se puede decir que el principal objetivo es sugerir algún producto como lo son películas, libros, videos o productos que se pueden comprar en base de una lista con el historial de compra o reproducción de un usuario. Existen también algoritmos por reglas de asociación el cual tiene grandes aplicaciones en el comercio electrónico en el cual por medio de otras técnicas se utiliza para recomendar contenidos basados en el comportamiento de los usuarios.
Dos enfoques populares en el sistema de recomendación son:
Filtrado colaborativo : Este enfoque se basa en la premisa de que a las personas que les ha gustado un elemento en el pasado también les gustara lo mismo en el futuro, dicho enfoque construye un modelo basado en el comportamiento pasado de los usuarios, ese comportamiento del usuario puede incluir desde artículos comprados, calificaciones dadas o videos vistos anteriormente; por esta razón el modelo se usa para predecir el elemento o una calificación para el elemento el cual el usuario pudiera estar interesado, la descomposición del valor singular es usado como un filtrado colaborativo
Filtrado basado en contenido: Este enfoque se basa en que la descripción de un elemento y sus propiedades . Emplea una secuencia de características discretas y preetiquetadas . Este enfoque es muy adecuado cuando hay suficiente información de los artículos pero no de los usuarios.
El Big Data se utiliza cada vez más para generar información de calidad, actualizada y con un alto grado de utilidad. Pueden ser utilizados para analizar datos médicos, dar con bases de datos más grandes y más complejas o para entender mejor el comportamiento de los clientes. Por ejemplo, con esta herramienta se han conseguido resultados sorprendentes como ayudar a la conservación de especies de flora y fauna, la detección de fraudes fiscales o delitos , la reducción en el tiempo de entrega de los medicamentos y la identificación de enfermedades altamente peligrosas. Como dato interesante más de 33 zettabytes de datos flotaron en Internet, en servidores y en computadoras en solo un par de años .
TIPOS DE BIG DATA
Los grandes datos se clasifican de tres maneras:
- Datos estructurados
- Datos no estructurados
- Datos semiestructurados
Estos tres términos, si bien son técnicamente aplicables en todos los niveles de análisis, estos son primordiales en big data.
s an independent document. Please do not revise any of the current designations.
Planteamiento
Como problemática se busca realizar un sistema de recomendación por filtrado colaborativo, el objetivo es que dado una base de datos de calificaciones dadas por los usuarios se recomienden otras opciones.
De acuerdo a esta información se plantea el como obtener el top 10 de mejores recomendaciones en base a algún sistema de recomendación .
Descripción de los Datos: Se tiene como fuente base de datos utilizada grouplens, un laboratorio de desarrollo del departamento de ciencias computacionales de la Universidad de Minnesota el cual pone disponible su data set movielens que consiste en 1 millón de calificaciones de usuarios a películas. Divididas de la siguiente manera: 1 millón de calificaciones de 6000 usuarios a 4000 películas . ultima actualización 2003
SOLUCION PROPUESTA
Descomposición del valor singular: Se utilizara como técnica empleada, este consiste en un método de algebra lineal para reducir la dimensionalidad en problemas de aprendizaje automático.
La descomposición del valor singular ayuda a reducir los conjuntos de datos que contienen un gran número de valores, es decir se buscara reducir el espacio de N-dimensiones a K- dimensiones donde K<N
Se usara una estructura de matriz donde cada fila representara un usuario y cada columna representara una película y los elementos serán las calificaciones
[pic 1]
Para la descomposición del valor singular de una matriz se descompone en tres factores dos de ellos son matrices ortogonales. La razón es que las transformaciones ortogonales preservan normas y ángulos.
codigo
Por medio de una Jupyter notebook se procedió a importar las librerías a utilizar y posteriormente la importación de datos. Una vez cargados los datos se procede a la creación de una una matriz de calificaciones. Esta matriz esta compuesta por columnas de usuarios y filas de películas.
Para la normalización de los datos presentados se resto la matriz de medias y como se dijo antes se procedió a calcular la descomposición del valor singular el cual consiste en la descomposición en tres factores dos de ellos son matrices ortogonales.
...