บทความโดย ผศ.ดร.ณัฐโชติ พรหมฤทธิ์
ภาควิชาคอมพิวเตอร์
คณะวิทยาศาสตร์
มหาวิทยาลัยศิลปากร

Collaborative Filtering เป็นเทคนิคหนึ่งที่ใช้ในการทำ Recommendation โดยอาศัยข้อมูลความพึงพอใจของ User ที่มีต่อ Item ต่างๆ อย่างเช่น การให้คะแนนความชอบในหนังสือแต่ละเล่ม การ Comment ภาพยนตร์แต่ละเรื่อง หรือการกด Like เพลงแต่ละเพลง เพื่อหาค่าความคล้ายคลึงของ User  (Similar Users) โดยระบบจะแนะนำ Item (หนังสือ ภาพยนตร์ หรือเพลง ฯลฯ) แบบที่ User คนหนึ่งชื่นชอบ แก่ User อีกคนที่มีความคล้ายคลึงกัน

อย่างไรก็ตาม สิ่งสำคัญประการหนึ่งที่จะทำให้การทำ Recommendation ด้วยเทคนิค Collaborative Filtering ประสบความสำเร็จ คือ จะต้องมีจำนวน User ที่มีปฏิสัมพัน (Rating, Comment, กด Like ฯลฯ) กับ Item ต่างๆ ที่มากพอ

ในบทความนี้ผู้เขียนจะยกตัวอย่างการทำ Book Recommendation โดยใช้ข้อมูลการให้คะแนนหนังสือจาก Book-Crossing Dataset ซึ่งมีการแยกเก็บข้อมูล User, Book และ Book Ratings เป็นไฟล์ *.csv ทั้งหมด 3 ไฟล์ และใช้ Autoencoder Model เพื่อเรียนรู้ และทำนายคะแนนความชื่นชอบในหนังสือแต่ละเล่ม เพื่อจะแนะนำหนังสือที่มีคะแนนสูงสุด 10 อันดับให้แก่ User แต่ละคน

Data Preparation

Filter Data with Threshold

นอกจากจะต้องมีจำนวน User ที่มีการให้คะแนนหนังสือที่มากพอสำหรับการ Train Model แล้ว หนังสือแต่ละเล่มจะต้องมี User มา Review เป็นจำนวนหนึ่ง เพื่อให้ระบบสามารถแนะนำหนังสือได้ตรงกับความต้องการของ User มากที่สุด ซึ่งในการทดลอง เราจะกำหนดค่า Threshold เพื่อคัดกรองข้อมูลก่อนจะ Train Model ดังนี้

User แต่ละคนจะต้องมีการให้คะแนนหนังสือไม่น้อยกว่า 20 ครั้ง

หนังสือแต่ละเล่มจะต้องมี User มา Review ไม่น้อยกว่า 20 ครั้ง

หลักๆ ผู้เขียนจะใช้ภาษา SQL ร่วมกับ Pandas ในการ Query และ Tranform คะแนนการ Review หนังสือของ User แต่ละคนไปเป็น Matrix ขนาด M x N โดย M คือ จำนวน User และ N คือ จำนวนหนังสือ

โดยมีขั้นตอนในการเตรียมข้อมูล ดังนี้

1) ติดตั้ง Library ที่จำเป็น

import numpy as np
import pandas as pd

import tensorflow as tf

ModelCheckpoint = tf.keras.callbacks.ModelCheckpoint
load_model = tf.keras.models.load_model

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
import sqlite3

import plotly.express as px
import plotly
import plotly.graph_objs as go

import warnings
warnings.filterwarnings('ignore')

2) Read CSV File

อ่านข้อมูล Book Ratings, User และ Book จากไฟล์ *.csv โดยกำหนดการเข้ารหัสแบบ "latin-1" ซึ่งคะแนนของ User จะมีค่าในช่วงตั้งแต่ 0 จนถึง 10

rating = pd.read_csv('BX-Book-Ratings.csv', sep=';', encoding="latin-1")

print(rating.shape)
rating.head()

(1149780, 3)

user = pd.read_csv('BX-Users.csv', sep=';', encoding="latin-1")

print(user.shape)
user.head()

(278858, 3)

book = pd.read_csv('BX-Books.csv', sep=';', error_bad_lines=False, encoding="latin-1")

print(book.shape)
book.head()

(271360, 8)

3) Connect SQLite Database Engine เพื่อสร้าง Table ใหม่

Connect และสร้าง SQLite Database ขึ้นมาใหม่ โดยบันทึกข้อมูลลงในไฟล์ "book_rec.db"

connect = sqlite3.connect('book_rec.db')

4) สร้าง Table book, user และ rating ใน SQLite Database ด้วยการ Import ข้อมูลจาก Dataframe

book.to_sql("book", connect, if_exists='fail')
user.to_sql("user", connect, if_exists='fail')
rating.to_sql("rating", connect, if_exists='fail')

5) ติดตั้ง และ Load ipython-sql Library เพื่อจัดการ SQLite Database ด้วย Magic Command

ติดตั้ง ipython-sql ด้วยคำสั่ง pip install

pip install ipython-sql

Load ipython-sql

%load_ext sql

6) Connect SQLite Database Engine เพื่อจัดการกับ Database ด้วย Magic Command

%sql sqlite:///book_rec.db

7) Check ข้อมูลใน Table rating, book และ user

%sql SELECT * FROM rating LIMIT 5

* sqlite:///book_rec.db
Done.

%sql SELECT * FROM book LIMIT 5

* sqlite:///book_rec.db
Done.

%sql SELECT * FROM user LIMIT 5

* sqlite:///book_rec.db
Done.

8) Merge Table rating กับ Table book

rating เป็น Table ที่จะนำข้อมูลไปแปลงเป็น Matrix เพื่อ Train Model โดยเราต้องการสร้าง Book Title เป็นอีกหนึ่ง Attribute ของ Table rating_book นอกเหนือจาก Attribute จาก Table rating ดังนั้นจึงต้องมีการ Joint Table rating กับ Table book ด้วย Attribute ISBN แบบ INNER JOIN ซึ่งเราไม่ต้องการให้ Attribute Book Title ใหม่ มีค่าเป็น Null เพราะไม่มีหมายเลข ISBN ใน Table book

%%sql
CREATE TABLE rating_book AS SELECT rating."User-ID" AS UserID , rating.ISBN, rating."Book-Rating" AS BookRating, book."Book-Title" AS BookTitle
FROM rating 
INNER JOIN book
ON rating.ISBN = book.ISBN

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table rating_book

%%sql
SELECT * FROM rating_book LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table rating_book จะมีจำนวน Record ทั้งหมด 1,031,136 Record

%%sql
SELECT count(*) FROM rating_book

* sqlite:///book_rec.db
Done.

9) นับจำนวนครั้งที่หนังสือแต่ละเล่มถูกให้คะแนน

เพื่อจะคัดกรองเฉพาะหนังสือที่มี User มา Review ไม่น้อยกว่า 20 ครั้ง เราจึงต้องนับจำนวนครั้งที่หนังสือแต่ละเล่มจะถูก Review ด้วยคำสั่ง GROUP BY โดยจะบันทึกข้อมูลการนับลงใน Table rating_count

%%sql
CREATE TABLE rating_count AS SELECT "BookTitle", count(*) as RatingCountBook FROM rating_book GROUP BY "BookTitle"

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table rating_count

%%sql
SELECT * from rating_count limit 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table rating_count จะมีจำนวน Record ทั้งหมด 241,071 Record

%%sql
SELECT count(*) FROM rating_count

* sqlite:///book_rec.db
Done.

10) คัดกรองหนังสือที่มี User มา Review ไม่น้อยกว่า 20 ครั้ง และบันทึกข้อมูลลงใน Table rating_count_filter

rating_coun_threshold = 20

%%sql
CREATE TABLE rating_count_filter AS SELECT * FROM rating_count WHERE RatingCountBook >= :rating_coun_threshold

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table rating_count_filter

%%sql
SELECT * FROM rating_count_filter LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table rating_count_filter จะมีจำนวน Record ทั้งหมด 7,608 Record

%%sql
SELECT count(*) FROM rating_count_filter

* sqlite:///book_rec.db
Done.

11) เลือกข้อมูลการ Review ของ User ในตาราง rating_book เฉพาะหนังสือที่มี User มา Review ไม่น้อยกว่า 20 ครั้ง และบันทึกข้อมูลลงใน Table user_rating และเพิ่ม RattingCountBook ของหนังสือเป็น Attribute หนึ่งใน Table user_rating ด้วย

%%sql
CREATE TABLE user_rating AS SELECT rating_book.UserID, rating_book.ISBN, rating_book.BookRating, rating_book.BookTitle, rating_count_filter.RatingCountBook
FROM rating_count_filter 
LEFT JOIN rating_book
ON rating_count_filter.BookTitle = rating_book.BookTitle

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table user_rating

%%sql
SELECT * FROM user_rating LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table user_rating จะมีจำนวน Record ทั้งหมด 442,253 Record

%%sql
SELECT count(*) FROM user_rating

* sqlite:///book_rec.db
Done.

12) นับจำนวนครั้งในการ Review หนังสือของ User ใน Table user_rating และบันทึกข้อมูลลงใน Table user_count

%%sql
CREATE TABLE user_count AS SELECT UserID, count(*) as RatingCountUser FROM user_rating GROUP BY UserID

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table user_count

%%sql
SELECT * FROM user_count LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table user_count จะมีจำนวน Record ทั้งหมด 60,046 Record

%%sql
SELECT count(*) FROM user_count

* sqlite:///book_rec.db
Done.

13) คัดกรอง User ที่ Review หนังสือ ไม่น้อยกว่า 20 ครั้ง และบันทึกข้อมูลลงใน Table user_count_filter

user_count_filter_threshold = 20

%%sql
CREATE TABLE user_count_filter AS SELECT * FROM user_count WHERE RatingCountUser >= :user_count_filter_threshold

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table user_count_filter

%%sql
SELECT * FROM user_count_filter LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table user_count_filter จะมีจำนวน Record ทั้งหมด 3,426 Record

%%sql
SELECT count(*) FROM user_count_filter

* sqlite:///book_rec.db
Done.

14) เลือกข้อมูลการ Review ของ User ในตาราง user_rating เฉพาะของ User ที่ Review หนังสือ ไม่น้อยกว่า 20 ครั้ง และบันทึกข้อมูลลงใน Table combined และเพิ่ม Table user_rating เป็น Attribute หนึ่งใน Table combined ด้วย

%%sql
CREATE TABLE combined AS SELECT user_rating.BookTitle, user_rating.RatingCountBook, user_rating.UserID, user_rating.ISBN, user_rating.BookRating, user_count_filter.RatingCountUser
FROM user_rating
INNER JOIN user_count_filter
ON user_rating.UserID = user_count_filter.UserID

* sqlite:///book_rec.db
Done.
[]

Check ข้อมูลใน Table combined

%%sql
SELECT * FROM combined LIMIT 5

* sqlite:///book_rec.db
Done.

ซึ่งพบว่า Table combined จะมีจำนวน Record ทั้งหมด 293,796 Record

%%sql
SELECT count(*) FROM combined

* sqlite:///book_rec.db
Done.

เมื่อคัดกรองข้อมูลการ Review ของ User ตามค่า Threshold ที่กำหนด ซึ่ง User แต่ละคนจะต้องมีการให้คะแนนหนังสือไม่น้อยกว่า 20 ครั้ง และหนังสือแต่ละเล่มจะต้องมี User มา Review ไม่น้อยกว่า 20 ครั้ง พบว่าข้อมูลที่คัดกรองแล้วมาจากหนังสือทั้งหมด 7,602 เล่ม และการ Review ของ User ทั้งหมด 3,426 คน

%%sql
select count(distinct BookTitle) AS NumberOfUniqueBooks
FROM combined

* sqlite:///book_rec.db
Done.

%%sql
select count(distinct UserID) AS NumberOfUniqueUsers
FROM combined

* sqlite:///book_rec.db
Done.

Transform to Dataset

1) Export Table combined ไปยัง Dataframe

เพื่อจะสร้าง Matrix ของคะแนนการ Review หนังสือของ User สำหรับ Train Model เราจะ Export Table combined จาก SQLite Database ไปยัง Dataframe

combined = %sql SELECT * FROM combined

* sqlite:///book_rec.db
Done.

combined_df = pd.DataFrame(data = combined, columns = combined.field_names)

combined_df.head()

2) แปลงคะแนนจากเลขจำนวนเต็มเป็นเลขทศนิยม เพื่อจะทำ Normalization

combined_df['BookRating'] = combined_df['BookRating'].values.astype(float)

print(combined_df.shape)
combined_df.head()

(293796, 6)

3) Drop ข้อมูลที่มี UserID และ BookTitle ซ้ำกัน

combined_df = combined_df.drop_duplicates(['UserID', 'BookTitle'])

print(combined_df.shape)

(289865, 6)

4) เปลื่ยนโครงสร้างข้ออมูลแบบ Table เป็น Matrix ด้วยฟังก์ชัน pivot

user_book_matrix = combined_df.pivot(index='UserID', columns='BookTitle', values='BookRating')

print(user_book_matrix.shape)
user_book_matrix.head()

(3426, 7602)

5) แทนที่ NaN ด้วย 0

user_book_matrix.fillna(0, inplace=True)

user_book_matrix.head()

6) เก็บ UserID และ BookTitle ลง List

users = user_book_matrix.index.tolist()

users[0:10]

[243, 254, 487, 507, 638, 741, 805, 882, 929, 1131]

books = user_book_matrix.columns.tolist()

books[0:10]

7) แปลง Matrix ที่อยู่ในรูป Dataframe เป็น Numpy Array

user_book_matrix = user_book_matrix.to_numpy()

user_book_matrix.shape

(3426, 7602)

8) สุ่มแบ่งข้อมูลสำหรับการ Train 80% และสำหรับการ Validate 20%

x_train, x_val, y_train, y_val = train_test_split(user_book_matrix, user_book_matrix, test_size=0.2, random_state=1)

9) ทำ Normalization

t = MinMaxScaler()

t.fit(user_book_matrix)
x_train = t.transform(x_train)
x_val = t.transform(x_val)

print(x_train.min(), x_train.max())
print(x_val.min(), x_val.max())

0.0 1.0
0.0 1.0

คะแนนของ User จะมีค่าในช่วงตั้งแต่ 0.0 จนถึง 1.0

Autoencoder Model

Autoencoder เป็น Neural Network ที่มีโครงสร้างคล้ายรูปนาฬิกาทราย ซึ่งส่วนปลายทั้งสองข้างกว้าง แต่ตรงกลางของ Model แคบ ดังภาพด้านล่าง

จากภาพ ส่วนปลายด้านที่ติดกับ Input Layer คือ Encoder Function มีหน้าที่แปลง Input Data X เป็น Latent Vector Z ขณะที่ส่วนปลายอีกด้าน คือ Decoder Function ทำหน้าที่แปลง Latent Vector Z กลับเป็น Output Data X'

ซึ่งในระหว่างการ Train Autoencoder กับข้อมูลการให้คะแนนหนังสือของ User, Encoder จะเรียนรู้ที่จะสรุปย่อ Information (Latent Vector Z) จาก Input Data และ Decoder จะเรียนรู้ที่จะแปลง Latent Vector Z กลับเป็น Output Data ที่ปลายอีกด้านของ Model

เราจะใช้ Autoencoder รับข้อมูลการให้คะแนนหนังสือ 7,602 เล่ม ของ User แต่ละคน โดยใช้ Mean Squared Error เป็น Loss Function และใช้ Sigmoid Activate Function เพื่อแปลง Output Data ให้อยู่ในช่วง 0 - 1

นิยาม Model

1) นิยาม Encoder

num_input = len(books)

inp = tf.keras.layers.Input((num_input))
e = tf.keras.layers.Dense(10)(inp)
e = tf.keras.layers.BatchNormalization()(e)
e = tf.keras.layers.LeakyReLU()(e)

n_bottleneck = 5
bottleneck = tf.keras.layers.Dense(n_bottleneck)(e)

2) นิยาม Decoder

d = tf.keras.layers.Dense(10)(bottleneck)
d = tf.keras.layers.BatchNormalization()(d)
d = tf.keras.layers.LeakyReLU()(d)

decoded = tf.keras.layers.Dense(num_input, activation='sigmoid')(d)
                
ae = tf.keras.models.Model(inp, decoded)
ae.summary()

Compile Model

ae.compile(loss='mse', optimizer='adam')

ทำ Check Point เพื่อ Save Weight ของ Model เฉพาะใน Epoch ที่มี val_loss น้อยที่สุด

filename = 'model.h5'
checkpoint = ModelCheckpoint(filename, monitor='val_loss', verbose=1, save_best_only=True, mode='min')

Train Model

history = ae.fit(x_train, x_train, epochs=300, verbose=1, batch_size=32, validation_data=(x_val, x_val), callbacks = [checkpoint], shuffle= True)

Plot Loss

h1 = go.Scatter(y=history.history['loss'], 
                    mode="lines",
                    line=dict(
                        width=2,
                        color='blue'),
                        name="loss"
                   )
h2 = go.Scatter(y=history.history['val_loss'], 
                    mode="lines",
                    line=dict(
                        width=2,
                        color='red'),
                        name="val_loss"
                   )

data = [h1,h2]
layout1 = go.Layout(title='Loss',
                   xaxis=dict(title='epochs'),
                   yaxis=dict(title=''))
fig1 = go.Figure(data = data, layout=layout1)
plotly.offline.iplot(fig1)

Load Weight จาก Epoch ที่ val_loss ต่ำที่สุด

predict_model = load_model(filename) 
predict_model.summary()

Predict Model

print(user_book_matrix.shape)

preds = predict_model(user_book_matrix)

(3426, 7602)

แปลงผลการ Predict เป็น Table ลงใน SQLite Database

1) แปลงผลการ Predict ของ Model เป็น Dataframe

preds = preds.numpy()

pred_data = pd.DataFrame(preds)
pred_data.head()

2) แปลงผลลัพธ์จาก Matrix เป็น Table

pred_data = pred_data.stack().reset_index()
pred_data.head()

3) ตั้งชื่อ Column ใหม่

pred_data.columns = ['UserID', 'BookTitle', 'BookRating']

print(pred_data.shape)
pred_data.head()

(26044452, 3)

4) แปลงข้อมูล User Index เป็น UserID

pred_data['UserID'] = pred_data['UserID'].map(lambda value: users[value])

pred_data.head()

5) แปลงข้อมูล BookTitle Index เป็น BookTitle

pred_data['BookTitle'] = pred_data['BookTitle'].map(lambda value: books[value])

pred_data.head()

6) บันทึกข้อมูลลง SQLite Database

บันทึกข้อมูลจำนวนมากกว่า 26 ล้าน Record! ลงใน SQLite Database (ใช้เนื้อที่ของ HDD ประมาณ 2GB)

pred_data.to_sql("pred_data", connect, if_exists='fail')

Query Top 10 Book Rating

1) ค้นหาหนังสือให้แก่ UserID 243 โดยเรียงลำดับคะแนนความชอบตามที่ Model ทำนาย

%%sql
SELECT * 
FROM pred_data 
WHERE UserID=243
ORDER BY BookRating DESC
LIMIT 10

* sqlite:///book_rec.db
Done.

2) เปรียบเทียบกับหนังสือที่ UserID 243 เคยให้คะแนนมากที่สุด 10 อันดับ

%%sql
SELECT * 
FROM rating_book
WHERE UserID=243
ORDER BY BookRating DESC
LIMIT 10

* sqlite:///book_rec.db
Done.