使用MATLAB數據分析工具鏈進行實戰: 看電影真的是男女有別

github.com

OK, 正式開始了.

"README"文件對數據進行了描述, 其中概述為:

"These files contain 1,000,209 anonymous ratings of approximately 3,900 movies

made by 6,040 MovieLens users who joined MovieLens in 2000."

其中, 裡面提到了三個樣本量, 可以用來判斷數據是否被正確的讀入.

數據分成了三個文件"users.dat", "ratings.dat", "movies.dat".

分別是觀眾相關的數據, 打分相關的數據, 電影相關的數據.

很顯然, "打分"連接了"觀眾"與"電影", 沒有"打分", "觀眾"與"電影"是不相干的.

認識到這一點很重要, 因為分別讀入了這三個數據, 需要將這三者合併起來.

如何合併? 這就需要對"數據集之間的聯繫"有正確的認識.

先給live script的截圖, 方便讀者直接看到運行結果

再給轉化為普通script的程序, 方便讀者在自己電腦上運行.

數據下載完後, 應該可以直接運行了, 使用R2017b以上的版本.

%% 觀眾對電影打分的數據分析% "README"文件對數據進行了描述, 其中概述為:% % "These files contain 1,000,209 anonymous ratings of approximately 3,900 % movies % % made by 6,040 MovieLens users who joined MovieLens in 2000."% % 其中, 裡面提到了三個樣本量, 可以用來判斷數據是否被正確的讀入.% % 數據分成了三個文件"users.dat", "ratings.dat", "movies.dat".% % 分別是觀眾相關的數據, 打分相關的數據, 電影相關的數據.% % 很顯然, "打分"連接了"觀眾"與"電影", 沒有"打分", "觀眾"與"電影"是不相干的.% % 認識到這一點很重要, 因為分別讀入了這三個數據, 需要將這三者合併起來.% % 如何合併? 這就需要對"數據集之間的聯繫"有正確的認識.%% 讀入觀眾數據%%unames = {user_id, gender, age, occupation, zip};users = readtable(users.dat, Delimiter, {::});users = rmmissing(users);users.Properties.VariableNames = unames;users.gender = categorical(users.gender);users.occupation = categorical(users.occupation);height(users)%% % 觀眾數量與"README"一致head(users, 5)%% 讀入打分數據%%rnames = {user_id, movie_id, rating, timestamp};ratings = readtable(ratings.dat, Delimiter, {::});ratings = rmmissing(ratings);ratings.Properties.VariableNames = rnames;height(ratings)%% % 打分數量與"README"一致head(ratings, 5)%% 讀入電影數據%%mnames = {movie_id, title, genres};movies = readtable(movies.dat, Delimiter, {::});movies = rmmissing(movies);movies.Properties.VariableNames = mnames;height(movies)%% % 電影數量與"README"一致head(movies, 5)%% key變數% 很顯然, "user_id"和"movie_id"的可以作為合併數據集的key變數.% % 這些id, 相當於身份證, 姓名, 電影名有可能出現重名, 但是身份證是獨一無二的.% % 不放心的話, 可以編程確認一下%%assert(length(unique(users.user_id)) == length(users.user_id))assert(length(unique(movies.movie_id)) == length(movies.movie_id))%% % 沒有報錯的話, 就是獨一無二, 沒有重複的.%% 合併三個數據集%%data = join(join(ratings, users), movies);height(data)%% % 與打分數據的樣本個數相同head(data, 5)%% 每部電影的平均打分(按照觀眾性別分組計算)%%mean_ratings = groupsummary(data, {title, gender}, mean, rating);% 去除那個計數列(第3列)mean_ratings = mean_ratings(:, [1, 2, 4]);mean_ratings = unstack(mean_ratings, mean_rating, gender)%% 過濾掉冷門電影% 上面生成的平均分是有缺陷的, 比如有些電影的總共打分數據過少了, 那麼平均分的參考性不足% % 因此, 我們需要將那些冷門電影(打分數據個數少於250的電影)過濾掉.%%num_rating = groupsummary(data, title)mean_ratings = mean_ratings(num_rating.GroupCount >= 250, %% % 從原先的3706部電影, 過濾到1216部電影了.%% 最受女性觀眾歡迎的10部電影有哪些?%%[~, idx] = maxk(mean_ratings.F, 10);top_female_ratings = mean_ratings(idx, %% 最受男性觀眾歡迎的10部電影有哪些?%%[~, idx] = maxk(mean_ratings.M, 10);top_male_ratings = mean_ratings(idx, %% % 很明顯, 男女觀眾的口味是有差別的.%% 那麼問題就來了: 哪些電影男女分歧最大呢?%%% 新增一列, 女性觀眾與男性觀眾平均打分的差值, 作為分歧變數% 正的, 表示更受女性歡迎, 負的, 表示更受男性歡迎.mean_ratings.diff = mean_ratings.F - mean_ratings.M;[~, idx] = maxk(mean_ratings.diff, 15);mean_ratings(idx, %% % 該表格為分歧最大的15部電影(更受女性歡迎)[~, idx] = mink(mean_ratings.diff, 15);mean_ratings(idx, %% % 該表格為分歧最大的15部電影(更受男性歡迎)

最後給個maxk使用方法的鏈接: