import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rc("font",family="SimHei",size="12")  #解决中文无法显示的问题

#导入数据
listings=pd.read_csv(\'F:\\python\\天池_短租数据分析\\listings.csv\')

listings.info()
listings.head(5)
listings.shape
listings.describe()

#数据缺失计算
missing=listings.isnull().sum()
missing[missing>0].plot.bar()

#数据缺失比例计算
missing=listings.isnull().sum()/len(listings)
missing[missing>0].plot.bar()

#数据特征
numeric_features = listings.select_dtypes(include=[np.number])
numeric_features.columns
#类别特征
categorical_features = listings.select_dtypes(include=[np.object])
categorical_features.columns

for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, listings[cat_fea].nunique()))
    print(listings[cat_fea].value_counts())

#使用str.split，记住不要忘记.str，不然会出错
listings[\'neighbourhood\']=listings[\'neighbourhood\'].str.split(\'/\').str[0]

#按照neighbourhood和room_type分组，计算每个值的个数和price的均值
neigh_roomtype=listings.groupby([\'neighbourhood\',\'room_type\']).agg({\'id\':\'size\',\'price\':\'mean\'})
#将ID改为number
neigh_roomtype=neigh_roomtype.rename(columns={\'id\':\'number\'})
#先对number计算统计可视化等
number_n_r=neigh_roomtype.unstack()[\'number\']
number_n_r.plot(figsize=(12,5),title=\'图1：不同房屋类型在不同地区的数量\')

#条形图
number_n_r.plot.bar(figsize=(12,5),title=\'图1：不同房屋类型在不同地区的数量\')

#画饼图（sum（1）是按行求和）
number_n_r.sum(1).sort_values().plot.pie(figsize=(6,6),autopct=\'%.2f%%\',title=\'图2：房屋地区占比\')

#画饼图（按列求和）
number_n_r.sum(0).sort_values().plot.pie(figsize=(6,6),autopct=\'%.2f%%\',title=\'图3：房屋类型占比\')

#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()[\'price\']
price_r.plot.bar(figsize=(12,5),title=\'图1：不同房屋类型在不同地区的均价\')
#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()[\'price\']
price_r.plot(figsize=(12,5),title=\'图1：不同房屋类型在不同地区的均价\')

#计不同地区均价
listings.groupby(\'neighbourhood\')[\'price\'].mean().sort_values().plot.bar(figsize=(8,8),title=\'图4：不同地区房源均价\')

price_r.mean(1).sort_values().plot.bar(figsize=(6,6),title=\'图2：房屋地区占比\')

#不同房屋类型均价
listings.groupby(\'room_type\')[\'price\'].mean().sort_values().plot.bar(figsize=(8,8),title=\'图5：不同房屋类型均价\')

#不同房源地区和房子类型均价
n_r_data=listings.groupby([\'neighbourhood\',\'room_type\'])[\'price\'].mean()
plt.figure(figsize=(8,8))
plt.title(\'图6：不同房屋类型在不同地区的均价\')
sns.barplot(x=\'neighbourhood\',y=\'price\',hue=\'room_type\',data=n_r_data.reset_index())
#或者是这样子
#先对price计算统计可视化等
price_r=neigh_roomtype.unstack()[\'price\']
price_r.plot.bar(figsize=(12,5),title=\'图1：不同房屋类型在不同地区的均价\')

listings[[\'name\', \'host_name\']].head()

listings[\'last_review\'].head()

\'\'\'
Index([\'id\', \'host_id\', \'neighbourhood_group\', \'latitude\', \'longitude\',
       \'price\', \'minimum_nights\', \'number_of_reviews\', \'reviews_per_month\',
       \'calculated_host_listings_count\', \'availability_365\'],
      dtype=\'object\')
\'\'\'
for i in numeric_features.columns:
    print(i,listings[i].value_counts())

#可以先保留一下id ,然后再删除
id=listings[\'id\']
listings=listings.drop([\'id\', \'host_id\'],axis=1)

listings=listings.drop(\'neighbourhood_group\',axis=1)

sns.regplot(\'latitude\',\'price\',data=listings)
sns.regplot(\'longitude\',\'price\',data=listings)

sns.regplot(\'minimum_nights\',\'price\',data=listings)

sns.boxplot(\'minimum_nights\',data=listings)

#看的出来最小入住天数是1晚，还有30天这个值还挺多的有609个，应该是月租
listings[\'minimum_nights\'].value_counts().sort_index()

for i in [\'number_of_reviews\', 
       \'calculated_host_listings_count\', \'availability_365\']:
    sns.regplot(i,\'price\',data=listings)
    plt.show()

sns.boxplot(listings[\'price\'])
sns.distplot(listings[\'price\'])

sns.distplot(listings[listings[\'price\']<=10000][\'price\'])

listings[\'price\'].describe()

sns.distplot(listings[listings[\'price\']<=1000][\'price\'])

listings[\'price\'].value_counts().sort_index()
#0        3

sns.distplot(np.log(listings[\'price\']+1))
sns.distplot(np.log(listings[listings[\'price\']<=1000][\'price\']+1))

train=listings.copy()