# 导入
pd.read_csv("z:/data.csv", low_memory=True,encoding="utf-8",sep=",")#读取csv文件内容
pd.read_table(file_name)    #从限定分隔符的文本文件导入数据
pd.read_excel(file_name)    #从Excel文件导入数据
pd.read_sql(query, connection_object) #从SQL表/库导入数据
pd.read_json(json_string)   #从JSON格式的字符串导入数据
pd.read_html(url) 　　　　　　#解析URL、字符串或者HTML文件，抽取其中的tables表格
pd.DataFrame(dict)    　　　 #从字典对象导入数据，Key是列名，Value是数
# 导出
df.to_csv("z:/data_new.csv", index=False)    #不保存行索引，默认行列索引True
df.to_excel(filename) 　　　　　　　　　　　　　 #导出数据到Excel文件
df.to_sql(table_name, connection_object)     #导出数据到SQL表
df.to_json(filename)    　　　　　　　　　　　　 #以Json格式导出数据到文本文件

df.head(n)    # 前n行数据，默认5
df.tail(n)    # 后n行数据，默认5
df.shape()    # 形状
df.info()    # 显示索引、数据类型和内存信息
df.describe()    # 显示数值型列的汇总统计
df.columns.values    # 显示所有列名称(值)
df.columns.tolist()    # 显示所有列名称（列表形式）
# set_option
pd.set_option(\'display.max_columns\', None)    #显示所有列(不忽略)
pd.set_option(\'display.max_rows\', None)    #显示所有行（不忽略）
pd.set_option(\'chop_threshold\', 0.5)    # 绝对值小于0.5的显示0.0
pd.set_option(\'colheader_justify\', \'left\')#显示居中还是左边
pd.set_option(\'precision\', 5)    #显示小数点后的位数
pd.set_option(\'expand_frame_repr\', False)#True就是可以换行显示
pd.set_option(\'display.width\', 200) #横向最多显示多少个字符

pd.DataFrame(np.random.rand(200,10)) #创建200行10列的随机0-1之间的数组成的DataFrame对象
pd.Series(list)    #从可迭代Series对象

df.value_counts(sort=True))   #统计该字段的唯一内容数量
df.describe()                 #查看数据值列的汇总统计
df.mean()                     #所有列的均值
df.corr()                     #列与列之间的相关系数
df.count()                    #每一列中的非空值的个数
df.max()                      #每一列的最大值
df.min()                      #每一列的最小值
df.median()                   #每一列的中位数
df.std()                      #每一列的标准差

# 切分
df[col]             #根据列名，并以Series的形式返回列
df[[col1, col2]]    #以DataFrame形式返回多列
df.iloc[0,:]        #第一行
df.iloc[:,0]        #第一列
df.iloc[:,:100]     #前100列
df.iloc[0,0]        #第一列的第一个元素
# 合并
df1.append(df2)                 #将df2中的行添加到df1的尾部
pd.concat([df1, df2],axis=1)    #将df2中的列添加到df1的尾部

df[["year","month","day"]]        # 筛选年月日三个列
df.loc[df["year"] > 2014] 　　　　 # 筛选2014年后的数据

df_loan[\'int_rate\'].round(0).astype(int)

# 日期转换（Dec-2019==>2019-12）
df[\'year\'] = pd.to_datetime(df["date"]).dt.year
df[\'month\'] = pd.to_datetime(df["date"]).dt.month
df[\'day\'] = pd.to_datetime(df["date"]).dt.day

df.groupby(col)    #对指定列分组
df.groupby([col1,col2])    #多列进行分组
df.groupby(col1)[col2]    #对col1进行分组后，列col2进行均值
df.groupby(["issue_year", "issue_month"]).size()    # 
df.groupby(["issue_month", "issue_year"]).mean()
df.groupby([\'issue_year\', \'loan_condition\']).int_rate.mean()
df_loan.groupby("sub_grade")[\'int_rate\'].count().index
df.sort_values(col)    #按指定列排序数据，默认升序排序 ascending=False降序
df.sort_values([col1,col2], ascending=[True,False]) #先按列col1升序排列，后按col2降序排列数据
df.groupby(col1).agg(np.mean)    #按列coll分组的所有列的均值

# 修改列的名称
df.columns = [\'a\',\'b\',\'c\']
df = df.rename(columns={"A": "a", "B": "b"},inplace=True)
# 删除
df.drop(["total_bal_ex_mort", \'tot_coll_amt\', \'sub_grade\'], axis=1, inplace=True)  # 删除指定
df = df[~ df[\'issue_d\'].str.contains(\'issue_d\')]  # 删除指定内容的行
df = df.loc[df["issue_d"] != "issue_d"]    # 删除指定内容的行

# 查看那些列全空值
nan_mean = df.isna().mean()
nan_mean = nan_mean[nan_mean != 0].sort_values()
print(nan_mean)
# 查看缺省
check_null = df.isnull().sum().sort_values(ascending=False)/float(len(df))
print(check_null[check_null > 0.2]) # 查看缺省比例大于0.2
# 缺失值处理
print(pd.isnull(df))          # 缺失值True，其他False
print(np.any(pd.isnull(df)))  # 有缺失值True，没有False
print(np.all(pd.notnull(df))) # 没有缺失True,有False
print(pd.isnull(df).any())    # 每列是否有缺失
print(pd.notnull(df).all())   # 每列没有缺失
print(df.dropna())    # 删除所有的缺失值
print(df.fillna("NULL"))  # 替换NULL
# 替换
data_new = df.replace("?",value=np.nan)
print(data_new.dropna())
# 去重
df.drop_duplicates()