# 以下两种方式效果相同
df = df.func(inplace=False)
df.func(inplace=True)

# 显示所有列
pd.set_option('display.max_columns', None)
# 显示1000列
pd.set_option('max_columns',1000)
# 显示所有行
pd.set_option('display.max_rows', None)
# 显示1000行
pd.set_option('max_rows',1000)

df = pd.DataFrame()
df = pd.DataFrame(colums=['col_1', 'col_2'])

# Create from Array()/ Dictionary()
df = pd.DataFrame(np.array([[1,2], [3,4]]), colums=['col_1','col_2'], index=['a','b'])
df = pd.DataFrame({'col_1':[1,2],'col_2':[3,4]}, index=['a','b']) # 不填index则默认为下标，从0开始

sr1 = pd.Series([1], index=['a'])
sr2 = pd.Series([1,2], index=['a','b'])
df = pd.DataFrame({'col_1':sr1,'col_2':sr2})

df = sr.to_frame('col_1') # 相当于给序列加了个列标题，从而变成了表格

df = pd.read_csv('地址')

arr = df.values

df.to_csv('fileName.csv')

writer = pd.ExcelWriter('fileName.xlsx')
df1.to_excel(writer, "sheetName1")
df2.to_excel(writer, "sheetName2")
writer.save()

# 添加第三行: 只为特定位置添加一个元素
df.loc['a3', 'c2'] = 1

df.set_index('col1')
df.reset_index(inplace=True) # 重新改回默认的数字 Index

df.reset_index(inplace=True)

df.index = []   # 更改行名, 可以是 list or array
df.columns = [] # 更改列名

# 单独更改某个或某些行/列名
# df.rename({'old':'new'}, axis=(1 for cols, 0 for rows), inplace=True)
df.rename({'old1':'new1', 'old3':'new3'}, axis=1, inplace=True)

new_header = df.iloc[1] # 提取出第二行
df = df[2:]             # 去掉前两行
df.columns = new_header # 设置新的列名

df['col1'].map(str.lower)
df['col2'].map({'A':'Aa', 'B':'Bb'}) # 修改特定元素

df.replace(['A','B'], ['Aa','Bb'])

# 将第四列平方并以 Series 格式输出
df.apply(lambda row:row[3]**2, axis=1)

# 以 Series 格式输出是否已经成年的信息
df.apply(lambda row:0 if row['Age'] < 18 else 1, axis=1)

def func(row):
    out = {}
    out['col_x'] = row[1] + row[2]
    out['col_y'] = row[1] - row[2]
    return pd.Series(out, index=['col_x','col_y'])

df.apply(func, axis=1)

df.drop(columns=df.columns[0], inplace=True) # 删除第一列
df.drop(index=df.index[-1], inplace=True)    # 删除最后一行

pd.concat([df1, df2], axis=1) # 横向合并

df.head(i)  # 查看前 i 条数据
df.tail(i)

df.index.values   # 查看行名
df.columns.values # 列名
df.values         # 值数组
df.T              # 转置
df.shape          # (n, m) n行m列
df.size           # n*m 元素个数

# 查看各列的统计数据（count, mean, std, percentile...）
df.describe() 

df['columnName']    # 单列
    df.columnName
df[['col1','col2']] # 多列

df.loc['rowName',:]      # 单行
df.loc[['row1', 'row2']] # 多行
df.iloc[0:2]             # 前两行

# 如果行名是默认的 index
df[0:2]  # 前两行

df.loc['r1', 'c1'] # 单个元素

df.iloc[[0, 1]][['c1','c2']] # 访问指定位置的四个元素

for _, row in df.iterrows():
       row.col1 = 0

df.columns = df.columns.str.strip()

# 推荐方式
df.loc['rowName','columnName'] # 使用行列名索引
df.iloc[x,y]                   # 使用下标索引
df.loc[['r1','r3'], 'c2']      # 使用行列名切片
df.iloc[[0:5], [2:3]]          # 使用下标切片

# 不推荐
df['columnName']['rowName']
df.columnName['rowName']

df.sample()                     # 随机获取一行
    df.sample(frac=1, inplace=True) # 随机打乱整个 DataFrame

df.loc['rowName']['colName']
df.iloc[rowIndex]['colName']

df[['colName_1', 'colName_2']][:] # 如果去掉后边的 [:] 就会变成 view

df.isna()            # 检查每个数据是否为NaN
    df.isna().any()  # 检查每列是否包含NaN
    df.isna().mean() # 查看每列中NaN的比例
    df.isnull()      # 等于 isna()
    df.notnull()     # 取反 isnull()

df.fillna(0, inplace=True)            # 为所有NaN赋0
    df['col1'].fillna(method='ffill') # propagate last valid observation forward
    df['col1'].fillna(method='bfill') # use next valid observation to fill gap

df.dropna(inplace=True)               # 删去所有包含NaN的行
    df.dropna(how='all')              # 删去所有只包含NaN的行
    df.dropna(axis=1)                 # 删去所有包含NaN的列
    df.dropna(subset=['col1','col2']) # 删去所有指定列包含NaN的行

df.duplicated()                        # 查看是否存在完全重复的数据
df.duplicated(subset=['col1', 'col2']) # 查看是否存在指定列重复的数据

df.drop_duplicates(subset=['LON', 'LAT'], # 将查重范围限制在特定的列中
    keep='first', # 保留重复数据的第一个，可以换成 'last'
    inplace=True
)

df['col1'].plot()            # index-col1 折线图
df['col1'].plot(kind='bar')  # 柱状图

# 直方图（表示数据分布）
df['col1'].plot(kind='hist')
df.hist('col1')
df.hist('col1', by='col_category') # 对每个 category 单独画图


df.plot(x='col_x', y='col_y', kind='scatter') # col_x-col_y 散点图

# grouping = df.groupby(col_to_group_by)
grouping = products.groupby('Category')

for name, df in grouping:
    print(name, df.Price.mean())

"""
Drink 3.5
Snack 10
"""

grouping_mul = df.groupby(['col1', 'col2', ...])

grouping = products.groupby('Category')
grouping.indices # 获取各个组所包含的商品 Index

>>> {'Drink':array([0,2]), 'Snack':array([1])}

# 获取某个组所有商品的信息（不包含 `Category` 列）
grouping.get_group('Drink')

# 特定列统计值
grouping['Amount'].sum()

# 所有数值类型列的统计值（例如 Name 列就不会被返回）
grouping.sum() # mean() min() max()

# 为不同的列定义统计方式
grouping.agg({'Price':'mean', 'Amount':'sum'})

df.groupby(col_to_group_by).col_of_interest.apply(func)

# 返回数据: 以航线类型为 Index，以平均延误为 Value
flights.groupby('Airline')['Arrival_delay'].apply(np.mean)
flights.groupby('Airline').Arrival_delay.apply(np.mean)
flights.groupby('Airline').Arrival_delay.mean()

# 返回数据: 保持原表的 Index，以平均延误为 Value
flights.groupby('Airline')['Arrival_dealy'].transform(np.mean)

flights.groupby('Airline')['Arrival_delay'].apply(
    lambda ls: np.sum(ls>10)
)

flights.groupby(['Airline','Month'])['Arrival_delay'].apply(np.mean)

products.groupby('Category').mean().sort_values(
    by=['Price'], ascending=False
)

df.sort_values(by='col1') # 根据指定列做升序排列
df.sort_values(by='col1', ascending=False) # 降序
df.sort_index()           # 根据行名做升序排列

# 多列排序
df.sort_values(by=['col1','col2'], 
    ascending=[False,True]
)

season_order = ["Fall", "Winter", "Spring", "Summer"]
df["season"] = pd.Categorical(df["season"], season_order)
df.sort_values(by="season", inplace=True)

df[df['col1']<n]                    # 筛选出所有满足条件的行
df[(df['col1']<n) & (df['col2']>m)] # 多条件('|'表示或)

mask1 = df.Poplation > 1000000                       # 人口大于一百万的地区
mask2 = df.Region.apply(lambda x: x.startswith('A')) # 名字以 A 开头的地区

df[mask1]         # 人口大于一百万的地区的所属行
df[mask1 & mask2] # 人口大于一百万以及名字以 A 开头的地区的所属行
df[mask1 | mask2]

df = pd.merge(df1, df2, on=["col1", "col2"])

df = pd.merge(df1, df2, on=["col1"], how="outer")

# roll = df.rolling(window_length)
prodroll = products.rolling(2)

# df.rolling(window_length).col_of_interest.apply(func)
products.rolling(2).Price.apply(np.mean)

"""
0 NaN
1 7
2 6.5
3 2.5
"""

# 查看各列的统计数据（count, mean, std, percentile...）
df.describe() 

df.mean()           # 各列平均
    df.mean(axis=1) # 各行平均
df.sum()            # 各列求和。此外: std() max() min() median()
df.corr()           # 各列之间的 correlation

df.pct_change()

"""
  Price
0 10
1 15
2 30
3 33

>>>
  Price
0 NaN
1 0.5
2 1
3 0.1
"""

dummies = pd.get_dummies(students["Gender"])
students_new = pd.concat([students, dummies], aixs=1)

dummies = pd.get_dummies(students["Gender"], drop_first=True)

df['datetime'] = pd.to_datetime(df['Date'])

# 由数组创建，默认标签为数组下标
pd.Series([2, 4, 6])
# 由数组创建，并设置标签
pd.Series([2, 4, 6], index=['a', 'b' 'c']) 
# 由字典创建
pd.Series({'a':2, 'b':4, 'c':6})
# 创建一个全部值为零的Series
pd.Series(0, index=['a', 'b' 'c'])

sr.index
sr.values

sr1 = pd.Series([1,2], index=['a','b'])
sr2 = pd.Series([1,2], index=['b','a'])
sr3 = pd.Series([1], index=['b'])

# 运算时会按照标签进行数据对齐
sr1 + sr2 
>>>
a    3
b    3

# 缺失值相加会默认设置为NaN
sr1 + sr3
>>>
a    NaN
b    3

# 但可以通过.add()设置为0
sr1.add(sr3, fill_value=0)
>>>
a    1
b    3

sr.shift(1) # 向右平移一个单位

# 删除
sr = sr[sr.notnull()] # 布尔值过滤
sr = sr.dropna()


sr = sr.fillna(sr.mean()) # 替换为平均值

pd.cut()

sr.value_counts() # 统计每个数值出现的次数
sr.quantile(p)    # 百分位：p从0至1

sr.mad()          # Mean Absolute Deviation
sr.var()          # 方差
sr.std()          # 标准差
sr1.cov(sr2)      # 协方差

sr.cumsum()       # 逐个累加 [1,3,2] >>> [1,4,6]
sr.cummax()       # 累计最大值 [1,3,2,4] >>> [1,3,3,4]
sr.cumprod()      # 累乘（累积）

# Line Chart(横坐标为 Index)
sr.plot()

# Bar Chart: 显示每个元素出现的次数
sr.value_counts().plot(kind='bar')

# pd.cut(numerical_series, edge_numbers_to_split_by, labels_for_groups)
pd.cut(sr, [-1, 50, 100], [1,2]) # 分成两组 1:[-1,50) 2:[50,100)

# 将数据表的一列字符串格式的时间转换为 datetime
df['date'] = pd.to_datetime(df['date'])
# 将字符串格式的时间批量转换为 datetime
pd.to_datetime(['2011-01-11', '2021/FEB/22'])

# 生成一个包含了，从1月11到1月22之间，共12天日期的数组
pd.date_range('2011-01-11', '2011-01-22')
# 从1月11开始往后，共20天的日期
pd.date_range('2011-01-11', peirods=20)

# 从1月11日0点开始往后，共20小时的时间
pd.date_range('2011-01-11', periods=20， freq='H')
# 从1月11往后的第一个周二开始，共20个周二的日期
pd.date_range('2011-01-11', periods=20， freq='W-TUE')

sr = pd.Series(np.arange(11), pd.date_range('2011-01-22', period=11))

# 切片
sr['2011-01'] # 切片，包含所有索引为2011年1月的数据
sr['2011']    # ...索引为2011年...
sr['2011-01-11':'2012-02']

# 统计
sr.resample('W').sum()  # 将每周的数据求和
sr.resample('M').mean() # 求每月数据的均值
sr.resample('M').first()# 第一条记录
sr.resample('M').last() # 最后一条