from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

emp = pd.read_csv("c:/data/emp3.csv")
emp

emp.query('sal<=3000')
emp[emp.sal<=3000]

emp.query('job in ["SALESMAN"]')
emp[emp.job.isin(["SALESMAN"])]

emp.query('job not in ["SALESMAN"]')
emp[~emp.job.isin(['SALESMAN'])] # not in == ~

emp[['ename']] = emp['ename'].str.lower()
emp

emp[['ename']] = emp.ename.str.upper()
emp

# Series로 출력
emp['ename']

# DataFrame으로 출력
emp[['ename']]

new = [15, 7321, 'DEWY', 'MANAGER', np.NaN, '2020-07-16', 3000, np.nan, 50]

# index, columns는 반드시 리스트 형으로 넣어줘야함
# 참고 : https://freedata.tistory.com/53
new_df = pd.DataFrame(new,index=emp.columns,columns=['A']).T
new_df

# 데이터프레임을 데이터프레임에 넣으면 append나 concat이나 같은결과가 나온다.
emp.append(new_df,ignore_index=True)

pd.concat([emp,new_df],axis=0,ignore_index=False)

new2 = pd.Series([15, 7321, 'DEWY', 'MANAGER', np.NaN, '2020-07-16', 3000, np.nan, 50])

emp.append(new2,ignore_index=True)
pd.concat([emp,new_df],axis=1)

emp.groupby('job').sal.sum().reset_index()

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df

df.apply(lambda x: (x-x.min()) / (x.max() - x.min()))

emp2 = emp.append(new_df,ignore_index=True)
emp2

dept = pd.read_csv("c:/data/dept.csv")
dept

pd.merge(emp2,dept,on='deptno') # default : how = 'inner'

pd.merge(emp2,dept,on='deptno',how='left')

pd.merge(emp2,dept,on='deptno',how='right')

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                     'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two',
                     'one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2

stacked = df2.stack()
stacked

stacked.unstack()

from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

df = pd.DataFrame([['a','a','b','a','b'],[1,1,1,2,2],[1,1,2,2,2]],index=['c1','c2','c3']).T
df

# 데이터프레임 크기
print(df.shape)
print()

# 데이터프레임 정보
df.info()

df.set_index('c3') # == df.set_index(['c3'])

new_index = [0,1,2,3,4,5,6]
df.reindex(new_index)

# 값 채우기
df.reindex(new_index,fill_value='hello')

# 새롭게 인덱스 생성
df.reset_index()

new_index = [0,1,2,3,4,5,6]
df2 = df.reindex(new_index)
df2

# 결측치를 제외하고 함수 적용 (default)
print(df2.sum(axis=0,skipna=True))

# 결측치를 제외하지 않고 함수 적용
df2.sum(axis=0,skipna=False)

# 결측치(NaN) 확인 True: NaN / False : 결측치 x
df2.isna()
df2.isnull()

# 결측치(NaN) 채우기
df2.fillna(0)

# NaN 직전 행의 값으로 채우기
df2.fillna(method='ffill')

df3 = df2

# 행 추가
df3.loc[7] = [3,5,1]

# NaN 직후 행의 값으로 채우기
df3.fillna(method='bfill')

# 결측치(NaN) 제거
df2.dropna()

# 특정 위치 데이터 바꾸기
df2.iloc[[5],[0]] = 1
df2.loc[[6],['c1']] = 2

# NaN이 있는 column 삭제
df2.dropna(axis=1)

# column(axis=1)에 있는 데이터의 NaN 값이 3개 이상(thresh=3)이면 열 삭제
df2.dropna(axis=1,thresh=3)

# 중복된 데이터면 True, 아니면 False
print(df.duplicated())
print()

# 중복된 데이터 개수
print(df.duplicated().sum())
print()

# 중복된 데이터 처리
df4 = df.drop_duplicates()
df4

# 각 컬럼별 데이터 개수 확인
df.count()

# 각 컬럼의 고유값 개수
df.c1.value_counts()

# df.value_counts() 는 오류남

import seaborn as sns

tat = sns.load_dataset('titanic')
tat

# 합계
tat.age.sum()
tat['age'].sum()

# 평균
tat.age.mean()
tat['age'].mean()

# 중간값
tat.age.median()
tat['age'].median()

# 최빈값
tat.age.mode()
tat['age'].mode()

# 최소값
tat.age.min()
tat['age'].min()

# 최대값
tat.age.max()
tat['age'].max()

# 표준편차
tat.age.std()
tat['age'].std()

# 상관계수
tat.corr()

# 각 컬럼별 통계수치 확인
tat.mean()

# 값의 종류
tat.age.unique()

# 값의 종류의 개수
tat.age.nunique()

# 종류별 개수
tat.age.value_counts()

tat.pivot_table(index='sex',columns='class',aggfunc='size')

from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

# dictionary -> Series
dict_data = {'a':'hello','b':np.nan,'c':3}
sr = pd.Series(dict_data)
print(type(sr))
print(sr)

# list -> Series
sr2 = pd.Series(['2020-07-15',True,5.8])
print(type(sr2))
print(sr2)

# 인덱스, 데이터값 확인
print(sr.index,sr2.index)
print(sr.values,sr2.values)

# tuple -> Series
tuple_data = ('홍길동','남',50,False)
sr3 = pd.Series(tuple_data,index=['이름','성별','나이','결혼여부'])
print(sr3)
print()

print(sr3[0]) # == sr3['이름']
print()

print(sr3[[0,1]]) # == sr3[['이름','성별']]
print()

print(sr3[0:3]) # == sr3['이름':'나이']
print()

# print(sr3[[0:2]]) 오류남

student1 = pd.Series([np.nan,100,50],index=['국어','수학','영어'])
print(student1)
print()

student2 = pd.Series([20,80],index=['국어','수학'])
print(student2)
print()

# fill_value=0 덕에 비어있는 값들을 0으로 만들어줘서 연산이 가능함
st_add = student1.add(student2,fill_value=0)
st_sub = student1.sub(student2,fill_value=0)
st_mul = student1.mul(student2,fill_value=0)
st_div = student1.div(student2,fill_value=0)

# 비어있는 값들(NaN) 때문에 연산이 제대로 되지 않음
st_add2 = student1 + student2
st_sub2 = student1 - student2
st_mul2 = student1 * student2
st_div2 = student1 / student2

result = pd.DataFrame([st_add,st_add2,st_sub,st_sub2,st_mul,st_mul2,st_div,st_div2],
                      index=['+','+','-','-','*','*','/','/'])
result

dates = pd.date_range('20200705',periods=3)
print(dates)

dict_data = {'A':0,'B':1,'C':2,'D':3}

df = pd.DataFrame([[1,2,3,4],[2,3,4,5],[3,4,5,6]],index=dates,columns=dict_data.keys())
df

df2 = pd.DataFrame(np.arange(12).reshape(3,4),index=dates,columns=list('abcd'))
df2

df3 = pd.DataFrame({'A':1,
                    'B':pd.date_range('20200715',periods=4),
                    'C':pd.Series(3,index=list(range(4)),dtype='float'),
                    'D':pd.Categorical(['hi','my','name','is']),
                    'F':'dewy'})
df3

# DataFrame 컬럼 타입 보여줌
df3.dtypes

# DataFrame에 대한 통계 정보 보여줌
df.describe()

# 전치 .T는 속성이므로 괄호() 안씀 (오류남)
df.T

df

# 정렬
df.sort_index(axis=0,ascending=False)

df.sort_index(axis=1,ascending=False)

df.sort_values(by='A',ascending=False)

df.columns = ['가','나','다','라']
df.index = ['a','b','c']

df

# inplace = True를 해야 원본 데이터 바뀜
df.rename(columns={'가':'a','나':'b','다':'c','라':'d'},inplace=True)
df.rename(index={'a':'A','b':'B','c':'C'},inplace=True)

df

# axis=0 : 행 / axis=1 : 열
df.drop('A')

df.drop('a',axis=1)

df.drop(['b','d'],axis=1,inplace=True)
df

df4 = df
df4

df3

# 행(index)은 slice 사용 가능
df5 = df3[0:3]
df5

# 열(columns)은 컬럼명으로 해야함
df6 = df3[['A','C','F']]
df6

# 특정 열(컬럼) 선택
print(df3.F) # = df3['B']


# 특정 행(인덱스) 선택
df3[0:1] # 특정 행을 선택하기 위해서는 한개를 호출할지라도 반드시 범위로 표현해줘야함

df2.loc['2020-07-05':'2020-07-07','a':'c'] # == df2.loc[dates[0:3],'a':'c']

print(df3.loc[0,:])

df3.loc[[0,1,2],:]

df2.loc[:,['a','c']]

# 특정 값 하나만 추출하기 위해서는 .at을 써도 된다.
df2.loc['2020-07-05','a'] # == df2.at['2020-07-05','a']

print(df2.iloc[2]) # 인덱스 2번째 (2020-07-07) 데이터 추출
df2.iloc[0:3,2:4]

# 특정 열(컬럼)에 대해서 추출
df2.iloc[:,1:3]

# 특정 행(인덱스)에 대해서 추출
df2.iloc[0:2,:]

# 특정 위치에 대해서만 추출
df2.iloc[[0,2],[0,2]]

# 특정 값 하나만 추출하기 위해서는 .iat을 써도 된다.
df2.iloc[1,1] # == df2.iat[1,1]

# 열(컬럼) 추가
df['E']=10
df

# 행(인덱스) 추가
df.loc['K'] = 5
df

# 특정 값 바꾸기
df.iloc[0,0] = 100
df