from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

emp = pd.read_csv("c:/data/emp3.csv")
emp

count, bin_dividers = np.histogram(emp.sal,bins=3)
print(count)
print(bin_dividers) # 경계값 리스트

bin_names = ['저소득','중간소득','고소득']
emp['sal_divide'] = pd.cut(x=emp.sal,bins=bin_dividers,labels=bin_names)
emp

pd.get_dummies(emp.deptno)

df = pd.read_csv("c:/data/studyfile/stock-data.csv")
print(df.info())
df.head()

df[['Date']] = pd.to_datetime(df.Date)
df.info()

df.Date.dt.year.tail()

df.Date.dt.month.head()

df.Date.dt.day.head()

df.set_index('Date',inplace=True)
df

df.index

df.index.year

df.index.month

df.index.day

from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

emp = pd.read_csv("c:/data/emp3.csv")
emp

emp.query('sal<=3000')
emp[emp.sal<=3000]

emp.query('job in ["SALESMAN"]')
emp[emp.job.isin(["SALESMAN"])]

emp.query('job not in ["SALESMAN"]')
emp[~emp.job.isin(['SALESMAN'])] # not in == ~

emp[['ename']] = emp['ename'].str.lower()
emp

emp[['ename']] = emp.ename.str.upper()
emp

# Series로 출력
emp['ename']

# DataFrame으로 출력
emp[['ename']]

new = [15, 7321, 'DEWY', 'MANAGER', np.NaN, '2020-07-16', 3000, np.nan, 50]

# index, columns는 반드시 리스트 형으로 넣어줘야함
# 참고 : https://freedata.tistory.com/53
new_df = pd.DataFrame(new,index=emp.columns,columns=['A']).T
new_df

# 데이터프레임을 데이터프레임에 넣으면 append나 concat이나 같은결과가 나온다.
emp.append(new_df,ignore_index=True)

pd.concat([emp,new_df],axis=0,ignore_index=False)

new2 = pd.Series([15, 7321, 'DEWY', 'MANAGER', np.NaN, '2020-07-16', 3000, np.nan, 50])

emp.append(new2,ignore_index=True)
pd.concat([emp,new_df],axis=1)

emp.groupby('job').sal.sum().reset_index()

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df

df.apply(lambda x: (x-x.min()) / (x.max() - x.min()))

emp2 = emp.append(new_df,ignore_index=True)
emp2

dept = pd.read_csv("c:/data/dept.csv")
dept

pd.merge(emp2,dept,on='deptno') # default : how = 'inner'

pd.merge(emp2,dept,on='deptno',how='left')

pd.merge(emp2,dept,on='deptno',how='right')

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                     'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two',
                     'one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
df2

stacked = df2.stack()
stacked

stacked.unstack()

from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

df = pd.DataFrame([['a','a','b','a','b'],[1,1,1,2,2],[1,1,2,2,2]],index=['c1','c2','c3']).T
df

# 데이터프레임 크기
print(df.shape)
print()

# 데이터프레임 정보
df.info()

df.set_index('c3') # == df.set_index(['c3'])

new_index = [0,1,2,3,4,5,6]
df.reindex(new_index)

# 값 채우기
df.reindex(new_index,fill_value='hello')

# 새롭게 인덱스 생성
df.reset_index()

new_index = [0,1,2,3,4,5,6]
df2 = df.reindex(new_index)
df2

# 결측치를 제외하고 함수 적용 (default)
print(df2.sum(axis=0,skipna=True))

# 결측치를 제외하지 않고 함수 적용
df2.sum(axis=0,skipna=False)

# 결측치(NaN) 확인 True: NaN / False : 결측치 x
df2.isna()
df2.isnull()

# 결측치(NaN) 채우기
df2.fillna(0)

# NaN 직전 행의 값으로 채우기
df2.fillna(method='ffill')

df3 = df2

# 행 추가
df3.loc[7] = [3,5,1]

# NaN 직후 행의 값으로 채우기
df3.fillna(method='bfill')

# 결측치(NaN) 제거
df2.dropna()

# 특정 위치 데이터 바꾸기
df2.iloc[[5],[0]] = 1
df2.loc[[6],['c1']] = 2

# NaN이 있는 column 삭제
df2.dropna(axis=1)

# column(axis=1)에 있는 데이터의 NaN 값이 3개 이상(thresh=3)이면 열 삭제
df2.dropna(axis=1,thresh=3)

# 중복된 데이터면 True, 아니면 False
print(df.duplicated())
print()

# 중복된 데이터 개수
print(df.duplicated().sum())
print()

# 중복된 데이터 처리
df4 = df.drop_duplicates()
df4

# 각 컬럼별 데이터 개수 확인
df.count()

# 각 컬럼의 고유값 개수
df.c1.value_counts()

# df.value_counts() 는 오류남

import seaborn as sns

tat = sns.load_dataset('titanic')
tat

# 합계
tat.age.sum()
tat['age'].sum()

# 평균
tat.age.mean()
tat['age'].mean()

# 중간값
tat.age.median()
tat['age'].median()

# 최빈값
tat.age.mode()
tat['age'].mode()

# 최소값
tat.age.min()
tat['age'].min()

# 최대값
tat.age.max()
tat['age'].max()

# 표준편차
tat.age.std()
tat['age'].std()

# 상관계수
tat.corr()

# 각 컬럼별 통계수치 확인
tat.mean()

# 값의 종류
tat.age.unique()

# 값의 종류의 개수
tat.age.nunique()

# 종류별 개수
tat.age.value_counts()

tat.pivot_table(index='sex',columns='class',aggfunc='size')

from IPython.core.display import display, HTML
display(HTML("<style>.container { width:90% !important;}</style>"))

import pandas as pd

# dictionary -> Series
dict_data = {'a':'hello','b':np.nan,'c':3}
sr = pd.Series(dict_data)
print(type(sr))
print(sr)

# list -> Series
sr2 = pd.Series(['2020-07-15',True,5.8])
print(type(sr2))
print(sr2)

# 인덱스, 데이터값 확인
print(sr.index,sr2.index)
print(sr.values,sr2.values)

# tuple -> Series
tuple_data = ('홍길동','남',50,False)
sr3 = pd.Series(tuple_data,index=['이름','성별','나이','결혼여부'])
print(sr3)
print()

print(sr3[0]) # == sr3['이름']
print()

print(sr3[[0,1]]) # == sr3[['이름','성별']]
print()

print(sr3[0:3]) # == sr3['이름':'나이']
print()

# print(sr3[[0:2]]) 오류남

student1 = pd.Series([np.nan,100,50],index=['국어','수학','영어'])
print(student1)
print()

student2 = pd.Series([20,80],index=['국어','수학'])
print(student2)
print()

# fill_value=0 덕에 비어있는 값들을 0으로 만들어줘서 연산이 가능함
st_add = student1.add(student2,fill_value=0)
st_sub = student1.sub(student2,fill_value=0)
st_mul = student1.mul(student2,fill_value=0)
st_div = student1.div(student2,fill_value=0)

# 비어있는 값들(NaN) 때문에 연산이 제대로 되지 않음
st_add2 = student1 + student2
st_sub2 = student1 - student2
st_mul2 = student1 * student2
st_div2 = student1 / student2

result = pd.DataFrame([st_add,st_add2,st_sub,st_sub2,st_mul,st_mul2,st_div,st_div2],
                      index=['+','+','-','-','*','*','/','/'])
result

dates = pd.date_range('20200705',periods=3)
print(dates)

dict_data = {'A':0,'B':1,'C':2,'D':3}

df = pd.DataFrame([[1,2,3,4],[2,3,4,5],[3,4,5,6]],index=dates,columns=dict_data.keys())
df

df2 = pd.DataFrame(np.arange(12).reshape(3,4),index=dates,columns=list('abcd'))
df2

df3 = pd.DataFrame({'A':1,
                    'B':pd.date_range('20200715',periods=4),
                    'C':pd.Series(3,index=list(range(4)),dtype='float'),
                    'D':pd.Categorical(['hi','my','name','is']),
                    'F':'dewy'})
df3

# DataFrame 컬럼 타입 보여줌
df3.dtypes

# DataFrame에 대한 통계 정보 보여줌
df.describe()

# 전치 .T는 속성이므로 괄호() 안씀 (오류남)
df.T

df

# 정렬
df.sort_index(axis=0,ascending=False)

df.sort_index(axis=1,ascending=False)

df.sort_values(by='A',ascending=False)

df.columns = ['가','나','다','라']
df.index = ['a','b','c']

df

# inplace = True를 해야 원본 데이터 바뀜
df.rename(columns={'가':'a','나':'b','다':'c','라':'d'},inplace=True)
df.rename(index={'a':'A','b':'B','c':'C'},inplace=True)

df