EC2 에서 DSTAT실행후 CSV로 저장+ pandas로 불러와 읽기

sudo apt install dstat

# csv파일로 save
sudo dstat --output ~/Hardware-Data/dstat-log.csv -cdnpmrt

# download
scp -i /Users/heoyunseo/desktop/aws_pem/ys.pem -r ubuntu@50.17.89.10:/home/ubuntu/Hardware-Data/ .

• 저장된 파일을 열어보면 다음과같이 보임.

  

여기서 에러발생 →일반적인 방법으로 csv파일을 열려고 하면 pandas가 못읽어들임

참조 : https://stackoverflow.com/questions/40560614/how-to-import-the-output-of-dstat-into-pandas

이래 처럼 읽어오면 정상적으로 읽어진다.

 

import pandas as pd
import io

fn = r'./dstat-log.csv'
with open(fn) as f:
data = f.read().replace('|', '  ')
data = data[data.rfind('system"\\n')+8:]
data = data.replace(',', ' ')
data

cols = 'totalcpuusage_usr totalcpuusage_sys totalcpuusage_idl totalcpuusage_wai totalcpuusage_stl ' \\
'dsktotal_read dsktotal_writ ' \\
'nettotal_recv nettotal_send procs_run procs_blk procs_new ' \\
'memoryusage_used memoryusage_free memoryusage_buff memoryusage_cach ' \\
'iototal_read iototal_writ '  \\
'system_time'.split()

df = pd.read_csv(io.StringIO(data), delim_whitespace=True, skiprows=2, header=None, names=cols)
df

이렇게 열면 정상적으로 보인다~