DARAM BLOG

• aws configure 설정은 기본으로 되어있다는 가정하에 시작

아래 코드를 받아서 실행해보기

LAUNCH_INFO=$(aws ec2 run-instances 
--image-id $IMAGE_ID
--count 1 
--instance-type $INSTANCE_TYPE \\
--key-name $AWS_KEY 
--subnet-id $SUBNET_ID 
--security-group-ids $SG_ID)

INSTANCE_ID=$(echo $LAUNCH_INFO | jq -r '. | .Instances[0].InstanceId')
INSTANCE_DNS=$(aws ec2 describe-instances --instance-ids $INSTANCE_ID | jq -r '. | .Reservations[0].Instances[0].PublicDnsName')

image id 

1. cli 명령어로 찾는 방법

aws ec2 describe-images --filters 'Name=description,Values=*Deep Learning Base AMI*' --query 'Images[*].[ImageId,Description]' --output table

2. 검색해서 찾기

https://aws.amazon.com/marketplace 여기서 검색해서 찾으면됨

( 찾는 방법은 https://brunch.co.kr/@topasvga/872 여기보면 자세히 나와있음)

** 주의할점 : region 마다 ami-12345 이름이 다르다고 한다.

us-west-2 의 이름을 다시한번 검색해보기

aws ec2 describe-images --image-ids ami-048d4939678169ad1 --region us-west-2

ㄴ 결과동일함

key-name

- 새로운 키를 만들어주고 시작

키페어 만들기

# aws ec2 create-key-pair --key-name ys-oregon
aws ec2 create-key-pair --key-name ys-oregon2 --query 'KeyMaterial' --output text > ys-oregon2.pem
chmod 400 ys-oregon2.pem

실행 과정에서 생긴 에러들

실행시 에러 발생)

An error occurred (OptInRequired) when calling the RunInstances operation: In order to use this AWS Marketplace product you need to accept terms and subscribe. To do so please visit https://aws.amazon.com/marketplace/pp?sku=2vxg2tallhcptfrs5iu2ml6dx

⇒ 다른 인스턴스로 변경하고나서 해결

( 아니면 마켓 플레이스에서 subscribe 하고 사용하면 됨)

실행시 에러 발생)

인스턴스 생성후 인스턴스 접속시에 문제발생

Warning: Identity file ys-oregon not accessible: No such file or directory.

경로에 한글이 들어있어서 그렇다고한다.

(x) 시도1 )

파일내에서 여기저기 위치를 변경해주어도 파일경로를 살펴보니 /Users/사용자/FIle/.. 이렇게 파일이름이 한글인것이 문제인듯하여 ⇒ 그냥 노트북을 한글 → 영어로 세팅 변경

(x) 시도2 ) 파일 이름을 변경해봄

• 주소/abc.pem
• 주소/abd
• abc
• abc.pem....

(x) 시도 3) chmod 400 ys-oregon.pem

chmod 400 ./ys-oregon.pem

chmod 400 /Users/heoyunseo/desktop/aws_pem/ys-oregon.pem

https://stackoverflow.com/questions/31469392/ec2-chmod-cannot-access-mypemfile-pem-no-such-file-or-directory

(x) 시도 4) aws ec2 create-key-pair --key-name ys-oregon2 --query 'KeyMaterial' --output text > ys-oregon2.pem 로 키페어 다시만들기

(0) 시도5) 인스턴스 생성할떄는 --key-name ys-oregon2 / 인스턴스에 접속할때는 ys-oregon2.pem 으로 접속

ㅠㅠㅠㅠ SSH 접속할때 ys-oregon2.pem 이 아니라 ys-oregon 으로 적용해줘서 에러가 났던것... 멍청....

실행시 에러 발생)

ssh: connect to host ec2-34-217-124-46.us-west-2.compute.amazonaws.com port 22: Operation timed out

⇒ 보안그룹의 인바운드규칙 에 모든 트래픽을 추가해주었더니 해결

INSTANCE_ID=$(echo $LAUNCH_INFO | jq -r '. | .Instances[0].InstanceId')
INSTANCE_DNS=$(aws ec2 describe-instances --instance-ids $INSTANCE_ID | jq -r '. | .Reservations[0].Instances[0].PublicDnsName')

이 부분에 대한 이해

• echo $LAUNCH_INFO 로 인스턴스 시작
• 실행한 결과를 jq 에 전달 ( 버티컬바는 왼쪽의 결과를 오른쪽에 넘겨준다는 의미)

$ echo '{"a": {"b": {"c": "d"}}}' | jq '.a | .b | .c'
"d"

• INSTANCE_ID 는 INSTANCE_DNS를 구하기위해 사용
• INSTANCE_DNS 는 ssh 연결을 위해 구해줌

참조 : https://brunch.co.kr/@topasvga/872

https://www.44bits.io/ko/post/cli_json_processor_jq_basic_syntax

<맥북기준> 현재 위치에 인스턴스내 모든 파일 저장

scp -i /Users/yyyooo/desktop/aws_pem/ys.pem -r ubuntu@18.206.202.171:/home/ubuntu/Hardware-Data/ .

- 18.206~ 이건 본인 인스턴스  퍼블릭 IPv4 주소 로 바꿔주면 되고, ec2 일경우 ubuntu 말고 아마 ec user? 로 바꿔주면 될것

- ys.pem 이건 본인 pem 키 위치 바꿔서 넣어주면된다. (yyyoo는 내 노트북내 내이름)

- /home/ubuntu/Hardware-Data/ .  => 이거는 왼쪽에 옮겨줄 ec2 내 파일위치 / 오른쪽 . 이건 내 현재 위치 말함

<윈도우 기준>

scp -i C:/Users/Owner/Desktop/ys2.pem -r ubuntu@54.226.138.113:/home/ubuntu/Hardware-Data/ .

#!/bin/bash = #!/bin/sh

ㄴ 스크립트파일 bash쉘로 실행. 기본적으로 bash 쉘로 되어있어서 굳이 안써도 상관은없는데 오류방지를 위해 쓰는것이 좋다.

EC2 CLI

run-instances
[--block-device-mappings <value>]
[--image-id <value>]
[--instance-type <value>]
[--ipv6-address-count <value>]
[--ipv6-addresses <value>]
[--kernel-id <value>]
[--key-name <value>]
[--monitoring <value>]
[--placement <value>]
[--ramdisk-id <value>]
[--security-group-ids <value>]
[--security-groups <value>]
[--subnet-id <value>]
[--user-data <value>]
[--additional-info <value>]
[--client-token <value>]
[--disable-api-termination | --enable-api-termination]
[--dry-run | --no-dry-run]
[--ebs-optimized | --no-ebs-optimized]
[--iam-instance-profile <value>]
[--instance-initiated-shutdown-behavior <value>]
[--network-interfaces <value>]
[--private-ip-address <value>]
[--elastic-gpu-specification <value>]
[--elastic-inference-accelerators <value>]
[--tag-specifications <value>]
[--launch-template <value>]
[--instance-market-options <value>]
[--credit-specification <value>]
[--cpu-options <value>]
[--capacity-reservation-specification <value>]
[--hibernation-options <value>]
[--license-specifications <value>]
[--metadata-options <value>]
[--enclave-options <value>]
[--count <value>]
[--secondary-private-ip-addresses <value>]
[--secondary-private-ip-address-count <value>]
[--associate-public-ip-address | --no-associate-public-ip-address]
[--cli-input-json <value>]
[--generate-cli-skeleton <value>]

describe-instances
[--filters <value>]
[--instance-ids <value>]
[--dry-run | --no-dry-run]
[--cli-input-json <value>]
[--starting-token <value>]
[--page-size <value>]
[--max-items <value>]
[--generate-cli-skeleton <value>]

LAUNCH_INFO=$(aws ec2 run-instances --image-id $IMAGE_ID --count 1 --instance-type $INSTANCE_TYPE \
--key-name $AWS_KEY --subnet-id $SUBNET_ID --security-group-ids $SG_ID)

[--count <value>]

시작할 인스턴스 수.(기본값은 1). 범위가 min:max 형식으로 제공되면 첫 번째 숫자는 시작할 최소 인스턴스 수로 해석되고 두 번째 숫자는 시작할 최대 인스턴스 수로 해석함.

[--image-id <value>]

AMI의 ID. AMI ID는 인스턴스를 시작하는 데 필요하며 시작할떄 지정해줘야함.

[--instance-type <value>]

인스턴스 타입 (ex:g4dn.xlarge)

[--key-name <value>]

키 쌍의 이름. (CreateKeyPair 또는 ImportKeyPair 를 사용하여 키 페어를 생성할 수 있다.)

[--subnet-id <value>]

[EC2-VPC] 인스턴스를 시작할 서브넷의 ID. 네트워크 인터페이스를 지정하는 경우 서브넷을 네트워크 인터페이스의 일부로 지정해야 함.

[--security-group-ids <value>]

보안 그룹의 ID. (CreateSecurityGroup을 사용하여 보안 그룹을 만들 수 있다.) 네트워크 인터페이스를 지정하는 경우 보안 그룹을 네트워크 인터페이스의 일부로 지정해야 한다.

**** echo**

확인용 https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-usage-returncodes.html

[--instance-ids <value>]

The instance IDs. (Default: Describes all your instances.)

JQ

• jq로 json 처리하기

ㄴ -query로 수행할 수 없는 고급 필터링의 경우 명령줄 JSON 프로세서인 jq를 고려할 수 있다.

$ cat sample.json
{"data":{"name":"myname","values": [{"id": "id0","url": "url0"},{"id": "id1","url": "url1"},{"id": "id2","url": "url2"}]}}
$ cat sample.json | jq .
{
  "data": {
    "name": "myname",
    "values": [
      {
        "id": "id0",
        "url": "url0"
      },
      {
        "id": "id1",
        "url": "url1"
      },
      {
        "id": "id2",
        "url": "url2"
      }
    ]
  }
}

. (점하나)

입력그대로 출력함

.foo (점다음에 key값)

점다음에 키값의 value를 출력한다.

.foo = .["foo"] = ."foo"

.[] (점뒤에 괄호)

결과 9 8

|(파이프)

두개 필터를 결합함.

ex) .a | . | .b = .a.b

.a.b.c = .a | .b | .c.

-raw-output / -r (ex: jq -r)

필터의 결과가 문자열이면 따옴표가 있는 JSON 문자열로 형식이 지정되지 않고 표준 출력에 직접 기록됨. non-JSON-based systems과 통신할때 사용.

사용예제 : https://gist.github.com/hummus/8592113

ㄴ여러줄일때는 맨뒤에 \ 붙이고 이어서 다음줄에 줄줄이 쓰면됨

입력그대로 출력함

EC2 describe~

• EC2 특징출력하기

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-usage-filter.html

$ aws ec2 describe-volumes

• EC2 인스턴스들 나열하고 정보확인하기

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/cli-services-ec2-instances.html

• https://stackoverflow.com/questions/22815080/get-public-dns-name-of-a-ec2-instance-using-ec2-command-line-tools-in-bash

aws ec2 describe-instances --instance-ids i-12abc34 --query 'Reservations[].Instances[].PublicDnsName'

ㄴ i-12abc34 라는 인스턴스아이디를 가진 인스턴스의 PublicDnsName

https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/gettingstarted-awscli.html

• - - payload

https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/invocation-sync.html

https://devpouch.tistory.com/122

https://taesun1114.tistory.com/entry/Shell-script-기본-문법-1echo와-변수

캡쳐말고 노션에서 보기 : https://www.notion.so/AWS-CLI-lambda-ac0856f4128d43fba4c7bbf8641c92ba

웹에서 input 데이터를 API Gateway 로 보내려고 AJAX를 사용했다.

아래 코드는 웹에서 클릭 버튼을 눌렀을때, input 데이터들을 api 로 전달해주고 + output 데이터들을 받아오는 Funtion 이다

index.js

function clickclick(){
    let form = $("#ajax-upload-form");
    let formData = new FormData(form[0]);

    formData.append('inputdata_one', $("#inputdata_one").val());
    formData.append('inputdata_two', $("#inputdata_two").val());
	//formData 에 전달해줄 INPUT 데이터값들을 추가로 붙여준다. 

    this.result = []
    $.ajax({
    type: "POST",
    url: 'https://vvvvvv.execute-api.us-east-1.amazonaws.com/pp/predict',  //api gateway URL
    header: {
        "Content-Type": "application/json",	//Content-Type 설정
        "X-HTTP-Method-Override": "POST",
        'Access-Control-Allow-Origin': '*',
        'Access-Control-Allow-Methods': 'POST',
        'Access-Control-Allow-Headers': '*',
        'Access-Control-Allow-Age': 3600
    },
    dataType: "json",
    data: formData,
    AccessControlAllowOrigin: '*',
    crossDomain: true,
    contentType: false,
    async: false,
    enctype: 'multipart/form-data',
    processData: false,

    success: function (data, status) { //람다에서 제대로 잘 돌아왔을때,
        let result = data['body'] //API 에서 건너온값 data 중 'body'부분만 솎아낸다
        result = result.replace("\"", ""); 
        result = result.split('&');  //result가 여러개라 &로 구분하였기 때문에 끊어줌
        
        console.log("data : ", data) //잘들어온건지 확인하고 싶어서
        console.log(result[0]) //잘나눠졌는지 확인하고 싶어서
    },
    error: function (e) {
        console.log("ERROR : ", e);
        $("#btnSubmit").prop("disabled", false);
        alert(e.message);
    }
    });
}

index.html 일부 (파일올리고 제출하는 부분)

                    <form method="POST" enctype="multipart/form-data" id="ajax-upload-form" name="upload-form">
                        <input type="file" name="upload-file" id="upload-file" onchange="loadFile(this)" required>
                        <input type="button" value="Submit" id='ajax-submit'>
                    </form>

이렇게 웹에서 input 데이터들을 api 를 통해서 람다에서 받아보면 아래처럼 data가 들어온다.

body = "------WebKitFormBoundaryWvqm9JrHYYK3TJSv\r\nContent-Disposition: form-data; name=\"upload-file\"; filename=\"sample.json\"\r\nContent-Type: application/json\r\n\r\n[{\"A\":1278.751,\"B\":7.168,\"C\":4025.032,\"D\":9.056,\"E\":56.962,\"F\":4646.806}]\r\n------WebKitFormBoundaryWvqm9JrHYYK3TJSv\r\nContent-Disposition: form-data; name=\"inputdata_one\"\r\n\r\nGGGGGGGG\r\n------WebKitFormBoundaryWvqm9JrHYYK3TJSv\r\nContent-Disposition: form-data; name=\"inputdata_two\"\r\n\r\n3333333\r\n------WebKitFormBoundaryWvqm9JrHYYK3TJSv--"

위는 data['body'] 부분이다.

인풋파일3개 (json 파일1개, 입력값2개) 가 잘 들어있는지 확인해보자면,

[{\"A\":1278.751,\"B\":7.168,\"C\":4025.032,\"D\":9.056,\"E\":56.962,\"F\":4646.806}] 이부분은 input 파일인 sample.json 안의 내용이다.

그외에 두가지 인풋이 더 있었는데 잘 살펴보면

inputdata_one : GGGGGGGG

inputdata_two : 3333333

로 들어가있음을 확인할수 있다.

해당 인풋파일 3개를 추출해내기 위해서 사용한 파싱방법

    json_feature = json.loads(body[body.find('['): body.rfind(']')+1]) 
    // json 파일안의 내용 뽑아내기
    
    body = body.replace('\n',"")
    body = body.replace('\r',"")
    body = body.replace('-',"")
	
    INPUTTWO = (body[body.find('inputdata_one')+14: body.rfind('WebKitFormBoundary')])
    body = (body[: body.rfind('WebKitFormBoundary')])
    INPUTONE = int(body[body.find('inputdata_one')+14: body.rfind('WebKitFormBoundary')])

1. EFS 사용

- 람다 저장소안에 패키지며 필요한 파일들 전부넣기보다 EFS를 활용하는 방법

- EFS안에 필요한 패키지들(파이썬,텐서플로우,넘피 등등) 세팅 + 필요한 파일들(트레이닝된 DL 모델) 등등 세팅해놓는다

- EFS 세팅은 EC2 인스턴스에서 EFS 마운트한다음에 해주면 된다 ( EC2 인스턴스 종료하고 다시켜면 또 마운트해서 연결해줘야한다. 인스턴스 종료안하고 계속 켜두면 계속 연결된 상태로 있다)

- 람다에서 프로비저닝해준다음 api 배포 해주면 끝

2.  ECR (Container) 사용

- 도커로 이미지를 만들어서 사용하는 방법이다.

- 필요한 패키지들은 requirements.txt에 지정,  필요한 파일들은 깃클론해서 복사(COPY로 옮겨준다) , app.py (람다에서 실행될 코드) 등등 세팅해준다음 이미지로 만들어준다

- ECR 에서 이미지로 만들고 배포

- 람다에서 새로 하나 만드는데 이미지로 만들기 선택하고, ECR 에서 배포한 이미지를 선택해주면 된다.

- EFS 에 비해 프로비저닝 비용이 들지 않는다

# python3.8 lambda base image
FROM public.ecr.aws/lambda/python:3.8

# copy requirements.txt to container
# 설치할 패키지들을 requirements.txt 에 기재
COPY requirements.txt ./   

# installing dependencies
RUN pip3 install --upgrade --ignore-installed pip setuptools
RUN pip3 install -r requirements.txt
RUN yum install git -y

# Copy function code to container
COPY feature_info.py ./   # host 에서 Container 로 file copy
COPY app.py ./            # host 에서 Container 로 file copy
RUN git clone https://github.com/ ~~~  # 사용할 파일들 불러오기

# setting the CMD to your handler file_name.function_name
CMD [ "app.lambda_handler" ]  # app.py 에서 handler 함수를 시작하도록 세팅

https://gallery.ecr.aws/

ㄴ람다 베이스 이미지는 여기서 불러와 서 사용할수 있다.

- 람다에서 기본적인 파일위치는 /tmp

- 작업 디렉토리 접근 경로 /var/task (Lambda Container 사용시)

작업 디렉터리(Working directory)에 함수에 대한 작업 디렉터리의 전체 경로를 입력합니다. 다음 예제에서는 Lambda의 AWS 기본 이미지에 대한 작업 디렉터리를 보여줍니다 (참조 https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/lambda-dg.pdf )

COPY app.js package.json /var/task/

ㄴ DOCKERFILE 에서 다음과 같이 파일들을 /var/task 로 옮겨야한다.

model_dnn = tf.keras.models.load_model(f"/var/task/model_dnn")
# 람다에서 모델을 불러올땐 이런식으로 모델을 불러와야한다

추가 참조 : https://alestic.com/2014/11/aws-lambda-environment/

- trained 모델은 pb 형태로 저장하고 불러와야 에러가 안남 

• adcanced details - user data 부분에 sh파일 넣어주면된다
• sh 파일안에 pip3 install -r requirements.txt 이걸 넣어주면 올인원에 끝내줄수있음
• 그러면 터미널에서 일일이 Pip3 ~~ 안깔아줘도 됨

https://arifulislam-ron.medium.com/flask-web-application-to-classify-image-using-vgg16-d9c46f29c4cd

ERROR : 크롬, 사파리에서 안열림, 네이버 웨일에서는 열림

# 시작코드

export FLASK_APP=main.py

flask run --host=0.0.0.0 --port=5000

새로운 사용자에 AdministratorAccess 권한을 준다음, keypair 다운로드 받은다음 열어서 확인하고, cmd에

aws configure

쳐서 4개 나오는거 keypair 내용 복붙해서 차례차례 입력해준다.

1. upload

위에를 실행한 cmd창에서 py upload.py 로 실행하면 로컬에있던 y.png파일이 지정해준 버킷으로 올라감.

#cmd창에서 실행해봄. youa.png로 실행해봄. 버킷에 올라감.

import boto3  #aws sdk 이다
s3 = boto3.client('s3') # s3에 대한 권한및 상태를 s3(변수)에 저장
filename = 'y.png'
bucket_name = 'bucket1'

# filename : 로컬에서 올릴 파일이름 /bucketname : S3 버킷 이름 / filename : 버킷에 저장될 파일 이름.
s3.upload_file(filename, bucket_name, filename)

#버킷에 이름이 똑같은 파일 올리면 그냥 덮어쓴다 수정시간이 바뀔뿐

2. downlaod

이건 download.py (버킷에있던게 로컬로 다운로드)

import boto3
s3 = boto3.client('s3')
filename = 'y.png'
bucket_name = 'bucket1'
#다운로드할 버킷이름 / 다운로드할것 / 다운로드받을이름
s3.download_file(bucket_name,filename,filename)

3. uplaod & download lamda

로컬 cmd창 말고 람다에서 실행

(버킷1에 있던걸 다운로드받아서 버킷2에 올려줌)

import boto3
from time import time

s3_client = boto3.client('s3')

def lambda_handler(event, context):
    input_bucket = event['input_bucket']
    object_key = event['object_key']
    output_bucket = event['output_bucket']

    path ='/tmp/'+object_key  #이거 아래 설명!!!!!!!!!!!!!!!!!!!!!!!!

    s3_client.download_file(input_bucket, object_key, path)
    s3_client.upload_file(path, output_bucket, object_key)

**** /tmp/에 로컬 파일위치를 넣어주니까 에러가 떴다.  /tmp/로 하면 잘 실행된다. 그런데 tmp파일은 도대체 로컬에 있는 파일인지 람다에 있는 파일인지 헷갈리고 찾아도 보이지도않는다 https://aws.amazon.com/ko/lambda/faqs/ 이링크에서 찾아본결과 람다안에있는 비영구 디스크공간이라고한다.

Q: AWS Lambda 함수를 위해 디스크에 스크래치 공간이 필요하면 어떻게 합니까?

각 Lambda 함수에는 자체 /tmp 디렉터리에 500MB의 비영구 디스크 공간이 제공됩니다.

테스트이벤트 json파일

{
  "input_bucket": "bucket1",
  "object_key": "y.png",
  "output_bucket": "bucket2"
}