オンプレミスのサーバログをS3に収集する - 闘うITエンジニアの覚え書き

/collectlog2aws
　/awsbuild.sh
　/template.yml
　/src
　　/index.py
　　/collectlog2aws
　　　/__init__.py
　　　/genurl.py
　　　/log2csv.py

　
・・・　cloudformationデプロイ用シェル
・・・　cloudformationテンプレート
・・・　Lambdaソース格納用
・・・　Lambda本体(メインハンドラ)
・・・　一応パッケージ化しておく
・・・　パッケージの共通設定/共通処理など
・・・　署名付きURL生成処理
・・・　CSV変換処理

AWSTemplateFormatVersion: "2010-09-09"
Transform: AWS::Serverless-2016-10-31
Description: "Stack for generate pre signed url and analyze log when put to s3."
Parameters:
  # ログのPUTを許可するホスト(ローカルからのテスト用に一応パラメータオーバーライドできるようにしておく)
  ParamLogPutAllowHosts:
    Type: "String"
    Default: "xxx.xxx.xxx.xxx, xxx.xxx.xxx.xxx, xxx.xxx.xxx.xxx, xxx.xxx.xxx.xxx"

Resources:

  # ログのPUTを許可するホスト(パラメータストアに格納)
  LogPutAllowHosts:
    Type: "AWS::SSM::Parameter"
    Properties:
      Name: "LogPutAllowHosts"
      Type: "String"
      Value: !Ref ParamLogPutAllowHosts

  # サーバの生ログ格納用バケット名(パラメータストアに格納)
  ServerlogBucketName:
    Type: "AWS::SSM::Parameter"
    Properties:
      Name: "ServerlogBucketName"
      Type: "String"
      Value: !Sub 'serverlogs-${AWS::AccountId}'

  # 変換後のCSV格納用バケット名(パラメータストアに格納)
  AnalyzedlogBucketName:
    Type: "AWS::SSM::Parameter"
    Properties:
      Name: "AnalyzedlogBucketName"
      Type: "String"
      Value: !Sub 'analyzedlogs-${AWS::AccountId}'

  # ログファイルアップロード用の署名付きURL生成するLambda
  GenerateSignedUrlFunc:
    Type: "AWS::Serverless::Function"
    Properties:
      FunctionName: GenerateSignedUrl
      Description: "サーバログ用のs3バケットの署名付きURLを生成する"
      Handler: index.generate_url
      Runtime: python3.6
      CodeUri: ./src
      MemorySize: 128 
      Timeout: 60
      # 直接パラメータストアから取得する為、コメントアウト
      #Environment:
      #  Variables:
      #    ALLOW_HOSTS: !GetAtt LogPutAllowHosts.Value
      #    ANALYZED_LOG_BUCKET: !GetAtt AnalyzedlogBucketName.Value
      #    SERVER_LOG_BUCKET: !GetAtt ServerlogBucketName.Value
      Events:
        GenUrlApi:
          Type: Api 
          Properties:
            Path: /
            Method: get 
      Role: !GetAtt GenerateSignedUrlFuncRole.Arn

  # ログファイルアップロード用の署名付きURLを生成するLambda用のロール
  GenerateSignedUrlFuncRole:
    Type: "AWS::IAM::Role"
    Properties: 
      RoleName: GenerateSignedUrlFuncRole
      AssumeRolePolicyDocument:
        Version: "2012-10-17"
        Statement:
          - Effect: "Allow"
            Principal:
              Service: "lambda.amazonaws.com"
            Action: "sts:AssumeRole"
      Policies:
        - PolicyName: "GenerateSignedUrlPolicy"
          PolicyDocument:
            Version: "2012-10-17"
            Statement:
              - Effect: "Allow"
                Action:
                  - logs:CreateLogGroup
                  - logs:CreateLogStream
                  - logs:PutLogEvents
                  - ssm:GetParameters      # パラメータストアから値を取得する為の権限
                  - ssm:GetParameter       # パラメータストアから値を取得する為の権限
                  - s3:PutObject           # 生ログ格納用のs3バケットにログをputする為の権限を付与しておく
                Resource: "*"              # TODO: 対象のバケットを絞る(循環参照への対応が必要)

  # アップロードされた生ログを解析するLambda
  AnalyzeLogFunc:
    Type: "AWS::Serverless::Function"
    Properties:
      FunctionName: AnalyzeLog
      Description: "アップロードされたログをフォーマット 及び 解析する"
      Runtime: python3.6
      Handler: index.analyze_log
      CodeUri: ./src
      MemorySize: 128
      Timeout: 60
      # 直接パラメータストアから取得する為、コメントアウト
      #Environment:
      #  Variables:
      #    ALLOW_HOSTS: !GetAtt LogPutAllowHosts.Value
      #    ANALYZED_LOG_BUCKET: !GetAtt AnalyzedlogBucketName.Value
      #    SERVER_LOG_BUCKET: !GetAtt ServerlogBucketName.Value
      Role: !GetAtt AnalyzeLogFuncRole.Arn

  # アップロードされた生ログを解析するLambda用のロール
  AnalyzeLogFuncRole:
    Type: "AWS::IAM::Role"
    Properties:
      RoleName: AnalyzeLogFuncRole
      AssumeRolePolicyDocument:
        Version: "2012-10-17"
        Statement:
          - Effect: "Allow"
            Principal:
              Service: "lambda.amazonaws.com"
            Action: "sts:AssumeRole"
      Policies:
        - PolicyName: "AnalyzeLogFuncPolicy"
          PolicyDocument:
            Version: "2012-10-17"
            Statement:
              - Effect: "Allow"
                Action:
                  - logs:CreateLogGroup
                  - logs:CreateLogStream
                  - logs:PutLogEvents
                  - ssm:GetParameters      # パラメータストアから値を取得する為の権限
                  - ssm:GetParameter       # パラメータストアから値を取得する為の権限
                  - s3:GetObject           # 生ログ格納用のs3バケットからログをgetする為の権限を付与しておく
                  - s3:PutObject           # 解析済ログ格納用のs3バケットにログをputする為の権限を付与しておく
                Resource: "*"              # TODO: 対象のバケットを絞る(循環参照への対応が必要)

  # サーバログ解析用Lambdaへのアクセス許可
  AnalyzeLogFuncPermission:
    Type: "AWS::Lambda::Permission"
    Properties:
      Action: "lambda:InvokeFunction"
      FunctionName: !GetAtt AnalyzeLogFunc.Arn
      Principal: "s3.amazonaws.com"
      SourceArn: !Join
                  - ""
                  - - "arn:aws:s3:::"
                    - !GetAtt ServerlogBucketName.Value

  # サーバ生ログ格納用バケット
  ServerlogBucket:
    Type: AWS::S3::Bucket
    #DeletionPolicy: Retain    # スタック削除時にバケットを削除しない
    DependsOn:
      - AnalyzeLogFuncPermission
    Properties:
      BucketName: !GetAtt ServerlogBucketName.Value
      # 生ログがputされた時に自動的にログ解析用Lambdaを実行する
      NotificationConfiguration:
        LambdaConfigurations:
          - Event: "s3:ObjectCreated:Put"
            Function: !GetAtt AnalyzeLogFunc.Arn
            Filter:
              S3Key:
                Rules:
                  - Name: suffix
                    Value: log

  # 解析済みログ格納用バケット
  AnalyzedlogBucket:
    Type: AWS::S3::Bucket
    #DeletionPolicy: Retain    # スタック削除時にバケットを削除しない
    Properties:
      BucketName: !GetAtt AnalyzedlogBucketName.Value

Outputs:
  # 署名付きURL生成用のAPIエンドポイントをエクスポートしておく
  GenerateSignedUrl:
    Value: !Sub "https://${ServerlessRestApi}.execute-api.${AWS::Region}.amazonaws.com/Prod/"
    Export:
      Name: GenerateSignedUrl

#!/bin/bash

CURRENT_DIR=`dirname $0`
MODE=$1

STAGE=dev
REGION=
FORCE=
while [ "$1" != "" ]; do
  if [ "$1" == "--region" ]; then
    shift
    REGION=$1
  fi
  if [ "$1" == "--env" ]; then
    shift
    STAGE=$1
  fi
  if [ "$1" == "--force" ]; then
    FORCE=y
  fi
  shift
done

# テンプレートファイル
TEMPLATE=template.yml

# スタック名 ( gitプロジェクトの場合はgitリポジトリ名、それ以外の場合はフォルダ名をスタック名とする )
cd $CURRENT_DIR
STACK_NAME=`basename \`pwd\``
if [ -e ".git" ]; then
    STACK_NAME=`cat .git/config | grep url | head -1 | awk -F"/" '{print $NF}'`
fi
STACK_NAME=`echo $STACK_NAME | sed 's/_/-/g' | sed 's/Repo$/Stack/'`
STACK_NAME=${STACK_NAME}-${STAGE}

# アカウントIDの取得
ACCOUNT_ID=`aws sts get-caller-identity | grep Account | awk '{print $2}' | sed -e "s/[^0-9]//g"`

# リージョン指定
if [ "${REGION}" == "" ]; then
  REGION=`aws configure list | grep "region" | awk '{print $2}'`
fi
REGION_PARAM="--region ${REGION}"

# スタック作成時のイベント確認
if [ "${MODE}" == "events" ]; then
    echo "Display events of Stack: ${STACK_NAME}"
    echo `date "+%Y-%m-%d %H:%M:%S"`" - START"
    aws cloudformation describe-stack-events --region $REGION --stack-name $STACK_NAME
    echo `date "+%Y-%m-%d %H:%M:%S"`" - END"
    exit 0
fi

# 削除
if [ "${MODE}" == "delete" ]; then
    if [ "$FORCE" != "y" ] && [ "$STAGE" == "prod" ]; then
      echo ""
      read -p "Delete Stack in production environment? (y/n): " yn
      if [ "$yn" != "y" ]; then
        echo "\nDelete Stack Canceled."
        echo ""
        exit 0
      fi
    fi
    echo "Delete Stack: ${STACK_NAME}"
    echo `date "+%Y-%m-%d %H:%M:%S"`" - START"
    aws cloudformation delete-stack --region $REGION --stack-name $STACK_NAME
    aws cloudformation wait stack-delete-complete --region $REGION --stack-name $STACK_NAME
    echo `date "+%Y-%m-%d %H:%M:%S"`" - END"
    exit 0
fi

# 登録/更新
if [ "${MODE}" == "deploy" ]; then
    if [ "$FORCE" != "y" ] && [ "$STAGE" == "prod" ]; then
      echo ""
      read -p "Create/Update Stack in production environment? (y/n): " yn
      if [ "$yn" != "y" ]; then
        echo "Create/Update Stack Canceled."
        echo ""
        exit 0
      fi
    fi
    echo "Create/Update Stack: ${STACK_NAME}"
    echo `date "+%Y-%m-%d %H:%M:%S"`" - START"

    # S3バケットがない場合は作る(バケット名は世界で唯一である必要がある為、末尾にアカウントID等を付与しておく)
    #BUCKET_NAME=stack-${STACK_NAME}-${ACCOUNT_ID}
    BUCKET_NAME=cf-templates-${REGION}-${ACCOUNT_ID}
    BUCKET_COUNT=`aws s3api list-buckets --region $REGION | grep -e "\"${BUCKET_NAME}\"" | wc -l | awk '{print $1}'`
    if [ "${BUCKET_COUNT}" == "0" ]; then
        echo Create s3 bucket: ${BUCKET_NAME}
        if [ "${REGION}" == "us-east-1" ]; then
          # es-east-1 の場合は LocationConstraint の指定なしで作成
          aws s3api create-bucket --region $REGION --bucket $BUCKET_NAME
        else
          aws s3api create-bucket --region $REGION --create-bucket-configuration "{\"LocationConstraint\": \"${REGION}\"}" --bucket $BUCKET_NAME
        fi
    fi  

    # 検証＆パッケージング＆デプロイ(成功時は作成したAPIのURIを表示する)
    #aws cloudformation validate-template --template-body file://${TEMPLATE} \
    aws cloudformation package --region $REGION --template-file $TEMPLATE --s3-bucket $BUCKET_NAME --output-template-file packaged-template.yml \
      && aws cloudformation deploy --region $REGION --template-file packaged-template.yml --stack-name $STACK_NAME --parameter-overrides StageName="$STAGE" --capabilities CAPABILITY_IAM CAPABILITY_NAMED_IAM CAPABILITY_AUTO_EXPAND \
      && echo "" \
      && echo "### Exported Value ###" \
      && aws cloudformation describe-stacks --region $REGION --stack-name $STACK_NAME \
           | awk 'BEGIN{key=""}{ if ($1 == "\"OutputKey\":") key=$2; if ($1 == "\"OutputValue\":") print key" : "$2 }' \
           | sed 's/[",]//g' \
      && echo "######################/" \
      && echo ""
    echo `date "+%Y-%m-%d %H:%M:%S"`" - END"
    exit 0
fi

echo "Usage)"
echo ""
echo "  ${0} (deploy|delete|events) [--region regionName] [--env envName] [--force]"
echo ""
echo "Example)"
echo ""
echo "  # create or update stack named '${STACK_NAME}'"
echo "  ${0} deploy --env prod"
echo "  ${0} deploy --env prod --region us-east-1"
echo ""
echo "  # delete stack named '${STACK_NAME}'"
echo "  ${0} delete --env prod"
echo "  ${0} delete --env prod --region us-east-1"
echo ""
echo "  # display events details of create or update or delete stack of '${STACK_NAME}'"
echo "  ${0} events --env prod"
echo "  ${0} events --env prod --region us-east-1"
echo ""
echo "Details)"
echo ""
echo "  StackName ... The stack name will be the git repository name or folder name"
echo ""

※ 関連 AWS CloudFormationメモ