AWS-EC2使用记录

aws ec2免费版使用笔记

---

AWS EC2设置时区

默认情况下，Amazon Linux 实例设置为 UTC (协调世界时) 时区，但是您可能想将实例上的时间更改为本地时间或网络中的其他时区。

重要：这些过程适用于 Amazon Linux。有关其他发布版本的更多信息，请参阅其具体文档。

更改实例上的时区

1、确定将在实例上使用的时区。/usr/share/zoneinfo 目录包含时区数据文件的层次结构。浏览该位置的目录结构，查找针对您的时区的文件。

[ec2-user ~]$ ls /usr/share/zoneinfo
Africa      Chile    GB         Indian       Mideast   posixrules  US
America     CST6CDT  GB-Eire    Iran         MST       PRC         UTC
Antarctica  Cuba     GMT        iso3166.tab  MST7MDT   PST8PDT     WET
Arctic      EET      GMT0       Israel       Navajo    right       W-SU
...

该位置的部分条目是目录 (如 America)，这些目录包含针对特定城市的时区文件。查找要用于实例的城市 (或时区中的一个城市)。
在此示例中，您可以使用上海的时区文件 /usr/share/zoneinfo/Asia/Shanghai

2、使用新时区更新 /etc/sysconfig/clock 文件。
（1）使用您常用的文本编辑器（如 vim 或 nano）打开 /etc/sysconfig/clock 文件。您需要在编辑器命令中使用 sudo，因为 /etc/sysconfig/clock 归 root 所有。
（2）查找 ZONE 条目，将其更改为时区文件 (忽略路径的 /usr/share/zoneinfo 部分)。例如，要更改为上海时区，请将 ZONE 条目更改为以下内容：

ZONE="Asia/Shanghai"

注意： 请勿将 UTC=true 条目更改为其他值。此条目用于硬件时钟；如果您在实例上设置了其他时区，则无需调整此条目。
（3）保存文件，退出文本编辑器。

3、在 /etc/localtime 与时区文件之间创建一个符号链接，以便实例在引用本地时间信息时找到此时区文件。

[ec2-user ~]$ sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

4、重启系统，以便所有服务和应用程序接受新时区信息。

[ec2-user ~]$ sudo reboot

在 Amazon Linux 上更改时区
https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/set-time.html

---

AWS EC2 型号及价格

型号	vCPU	ECU	内存 (GiB)	实例存储 (GB)	Linux/UNIX 使用量
c4.xlarge	4	16	7.5 GiB	仅限 EBS	每小时 0.199 USD
c4.2xlarge	8	31	15 GiB	仅限 EBS	每小时 0.398 USD
m4.xlarge	4	13	16 GiB	仅限 EBS	每小时 0.20 USD
m4.2xlarge	8	26	32 GiB	仅限 EBS	每小时 0.40 USD

底层微服务 prod 生产环境一般用 c4.2xlarge ，有些并发量小的用 c4.xlarge
部分后台服务 prod 生产环境使用 m4.xlarge
staging预生产环境一般使用 c4.xlarge ，部分底层服务例如user用户服务staging环境也用的 c4.2xlarge

Amazon EC2 定价
https://aws.amazon.com/cn/ec2/pricing/on-demand/

Amazon EC2 实例类型
https://aws.amazon.com/cn/ec2/instance-types/

---

实例配置

启动实例

启动免费ec2实例，我选择的是第一个 Amazon Linux 2 AMI (HVM), SSD Volume Type - ami-6cd6f714
启动后记下 实例 ID，公有 DNS (IPv4)，IPv4 公有 IP，以后连接时用。

Linux版本

Amazon Linux 2 AMI ，从/etc/os-release可以看到是类 RHEL/CentOS 发行版，Amazon Linux 2 是 CentOS 7.x

$ cat /etc/os-release
NAME="Amazon Linux"
VERSION="2"
ID="amzn"
ID_LIKE="centos rhel fedora"
VERSION_ID="2"
PRETTY_NAME="Amazon Linux 2"
ANSI_COLOR="0;33"
CPE_NAME="cpe:2.3:o:amazon:amazon_linux:2"
HOME_URL="https://amazonlinux.com/"

uname 信息如下：

uname -a
Linux ip-xx-xx-xx-xx.us-west-2.compute.internal 4.14.62-70.117.amzn2.x86_64 #1 SMP Fri Aug 10 20:14:53 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

密钥对

启动实例时，会让添加一个密钥对，可以直接让系统新生成，然后提示下载一个.pem文件，这个就是自己的私钥。
把私钥放到一个安全的目录，一般是 ~/.ssh/，然后将私钥的权限改小才能使用，

管理多个密钥对

如果想从多台机器登陆ec2，比如Windows和mac，需要生成多个密钥对。
在ec2控制台左侧选择“密钥对”->“创建密钥对”，输入名称就会创建一个密钥对，同时会下载.pem私钥文件。

但我使用新创建的密钥对在另外一台电脑上登录时，提示：
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

后来又试了 在本地 ssh-keygen生成密钥对，把公钥上传到 aws页面上，登录时还是提示这个错误。

最后只能把第一次生成的 .pem 私钥拷贝到另一台电脑上，登录成功了。
懂ssh原理的话就知道，其实只要把新电脑的公钥贴到~/.ssh/authorized_keys中即可

.pem私钥权限过大无法登陆

确保 .pem 文件具有权限 0400 而不是 0777。
否则登录时提示：
错误：未保护的私钥文件

在mac使用时，0644的权限都不行：

xxxxx  ~/.ssh  ssh aws
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/Users/xxx/.ssh/xxx.pem' are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.
Load key "/Users/xxxx/.ssh/xxxx.pem": bad permissions
ec2-user@ec2-xxxxxx.us-west-2.compute.amazonaws.com: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

必须保护您的私钥文件，防止其他任何用户对其进行读写操作。如果除您外其他任何人都能够读取或写入您的私钥，则 SSH 会忽略您的密钥
获取您在启动实例时指定的密钥对的 .pem 文件在您电脑上位置的完全限定路径。确保 .pem 文件具有权限 0400 而不是 0777。
chmod 0400 .ssh/my_private_key.pem 改小私钥文件的权限

用户名

对于 Amazon Linux 2 或 Amazon Linux AMI，用户名称是 ec2-user

ssh密钥登录

ssh -i myprivate.pem ec2-user@ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com

或者在~/.ssh/config中增加配置如下，以后直接使用ssh aws即可登录

Host aws
    HostName ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com
    IdentityFile ~/.ssh/myprivate.pem
    User ec2-user

使用 SSH 连接到 Linux 实例
https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/AccessingInstancesLinux.html

scp上传文件到服务器

scp -i ~/.ssh/myprivate.pem filename ec2-user@ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:~

---

ec2安全组(访问控制)

EC2防火墙默认阻断了除ssh 22端口外的所有入站流量
安全组主要是做访问控制的，比如ip白名单、黑名单、开发哪些端口等等。
可以编辑EC2的Scurity Groups安全组配置，根据自己需要开放入站端口

编辑aws ec2的安全组，开放tcp的80端口给nginx用，3306给mysql用，8080端口给Tomcat用，8001-8008端口预留给其他服务用。
一般来说，web服务都可以通过nginx进行转发，可以只暴露80端口，不过为了方便测试，也暴露了一些其他端口。

端口使用情况汇总：
80: nginx监听端口
3306: mysql连接端口
8001: springboot测试服务

ec2安全组配置

注意：
1、描述必须全部是英文字符，否则无法保存。
2、类型中已经预定义了好多常用协议，直接选择即可，如果没有合适的，选择 自定义TCP规则 可满足大多数情况。

---

软件安装

yum安装lrzsz

$ yum list lrzsz
已加载插件：extras_suggestions, langpacks, priorities, update-motd
24 packages excluded due to repository priority protections
可安装的软件包
lrzsz.x86_64    0.12.20-36.amzn2.0.2      amzn2-core

使用yum安装lrzsz：
sudo yum -y install lrzsz

---

yum安装java8

检索包含java的列表
yum list java*
可以看到在 aws的默认库 amzn2-core 中已有java

检索1.8的列表
yum list java-1.8*

安装1.8.0的所有文件（必须使用root用户）
sudo yum -y install java-1.8.0-openjdk*

测试java运行环境
java -version

查看安装目录，先看看java命令的目录：

[ec2-user@ip- usr]$ which java
/usr/bin/java
[ec2-user@ip- usr]$ ll -h /usr/bin/java
lrwxrwxrwx 1 root root 22 Sep 16 06:13 /usr/bin/java -> /etc/alternatives/java

可知安装到了 /etc/alternatives/ 中

---

yum安装git

sudo yum install git

git 需要依赖 curl，zlib，openssl，expat，libiconv 等库，会自动安装这些依赖。

---

yum安装nginx

添加nginx yum源：

sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

安装nginx：

sudo yum install nginx

安装后配置文件位置 /usr/local/nginx/conf/nginx.conf

查看nginx安装路径：

$ rpm -ql nginx
/etc/logrotate.d/nginx
/etc/nginx
/etc/nginx/conf.d
/etc/nginx/conf.d/default.conf
/etc/nginx/fastcgi_params
/etc/nginx/koi-utf
/etc/nginx/koi-win
/etc/nginx/mime.types
/etc/nginx/modules
/etc/nginx/nginx.conf
/etc/nginx/scgi_params
/etc/nginx/uwsgi_params
/etc/nginx/win-utf
/etc/sysconfig/nginx
/etc/sysconfig/nginx-debug
/usr/lib/systemd/system/nginx-debug.service
/usr/lib/systemd/system/nginx.service
/usr/lib64/nginx
/usr/lib64/nginx/modules
/usr/libexec/initscripts/legacy-actions/nginx
/usr/libexec/initscripts/legacy-actions/nginx/check-reload
/usr/libexec/initscripts/legacy-actions/nginx/upgrade
/usr/sbin/nginx
/usr/sbin/nginx-debug
/usr/share/doc/nginx-1.14.2
/usr/share/doc/nginx-1.14.2/COPYRIGHT
/usr/share/man/man8/nginx.8.gz
/usr/share/nginx
/usr/share/nginx/html
/usr/share/nginx/html/50x.html
/usr/share/nginx/html/index.html
/var/cache/nginx
/var/log/nginx

nginx配置文件 nginx.conf

# work进程的用户
user ec2-user ec2-user;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    map $http_origin $corsHost {
        default 0;
        "~http://madaimeng.com" http://madaimeng.com;
        "~http://devgou.com" http://devgou.com;
        "~http://masikkk.com" http://masikkk.com;
        "~http://localhost:4000" http://localhost:4000;
    }

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    server {
        listen       80;
        server_name  api.masikkk.com api.madaimeng.com api.devgou.com;

        location / {
                proxy_pass http://localhost:8001;
                add_header 'Access-Control-Allow-Origin' $corsHost;
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
    }

    server {
        listen       80;
        server_name  devgou.com www.devgou.com;

        location / {
                  root   /home/ec2-user/git/madaimeng;
                index  index.html;
        }
    }

    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

---

yum安装nodejs和npm

Installing Node.js via package manager
https://nodejs.org/en/download/package-manager/

NodeSource Node.js Binary Distributions
https://github.com/nodesource/distributions/blob/master/README.md

使用官方脚本添加NodeSource源

nodejs官方制作了添加node源的在线脚本，直接下载执行就行，不需要再手动添加 epel 和 remi 源了

curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -

安装过程的输出信息如下：

sudo curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -

## Installing the NodeSource Node.js 8.x LTS Carbon repo...


## Inspecting system...

+ rpm -q --whatprovides redhat-release || rpm -q --whatprovides centos-release || rpm -q --whatprovides cloudlinux-release || rpm -q --whatprovides sl-release
+ uname -m

## Confirming "el7-x86_64" is supported...

+ curl -sLf -o /dev/null 'https://rpm.nodesource.com/pub_8.x/el/7/x86_64/nodesource-release-el7-1.noarch.rpm'

## Downloading release setup RPM...

+ mktemp
+ curl -sL -o '/tmp/tmp.frFXm7r4k8' 'https://rpm.nodesource.com/pub_8.x/el/7/x86_64/nodesource-release-el7-1.noarch.rpm'

## Installing release setup RPM...

+ rpm -i --nosignature --force '/tmp/tmp.frFXm7r4k8'

## Cleaning up...

+ rm -f '/tmp/tmp.frFXm7r4k8'

## Checking for existing installations...

+ rpm -qa 'node|npm' | grep -v nodesource

## Run `sudo yum install -y nodejs` to install Node.js 8.x LTS Carbon and npm.
## You may also need development tools to build native addons:
     sudo yum install gcc-c++ make
## To install the Yarn package manager, run:
     curl -sL https://dl.yarnpkg.com/rpm/yarn.repo | sudo tee /etc/yum.repos.d/yarn.repo
     sudo yum install yarn

安装nodejs

按照安装NodeSource源时输出信息的提示，使用yum来安装nodejs

sudo yum install -y nodejs

安装nodejs时自动会安装npm工具，完成后查看版本验证安装成功：

node -v
v8.15.0
npm -v
6.4.1

yum安装nodejs
https://www.jianshu.com/p/695d9cafcd4e

---

AWS EC2 自己安装mysql及远程访问

安装mysql

和普通linux下安装mysql大致相同，看mysql官网的文档即可。
或参考笔记 MySQL-Linux安装
root/123456

Getting Started with MySQL - Installing and Starting MySQL
https://dev.mysql.com/doc/mysql-getting-started/en/#mysql-getting-started-installing

创建可远程访问的mysql账号

创建一个账号，Host为%，即允许所有主机连接，并给账号授权。
然后在ec2命令行中验证可以本地登录mysql

配置mysql绑定ip

查看mysql server绑定ip
show variables like 'bind_address';
默认是*，表示接收所有的IPv4 或 IPv6 连接请求，如没有更改过就不用配置。

编辑EC2安全组配置，放开3306端口入站流量

mysql安装后还不能远程连接，因为EC2防火墙默认阻断了除ssh 22端口外的所有入站流量，
编辑EC2的Scurity Groups安全组配置，添加允许所有来源的3306端口入站流量

EC2开启MySql远程访问
https://blog.csdn.net/timberwolf_2012/article/details/47350215

远程连接mysql数据库

之后便可利用aws提供的域名远程连接mysql访问
可以在Windows或Mac命令行中登录，也可以使用Navicat或DataGrip等图形界面登录

C:\Users\xxx> mysql -u username -h ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com -p
Enter password: *******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 39
Server version: 5.6.41 MySQL Community Server (GPL)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

通过自定义域名远程连接MySQL数据库

EC2 给我们提供了公网IP和域名，可以在自己的DNS提供商处配置自定义域名解析到这个公网IP，这样就可以使用域名远程连接了。
比如在阿里云上，我有个域名 devgou.com， 新加个二级域名： mysql.devgou.com 解析到EC2提供的域名，然后就可以使用域名访问了。
mysql -u usrname -h mysql.devgou.com -ppasword
注意解析到 IPv4 地址要选择A记录，解析到域名要选CNAME记录。

---

AWS EC2部署Spring Boot应用及自定义域名访问

后台启动spring boot应用及本地访问

启动应用的脚本：start.sh

#!/bin/bash
nohup java -jar yourapp.jar --server.port=8001 &

或者直接在命令启动：

sudo nohup java -jar blog-0.0.1-SNAPSHOT.jar --server.port=8001 &

注意必须sudo以root权限，否则报错无法启动：

默认以8080端口启动，可以自己指定端口，我这里用的8001。
用80启动后，就可以直接用域名，不用加端口访问了，因为http默认使用80端口

启动后可以在aws本地尝试用localhost访问，以及用aws给分配的公有DNS访问。
当然Spring boot中先要有处理/请求的Controller代码，可以先简单的返回个hello world

如果以8080端口启动：

curl localhost:8080/
curl ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:8080/

如果以80端口启动：

curl localhost/
curl ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com/

springboot 后台运行
https://www.cnblogs.com/bigben0123/p/7910036.html

---

配置nginx请求转发

监听我三个域名各自的api子域名，转发到localhost:8001，也就是springboot监听的端口：

server {
    listen       80;
    server_name  api.masikkk.com api.madaimeng.com api.devgou.com;

    location / {
            proxy_pass http://localhost:8001;
    }
}

---

ec2安全组放开80端口入站流量

编辑ec2安全组，放开nginx监听的80端口的入栈流量。

---

自定义域名解析到aws

目前我的域名都放在阿里云，这里以阿里云中的域名 devgou.com 解析为例。

域名解析到EC2

CNAME表示解析到一个域名，而不是一个ipv4地址
www表示解析 www.example.com 的访问
@表示解析 example.com 的访问
主机记录api，也就是我们新定义了一个子域名 api.devgou.com

另外，在另外两个域名上也都加上 api子域名到aws的解析。

以后，我用自己3个域名的api子域名都可以访问springboot接口了：
http://api.devgou.com/
http://api.masikkk.com/
http://api.madaimeng.com/
同时，也不影响原本博客的访问。

---