Almacenamiento S3 (Amazon y Oracle)

Procedimientos para el uso y montaje de bucket amazon s3

Debe crear un bucket en amazon.

Debe crear un usuario IAM con permisos en s3, ojo debe tener en cuenta el acces key y su llave, esto para poder montar el bucket desde el servidor.

S3FS
Haga una instalación basica de s3fs
→ apt-get install s3fs

cree el archivo passwd-s3fs
→ vi /etc/passwd-s3fs

en este archivo solamente debe poner el id y la llave del usuario que va realizar la conexión.
Ejemplo : AKIAICY5FFXE3TPO2UZQ:JE65BmW+j6yMJrll93C5NZuJchwpwNUyZ9QBLH3N

→ chmod 600 /etc/passwd-s3fs
ya con este archivo puede hacer la conexión al bucket

OJO 

mount-s3
Hay otro mecanismo mas nuevo llamado mountpount s3

https://aws.amazon.com/blogs/storage/the-inside-story-on-mountpoint-for-amazon-s3-a-high-performance-open-source-file-client/

https://docs.aws.amazon.com/es_es/AmazonS3/latest/userguide/mountpoint-installation.html

S3FS
Con este comando puede hacer el montaje del bucket

→ s3fs NOMBRE_BUCKET  PUNTO_MONTAJE -o passwd_file=/etc/passwd_s3fs
→ dh -f

podra ver el bucket montado.

s3fs [bucket] [destination directory] -o endpoint=[region] -o passwd_file=${HOME}/.passwd-s3fs -o url=https://[namespace].compat.objectstorage.[region].oraclecloud.com/ -onomultipart -o use_path_request_style

O Puede colocarlo en el fstab

s3fs#mybucket:/bodega /bodega fuse _netdev,allow_other,umask=0002,use_cache=/tmp/ 0 2

SI es remoto fuera de amazon, debe ser algo como

s3fs#mybucket /mnt/dest fuse _netdev,allow_other,url=https://s3.amazonaws.com 0 0

mount-s3

El nuevo mecanismo .. que es mas rapido y eficiente
https://docs.aws.amazon.com/es_es/AmazonS3/latest/userguide/mountpoint.html

El script de montar usando el mount-s3 para mi es

 #!/bin/bash
 if [[ $USER != "www-data" ]]; then
   echo "OJO:  Debe correrlo con sudo -u www-data"
   exit 1
 fi
 export AWS_ACCESS_KEY_ID="AKIFM47F3UP4N"
 export AWS_SECRET_ACCESS_KEY="/3Wgkj/7hXVgSlb00GYabh"
 mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  "my_bucket" /bodega
 # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp "my_bucket" /bodega
 # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp  --prefix "bodega/" "my_bucket" /bodega

OJO: ese montaje no se muestra con df .. tocar ejecutar mount y mirar si esta

Edite el archivo /etc/fstab y agrege la siguiente linea

s3fs#skn-home:/  /home fuse defaults,_netdev,allow_other,umask=022,use_cache=/tmp/ 0 0

Pruebe la regla
→ mount -av

si todo sale bien ya debe poder ver el bucket montado.

==== 1. Subir muchos archivos a S3 ==== 

Lo mejor y mas rapido es usar el aws cli porque RINDE MUCHO

Monte aws cli

  wget "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip"
  unzip awscli-exe-linux-x86_64.zip 
  cd aws/
  ./install 
  /usr/local/bin/aws --version

Ahora configurelo con el par de llaves y la zona

  aws configure

Una vez tenga eso .. ya puede hacer la copia con

  aws s3 cp /mnt/orig/ s3://mybucket-en-amazon/ --recursive

https://codingsight.com/upload-files-to-aws-s3-with-the-aws-cli/

Yo solo use desde instalar el s3fs ya que en debian ya viene listo para instalar

Amazon

-https://kerneltalks.com/cloud-services/how-to-mount-s3-bucket-in-linux-server/

-http://linuxroutes.com/mount-s3-bucket-linux-centos-rhel-ubuntu-using-s3fs/

Oracle

- https://blogs.oracle.com/cloud-infrastructure/post/mounting-an-object-storage-bucket-as-file-system-on-oracle-linux

- https://database-heartbeat.com/2022/10/26/mount-bucket-as-file-system/

FIN