Diferencias

Muestra las diferencias entre dos versiones de la página.

--- montar_bucket_s3_amazon_y_oracle [2024/09/17 14:39] – [1. Comando para el montaje del bucket] kasandra
+++ montar_bucket_s3_amazon_y_oracle [2025/01/30 12:51] (actual) – [1. Comando para el montaje del bucket] kasandra
@@ Línea 1: / Línea 1: @@
-====== Montar bucket S3 (Amazon y Oracle) ======
+====== Almacenamiento S3 (Amazon y Oracle) ======
 ===== Descripción =====
- Procedimiento para el montaje de bucket amazon s3
+Procedimientos para el uso y montaje de bucket amazon s3
 ===== Prerrequisitos =====
 Debe crear un bucket en amazon.\\
 Debe crear un usuario IAM con permisos en s3, ojo debe tener en cuenta el acces key y su llave, esto para poder montar el bucket desde el servidor.
@@ Línea 16: / Línea 15: @@
 ===== A. Instalación básica =====
+**S3FS**\\
 Haga una instalación basica de s3fs\\
 -> apt-get install s3fs\\
@@ Línea 29: / Línea 29: @@
 \\
 OJO \\
-\\
+**mount-s3**\\
 Hay otro mecanismo mas nuevo llamado mountpount s3\\
 \\
 https://aws.amazon.com/blogs/storage/the-inside-story-on-mountpoint-for-amazon-s3-a-high-performance-open-source-file-client/\\
+https://docs.aws.amazon.com/es_es/AmazonS3/latest/userguide/mountpoint-installation.html
 ===== B. Montaje del bucket =====
@@ Línea 41: / Línea 41: @@
 ==== 1. Comando para el montaje del bucket ====
-**S3FS**
+**S3FS**\\
 Con este comando puede hacer el montaje del bucket\\
 \\
@@ Línea 51: / Línea 51: @@
 s3fs [bucket] [destination directory] -o endpoint=[region] -o passwd_file=${HOME}/.passwd-s3fs -o url=https:%%//%%[namespace].compat.objectstorage.[region].oraclecloud.com/ -onomultipart -o use_path_request_style
+O Puede colocarlo en el fstab
-**mount-s3**
+s3fs#mybucket:/bodega /bodega fuse _netdev,allow_other,umask=0002,use_cache=/tmp/ 0 2
-El nuevo mecanismo .. que es mas rapido y eficiente\\
+SI es remoto fuera de amazon, debe ser algo como
+s3fs#mybucket /mnt/dest fuse _netdev,allow_other,url=https:%%//%%s3.amazonaws.com 0 0
+**mount-s3**\\
+El nuevo mecanismo .. que es mas rapido y eficiente PERO no es un completo: No funcionan los vinculos y varios temas. Ideal para dejarlo como ReadOnly \\
 https://docs.aws.amazon.com/es_es/AmazonS3/latest/userguide/mountpoint.html
 El script de montar usando el mount-s3 para mi es
-  #!/bin/bash
+   #!/bin/bash
-  if [[ $USER != "www-data" ]]; then
+   if [[ $USER != "www-data" ]]; then
-    echo "OJO:  Debe correrlo con sudo -u www-data"
+     echo "OJO:  Debe correrlo con sudo -u www-data"
-    exit 1
+     exit 1
-  fi
+   fi
-  export AWS_ACCESS_KEY_ID="AKIFM47F3UP4N"
+   export AWS_ACCESS_KEY_ID="AKIFM47F3UP4N"
-  export AWS_SECRET_ACCESS_KEY="/3Wgkj/7hXVgSlb00GYabh"
+   export AWS_SECRET_ACCESS_KEY="/3Wgkj/7hXVgSlb00GYabh"
-  mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  "my_bucket" /bodega
+   mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  "my_bucket" /bodega
-  # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp "my_bucket" /bodega
+   # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp "my_bucket" /bodega
-  # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp  --prefix "bodega/" "my_bucket" /bodega
+   # mount-s3 --allow-delete --allow-overwrite --allow-root --dir-mode 775 --file-mode 664 --uid 33 --gid 33  --cache /dk1/tmp  --prefix "bodega/" "my_bucket" /bodega
@@ Línea 82: / Línea 92: @@
 si todo sale bien ya debe poder ver el bucket montado.\\
+===== Trucos =====
-===== C. Configuraciones especiales =====
+==== 1. Subir muchos archivos a S3 ====
+Lo mejor y mas rapido es usar el aws cli porque RINDE MUCHO\\
-===== Instalación =====
+**Monte aws cli**
-==== 1. Una acción ====
+    wget "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip"
+    unzip awscli-exe-linux-x86_64.zip
+    cd aws/
+    ./install
+    /usr/local/bin/aws --version
-==== 2. Segunda acción ====
+https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html\\
+Ahora configurelo con el par de llaves y la zona
+    aws configure
-===== Configuración =====
+Una vez tenga eso .. ya puede hacer la copia con
-==== 1. Una acción ====
+    aws s3 cp /mnt/orig/ s3://mybucket-en-amazon/ --recursive
-==== 2. Segunda acción ====
+\\
+https://codingsight.com/upload-files-to-aws-s3-with-the-aws-cli/\\
+\\
-===== Trucos =====
 ===== Problemas =====
@@ Línea 113: / Línea 125: @@
 ==== 1. Si el instale_mrtg.sh no le funciona, no puede.... ====
-==== 2. Otro problema ====
-==== 3. Otro problema ====
 ===== Referencias =====
-Yo solo use desde instalar el s3fs ya que en debian 9 ya viene listo para instalar\\
+Yo solo use desde instalar el s3fs ya que en debian ya viene listo para instalar\\
 Amazon\\
 \\
--https:%%//%%kerneltalks.com/cloud-services/how-to-mount-s3-bucket-in-linux-server/
+-https://kerneltalks.com/cloud-services/how-to-mount-s3-bucket-in-linux-server/
--http:%%//%%linuxroutes.com/mount-s3-bucket-linux-centos-rhel-ubuntu-using-s3fs/\\
+-http://linuxroutes.com/mount-s3-bucket-linux-centos-rhel-ubuntu-using-s3fs/\\
 \\
 Oracle\\
 \\
-- https:%%//%%blogs.oracle.com/cloud-infrastructure/post/mounting-an-object-storage-bucket-as-file-system-on-oracle-linux
+- https://blogs.oracle.com/cloud-infrastructure/post/mounting-an-object-storage-bucket-as-file-system-on-oracle-linux
-- https:%%//%%database-heartbeat.com/2022/10/26/mount-bucket-as-file-system/\\
+- https://database-heartbeat.com/2022/10/26/mount-bucket-as-file-system/\\
 \\
 FIN
-----
-**__Advertencia__**
-Este documento es privado y es de u so exclusivo de sus autores y de SKINA TECH. Cualquier uso sin una autorización escrita es contra la ley de derechos de autor y de propiedad intelectual, y será motivo de una acción legal.
-----
-==============================================================
--Enero-2012 J.E.Gomez v1.0 Primera version