카테고리 없음

AWS DataSync 서비스란?

idea9329 2024. 12. 5. 14:58
반응형

 

AWS DataSync는 AWS에서 제공하는 데이터 전송 서비스로, 온프레미스 데이터센터, 네트워크 파일 시스템(NFS), SMB 파일 서버, 또는 AWS 서비스 간에 데이터를 안전하고 빠르게 복사하거나 이동할 수 있도록 지원합니다. 데이터 마이그레이션, 백업, 동기화 등의 작업을 간소화하고, 효율적인 데이터 전송을 제공합니다.

주요 기능

  1. 고속 데이터 전송
    • 데이터를 병렬 처리 방식으로 전송하여 일반적인 오픈 소스 도구보다 빠르게 복사.
    • 네트워크 대역폭을 최적화하고 암호화를 적용해 전송.
  2. 다양한 소스 및 대상 지원
    • 소스:
      • 온프레미스 NFS 및 SMB 파일 서버
      • 객체 스토리지 (S3 호환)
      • AWS EFS (Elastic File System)
    • 대상:
      • Amazon S3
      • Amazon EFS
      • Amazon FSx (Windows File Server, Lustre 등)
  3. 증분 데이터 전송
    • 변경된 데이터만 전송하여 속도와 비용 효율성을 높임.
  4. 암호화 및 보안
    • 데이터 전송 중 TLS 암호화를 적용.
    • AWS Identity and Access Management(IAM)으로 액세스 제어.
  5. 자동화
    • 정기적인 동기화 작업을 스케줄링 가능.
    • 클라우드 워크로드와의 통합으로 데이터 파이프라인 구축.
  6. 모니터링
    • AWS CloudWatch와 통합하여 전송 작업 상태를 실시간으로 모니터링.

AWS DataSync의 사용 사례

  1. 데이터 마이그레이션
    • 온프레미스 파일 시스템을 AWS S3, EFS, 또는 FSx로 이동.
    • 클라우드로 애플리케이션을 이전하거나 하이브리드 환경 구축.
  2. 백업 및 복구
    • 데이터를 정기적으로 클라우드에 백업.
    • 고가용성을 위해 원격지 복제를 구성.
  3. 데이터 아카이빙
    • 온프레미스 데이터를 S3 Glacier로 이동해 장기 보관 비용 절감.
  4. 하이브리드 클라우드 운영
    • 온프레미스와 AWS 간 데이터를 동기화하여 하이브리드 클라우드 환경 구축.
  5. 빅데이터 분석
    • 데이터를 빠르게 AWS로 전송해 분석 서비스와 통합.

AWS DataSync의 구성 요소

  1. 에이전트(Agent)
    • 온프레미스 또는 소스 환경에 배포해 데이터 전송 작업을 수행.
    • VMware, Hyper-V, KVM 등의 가상 머신(VM) 환경에서 실행.
  2. 작업(Task)
    • 데이터 전송 작업 단위를 정의.
    • 소스, 대상, 전송 설정 등을 포함.
  3. 네트워킹
    • 인터넷 또는 AWS Direct Connect를 통해 데이터를 전송.
    • 네트워크 속도와 안정성을 보장.
  4. CloudWatch
    • 작업 진행 상황, 성능 메트릭, 오류 상태를 모니터링.

AWS DataSync의 작동 원리

  1. 에이전트 설치
    • 온프레미스 환경에 DataSync Agent를 설치하고 AWS에 등록.
  2. 작업(Task) 생성
    • DataSync 콘솔에서 작업 생성:
      • 소스와 대상 정의
      • 전송 속도 제어 및 필터링 설정
    • CLI 또는 SDK를 통해 작업 생성도 가능.
  3. 데이터 전송
    • 병렬 처리와 네트워크 최적화를 통해 데이터 전송.
    • 전송 중 데이터 암호화(TLS) 적용.
  4. 전송 완료 및 모니터링
    • 데이터 전송 결과와 통계 정보를 AWS Management Console 또는 CloudWatch에서 확인.

AWS DataSync의 장점

  1. 효율적인 전송
    • 대량의 데이터를 빠르고 안전하게 클라우드로 이동.
  2. 비용 효율성
    • 사용한 전송 데이터와 작업량에 기반한 요금.
  3. 유연성
    • 다양한 소스와 대상 지원, 네트워크 제약에도 최적화된 전송.
  4. 보안성
    • 암호화된 데이터 전송과 IAM 기반의 세밀한 접근 제어.
  5. 관리 편의성
    • 스케줄링과 자동화로 반복적인 작업 최소화.

AWS DataSync 요금

  • 요금은 전송된 데이터 양(GB) 기반으로 부과됩니다.
  • 추가 요금:
    • S3, EFS, FSx 등 서비스에 데이터를 저장할 때의 저장 비용.
    • AWS Direct Connect 또는 인터넷 대역폭 비용.

예제: DataSync를 이용한 파일 서버 -> S3 전송

  1. DataSync 에이전트 배포
    • VMware 환경에서 가상 머신으로 에이전트 설치.
    • AWS DataSync 콘솔에서 활성화 코드 등록.
  2. 작업 생성
  3. aws datasync create-task \ --source-location-arn "arn:aws:datasync:source" \ --destination-location-arn "arn:aws:datasync:destination" \ --name "OnPremToS3Backup"
  4. 작업 실행
  5. aws datasync start-task-execution \ --task-arn "arn:aws:datasync:task:12345"
  6. 작업 상태 확인
  7. aws datasync describe-task-execution \ --task-execution-arn "arn:aws:datasync:task-execution:67890"

결론

AWS DataSync는 데이터 마이그레이션 및 동기화를 위한 강력하고 간편한 솔루션입니다. 특히, 대량의 데이터를 효율적으로 처리하고 네트워크와 보안을 최적화하는 데 적합하며, 데이터 전송 작업을 자동화하여 운영 부담을 줄일 수 있습니다.

반응형

'카테고리 없음'의 다른글

  • 현재글AWS DataSync 서비스란?

티스토리툴바