aws

AWS Glue를 이용한 파티션 데이터 처리 AWS Glue는 Hive 스타일 파티션으로 구성된 데이터 세트 처리에 향상된 기능을 제공합니다. AWS Glue 크롤러는 Amazon S3에 저장된 데이터의 파티션을 자동으로 구별합니다. AWS Glue ETL(추출, 변환, 로드) 라이브러리는 DynamicFrames로 작업할 때 기본적으로 파티션을 지원하며, DynamicFrames는 스키마를 지정하지 않더라도 분산된 데이터 콜렉션을 나타냅니다. DynamicFrames를 생성할 때 S3를 호출하지 않더라도 서술자를 통해 파티션을 필터링할 수 있습니다. 또한 DynamicFrames를 Aparche Spark DataFrames로 변환하지 않고 파티셔닝 된 디렉토리에 직접 쓰는 기능이 추가되었습니다. 파티셔닝은 다양한 빅데이터 시스템에서 효율적으로 쿼리가 가능하도록 데이터 세트를 구성하는데 중요한 기술입니다. 데이터는 하나 이상 컬럼의 고유값에 기반하여 계층적인(hierarchical) 디렉토리 구조로 구성됩니다. 예를 들어, Amazon S3에 애플리케이션 로그를 날짜(연, 월, 일) 기준으로 파티션을 나눌 수 있습니다. 이 경우 하루 동안의 로그 데이터는 s3://my_bucket/logs/year=2018/month=01/day=23/ 과 같은 프리픽스 아래에 저장 됩니다. Amazon Athena, Amazon Redshift Spectrum, AWS Glue와 같은 서비스들은 이렇게 파티션 된 데이터를 이용하여 S3에 불필요한 호출을 [ more… ]

Amazon DynamoDB 데이터 암호화 및 서명 방법 민감한 데이터나 기밀 데이터를 Amazon DynamoDB에 저장하는 경우, 해당 데이터를 암호화하여 데이터 수명 주기동안 보호할 수 있습니다. DynamoDB Encryption Client를 사용하여 DynamoDB로 전송하기 전에 테이블 데이터를 보호할 수 있습니다. 민감한 데이터를 전송 중(In Transit) 및 유휴 시(At Rest) 암호화하면 AWS를 포함하여 제 3자는 평문 데이터의 사용이 불가능 합니다. DynamoDB Encryption Client를 사용하려면, 여러분이 암호 전문가일 필요는 없습니다. 암호화 및 서명 요건들은 기존 DynamoDB 어플리케이션과 함께 동작하도록 설계되어 있습니다. 필요한 컴포넌트들을 생성하고 구성을 적용한 뒤, DynamoDB Encryption Client는 PutItem을 호출시 테이블 항목을 투명하게 암호화하고 서명하며, GetItem을 호출할때 검증하고 복호화 합니다. 고유한 사용자 정의 컴포턴트(Component)를 생성하거나 라이브러리에 포함된 기본 구현을 사용할 수도 있습니다.  AWS에서 제공하는 클래스는 강력하고 안전한 암호화를 구현할 수 있도록 되어 있습니다. DynamoDB Encryption Client는 AWS Key Management Service (Aws KMS) 또는 AWS CloudHSM과 함께 사용이 가능하지만, 라이브러리가 AWS 또는 다른 AWS 서비스를 [ more… ]

애플리케이션 로드 밸런서(ALB)에 고정 IP 주소 설정 및 사용하기 2016년에 Elastic Load Balancing는 애플리케이션 로드 밸런서(Application Load Balancer, ALB)를 출시하였고, HTTP 통신의 7계층의 많은 기능들을 지원하게 되었습니다. 클라이언트는 DNS 주소를 해석하여 ALB를 이용하여 문제없이 연결할 수 있습니다. 하지만, ALB의 IP 주소목록은 추가되거나 변경될 수 있기 때문에 클라이언트가 인터넷 상에서 항상 ALB의 동일한 모든 IP주소로 연결할 수 있지 않고, 이 때문에 오래된 디바이스를 쓰고 있거나 보안에 엄격한 네트워크 관리자에겐 ALB가 까다롭게 여겨질 수 있습니다. 고정 IP는 이런 문제를 해결해 줄 수 있으며 클라이언트가 임시 해결적으로서 현재 IP 주소들을 업데이트하거나 방화벽에 넣어주는 스크립트를 실행할 필요가 없어집니다. 2017년에 4계층 TCP 로드 밸런서인 네트워크 로드 밸런서(Network Load Balancer, NLB)가 런칭되었습니다. NLB는 각 가용영역에 고정 IP주소들을 두고 쓸 수 있습니다. 이러한 고정  IP주소들은 변하지 않기 때문에 방화벽의 화이트리스트에 추가될 수 있습니다. 하지만 NLB는 TCP 통신만 허용하기 때문에 HTTPS를 처리하지 않으며, ALB의 7계층 관련 기능들이 없습니다. [ more… ]

Amazon Aurora Serverless 정식 출시 Amazon Aurora는 고성능 상용 데이터베이스의 성능과 가용성에 오픈 소스 데이터베이스의 간편성과 비용 효율성을 결합하였으며 클라우드를 위해 구축된 MySQL 및 PostgreSQL 호환 데이터베이스 서비스입니다. Aurora의 새로운 기능인 Aurora Serverless는 지난 해 AWS re:Invent에서 발표되었습니다. 드디어 오늘 MySQL용 Aurora Serverless를 정식 출시합니다. Aurora 서버리스는 온디맨드 방식으로 제공되고, 자동으로 크기 조정되는 서버리스 Aurora입니다. 인스턴스 또는 확장에 대해 고민할 필요가 없으며 사용량에 대해서만 지불하면 됩니다. 이러한 새로운 데이터베이스 패러다임은 로드를 예측할 수 없거나 수요가 많지 않은 애플리케이션에 적합합니다. 이제 작동 방식을 살펴볼텐데, 먼저, 서버리스 클러스터를 시작하는 방법을 보여 드리겠습니다. Aurora 서버리스 클러스터 생성 먼저, Amazon Relational Database Service(RDS) 콘솔로 이동하고 [Clusters] 하위 콘솔을 선택합니다. 거기서 오른쪽 위 모서리에 있는 [Create database] 버튼을 클릭하여 이 화면으로 이동합니다. 위의 화면에서 엔진 유형을 선택하고 [Next]를 클릭합니다. 현재는 Aurora MySQL 5.6만 지원됩니다. 이제 용량 유형을 [Serverless]로 지정하면 모든 인스턴스 선택 및 구성 옵션이 [ more… ]

AWS 한국 정보보호 관리체계 인증 (K-ISMS) 홈페이지 업데이트 아마존웹서비스(AWS)가 2017년 12월 정보보호 관리체계(K-ISMS) 인증을 글로벌 클라우드 서비스 제공업체 최초로 획득한 이후로 한국 고객들로부터 다양한 관련 정보 요청과 피드백을 받아왔습니다. 이번에 추가적으로 AWS 정보보호 관리체계(K-ISMS) 홈페이지를 통해 제공되는 FAQ 및 관련 정보를 추가로 제공합니다. 이를 통해 K-ISMS 인증을 준비하는 AWS 한국 고객들에게 보다 다양한 AWS K-ISMS 프로그램 관련 정보를 제공함으로써 성공적인 인증획득을 지원해 줄 수 있을 것으로 기대합니다. 향후, 지속적으로 고객의 요구와 피드백에 따라 더욱 유용한 정보를 제공해 드릴 예정입니다. 이번 블로그에서는 AWS 정보보호 관리체계(K-ISMS) 홈페이지에서 확인하실 수 있는 FAQ 중 몇 가지를 공유하겠습니다. K-ISMS 인증 및 법적 근거는 무엇입니까? K-ISMS 란 기업과 기관이 수립, 관리, 운영하는 정보보호 관리체계의 적합성에 대해 인증을 부여하는 제도입니다. 정보통신망 이용촉진 및 정보보호 등에 관한 법률 제47조(정보보호 관리체계의 인증)에서 법적 근거를 제공하고 있습니다. K-ISMS 인증을 위해 AWS를 감사하는 독립적인 타사 감사 조직은 어디입니까? 정보통신망 이용촉진 및 정보보호 등에 관한 법률 제47조(정보보호 관리체계의 인증)에 따라 한국인터넷진흥원 또는 과학기술정보통신부장관이 지정한 심사기관이 인증 심사를 수행합니다. K-ISMS가 필요한 대상은 누구입니까? 인증대상은 의무대상자와 임의신청자가 있습니다. 의무대상자는 다음을 포함합니다. (1) 정보통신망서비스제공자(Internet Service Provider, ISP), (2) 집적정보통신시설 사업자(Internet Data Center, IDC), (3) 상급종합병원(4) 학교 그리고 (5) 정보통신서비스 제공자. 의무대상자 기준에 대한 상세 정보는 KISA 웹 사이트를 참고하시기 바랍니다. 임의신청자는 자율적으로 K-ISMS 인증을 신청할 수 있습니다. AWS 는 임의신청자의 자격으로 2017년 12월 K-ISMS 인증을 취득하였습니다. AWS의 K-ISMS 인증서 사본을 요청하려면 어떻게 해야 합니까? AWS K-ISMS 인증서 사본은 AWS의 규정 준수 보고서에 온디맨드 방식으로 액세스할 수 있는 셀프서비스 포털인 AWS Artifact 를 통해 고객에게 제공됩니다. AWS Management Console에서 AWS Artifact에 로그인하거나 AWS Artifact 시작하기를 통해 자세히 알아보십시오. 더 자세한 사항은 AWS K-ISMS 홈페이지와 인증 범위를 참고하시기 바랍니다. 표준 규정 및 준수에 대해 궁금하신 점은 언제든지 문의해 주세요. – 신종회, AWS Korea Security Assurance Lead Source: AWS 한국 정보보호 관리체계 인증 (K-ISMS) 홈페이지 업데이트