velog

글또 10기 회고록

@Eeap — Sun, 30 Mar 2025 01:19:26 +0900

오늘은 이번달이 글또 마지막 달이라서 회고록을 작성해보려고 한다.

https://geultto.github.io/blog/geultto-summary/

글또(개발자 글쓰기 모임) 소개

geultto.github.io

벌써 글또를 시작한 지 6개월이 됐다는게 믿기지 않는 것 같다. 처음 시작할 땐 솔직히 글을 일주일에 한번 정도 열심히 쓸줄 알았는데 막상 회사도 다니고 약속도 있고 그러면 2주에 한번씩 쓰는 것도 쉽지 않은 것 같다. 그래도 오늘은 글또의 마지막 기수의 마지막 달이다 보니 회고를 해보려고 한다!

왜 글또를 시작했는가?

이전부터 글또에 대해서는 알고 있었지만 내가 열심히 글을 잘 쓸 수 있을까? 라는 생각이 들어 들어가지 않았던 것 같다. 또한, 글또를 지원할 때 써야하는 항목들이 생각보다 길어서 쉽지 않았던 것 같다. 그러다가 이번이 마지막 기수이고 다시는 기회가 없을 것 같아 지원을 하였고 그렇게 글또 10기를 참여하게 됐다.

글또를 통해 얻어갈 수 있었던 것

처음에 글또를 하면서 목표로 했던 건 일주일에 한번씩 간단하게 기술글을 작성해보자! 였던 것 같다. 하지만 역시 신입에게 업무 외의 시간은 많지 않은 것 같고 그마저도 지인을 만나면 시간이 많이 부족했던 것 같다ㅠㅠ.. 그래도 최대한 격주에 한번씩 쓰려고 노력을 했던 것 같고 다만 아쉬운 점은 이번 글또 글에서 데이터 엔지니어링 관련된 글도 많이 작성해보고 싶었는데 작성해보지 못해서 조금 아쉬웠던 것 같다. 그래도 글또를 통해서 매주는 아니지만 격주동안 글을 써보는 시간을 가졌던 것 같고 다른 사람들의 글도 보면서 요새 다들 어떤 기술에 관심을 가지고 있는지 등을 알아볼 수 있어서 좋았던 것 같다.

글또를 하면서 아쉬웠던 점

글또에는 글을 쓰는 것 이외에 반상회나 커피챗 등 다양한 활동들이 있다. 반상회는 진짜 참여해보고 싶었는데 다른 슬랙에 의해 묻혀서 반상회가 열렸고 모집하고 있다는 슬랙을 보지 못했다ㅠㅠ... 데이터 반상회 가고 싶었는데 좀 많이 아쉬웠던 것 같다.. (같은 데이터 카테고리에 있는 친구도 이 사실을 몰랐다..)

또한, 커피챗이나 다양한 활동들도 시간을 내서 조금 참여해볼걸 이라는 생각이 들었던 것 같다. 이전에는 소모임도 자주 다니면서 사람들을 만났던 것 같은데 사실 요새는 계속 일만 하다보니 같은 분야에 있는 사람들도 못만났던 것 같다,,ㅠ 마지막이 되어서야 글또 커피챗을 했는데 같은 분야의 사람들과 비슷한 공통사에 대한 얘기를 나누고 비슷한 고민을 얘기하다가 커피챗을 좀 더 해볼걸이라는 생각이 들었던 것 같다 ㅎㅎ,,ㅠ

마무리

처음에는 글또를 할지 말지 매우 고민했지만 지금은 안했으면 후회했을 것 같다는 생각이 들었고 이전에도 글또를 참여해볼 걸 이라는 생각이 들었던 것 같다. 예전에는 자유롭게 글쓰는게 좋아서 한달에 한번씩 쓰거나 거의 드문드문 썼던 것 같은데 글또 덕분에 격주 단위로 글을 쓰면서 공부도 더 하게 되는 것 같고 좋았던 것 같다.

예전에 글을 처음 썼을 때의 나를 생각해보면 국어를 잘 못해서 그런지 글을 써도 뭔가 문장의 연결성도 부족하고 왜 이 부분에서 이 내용을 설명하는지에 대한 논리도 부족했던 것 같다. 하지만 요즘 계속 글을 쓰면서 드는 생각은 글은 점점 짧아지는 것 같긴 하지만 내용의 흐름이나 설명 부분에서는 조금 나아진 것 같다는 생각이 든다..!(아직 부족하긴 하지만 ㅎㅎ..) 또한 글을 쓰면서 생각도 정리가 되고 공부도 더하게 되고 여러모로 좋았던 것 같다. 그래서 글또는 이번 10기로 끝난다고 말씀은 주셨지만 앞으로도 글또로 인한 강제로 글쓰기가 아니어도 꾸준히 격주나 달마다 글을 작성해야겠다는 생각이 들었다..!

SageMaker Notebook instance 데이터 migratition

@Eeap — Fri, 28 Feb 2025 01:08:51 +0900

오늘 SageMaker Notebook instance를 migration 하는 방법에 대해 알아보고자 한다.

https://aws.amazon.com/ko/blogs/machine-learning/migrate-your-work-to-amazon-sagemaker-notebook-instance-with-amazon-linux-2/

Migrate your work to an Amazon SageMaker notebook instance with Amazon Linux 2 | Amazon Web Services

Amazon SageMaker notebook instances now support Amazon Linux 2, so you can now create a new Amazon SageMaker notebook instance to start developing your machine learning (ML) models with the latest updates. An obvious question is: what do I need to do to mi

aws.amazon.com

해당 문서의 아키텍쳐를 살펴보면 SageMaker Notebook instance는 EC2와 EBS 볼륨으로 구성이 되어있고 AWS Deep Learning AMI로 이미지가 제공되고 있는 걸 확인할 수 있다. EBS 볼륨은 "/home/ec2-user/SageMaker"에 마운팅 되어있고 고 주로 사용자는 해당 디렉토리 위에서 파일을 생성하고 작업을 하게 된다. 오늘은 작업 파일이 존재하는 /home/ec2-user/SageMaker의 데이터를 다른 노트북 인스턴스로 이관하는 작업에 대해 설명하고자 한다.

1. 사전 준비

먼저 SageMaker Notebook instance에 실행 역할에 대한 IAM 역할에는 아래와 같은 권한들이 필요하다.

sagemaker:listtag
s3:CreateBucket
s3:GetObject
s3:PutObject
s3:ListBucket

그 다음 네트워크 구성의 경우 만약 Notebook instance가 direct internet access 옵션이 허용되어 있는 경우 별다른 작업이 필요없지만, 허용되어 있지 않은 경우 VPC 외부로의 통신을 위한 NAT Gateway나 S3 Gateway Endpoint & SageMaker API Interface Endpoint가 필요하게 된다.

이외에 따로 파일 시스템을 마운팅 했을 경우 unmount를 한 뒤 새로운 instance에 mount 해야한다.

2. LCC 생성

마이그레이션을 위해서는 총 두가지의 LLC를 생성해야 한다.

먼저 첫 번째로는 기존의 Notebook instance의 데이터를 S3로 백업하는 LCC를 생성하도록 하겠다.

https://github.com/aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples/blob/master/scripts/migrate-ebs-data-backup/on-start.sh

amazon-sagemaker-notebook-instance-lifecycle-config-samples/scripts/migrate-ebs-data-backup/on-start.sh at master · aws-samples

A collection of sample scripts to customize Amazon SageMaker Notebook Instances using Lifecycle Configurations - aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples

github.com

해당 경로에 있는 on-start.sh 파일을 설치한 뒤 아래의 AWSCLI 명령어를 통해 LCC를 하나 생성하도록 한다.

aws sagemaker create-notebook-instance-lifecycle-config --notebook-instance-lifecycle-config-name backup-LCC --on-start Content=$(base64 -i on-start.sh)

https://github.com/aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples/blob/master/scripts/migrate-ebs-data-sync/on-create.sh

amazon-sagemaker-notebook-instance-lifecycle-config-samples/scripts/migrate-ebs-data-sync/on-create.sh at master · aws-samples/

A collection of sample scripts to customize Amazon SageMaker Notebook Instances using Lifecycle Configurations - aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples

github.com

그 다음 의 경로에 있는 on-create.sh 파일을 설치한 뒤 아래의 AWSCLI 명령어를 통해 LCC를 하나 생성하도록 한다.

aws sagemaker create-notebook-instance-lifecycle-config --notebook-instance-lifecycle-config-name sync-LCC --on-create Content=$(base64 -i on-create.sh)

3. 백업

기존에 갖고 있던 SageMaker Notebook instance를 중지한 뒤 back-LCC로 생성한 LCC를 해당 instance에 추가해주도록 한다.

그 다음 태그에 key로 ebs-backup-bucket을 value로는 백업할 s3 bucket을 추가해주도록 한다.

태그와 LCC를 추가한 뒤 기존 Notebook instance를 재시작하여 s3 bucket에 데이터가 백업될 수 있도록 한다. SageMaker Notebook instance가 InService 상태가 된다면 s3 bucket으로 이동하여 정상적으로 데이터가 저장되었는지 확인한다.

4. 동기화

이제 데이터 백업이 완료되었으면 데이터 이전을 위한 새로운 SageMaker Notebook instance를 하나 생성하도록 한다.

이때 LCC에는 이전에 생성하였던 sync-LCC가 들어가도록 설정을 하고 태그에는 기존에 있던 Notebook instance에 추가했던 태그 이외에도 key로 backup-snapshot, value로는 백업한 s3 bucket에 생성된 폴더 이름을 적어주도록 한다. 폴더 이름의 경우 <기존 notebook instance 이름>-<백업된 시간>으로 되어있는 걸 확인할 수 있다.

새로운 Noteboon instance가 Pending 상태에서 InService 상태로 변경되면 해당 Notebook instance에 접속해 정상적으로 데이터가 이관됐는지 확인하고 기존 Notebook instance는 삭제하도록 한다.

오늘은 이렇게 기존의 SageMaker Notebook instance의 데이터를 새로운 Notebook instance로 이관하는 방법에 대해 알아보았다. 추후에 타겟 리소스의 VPC 환경 변화나 새로운 Platform이 등장할 때 기존에 있는 데이터를 다른 Notebook instance로 이전 하는 목적으로 잘 활용하면 좋을 것 같다.

[회고] 2024년을 돌아보며

@Eeap — Sat, 15 Feb 2025 18:27:27 +0900

벌써 2025년 2월이 되었지만, 늦게나마 2024년 회고를 해보려고 한다..(요새 너무 바빠서 정신이 없었는데 이제서야 미뤄놨던 회고를 작성해보기로 했다) 군대를 전역한 이후에는 시간이 되게 빨리 가는 것 같다고 느껴서, 잊지 않도록 기록할 겸 내가 이전 년도에 했던 일이나 앞으로 해야할 일을 좀 정리하는 습관을 가져보려고 한다.

데이터 엔지니어링 파트타임 (1월 ~ 2월 말)

지인의 추천으로 운이 좋게도 회사에서 데이터 엔지니어링을 해볼 수 있는 기회를 얻게 되었다. 사실 Kubernetes를 업무적으로 써보고 싶다는 생각으로 들어가기로 결심했지만 지금 돌이켜 생각해보면 여러 가지를 경험해 볼 수 있는 좋은 기회였던 것 같다. 해당 기회를 통해서 실시간 데이터 스트리밍을 위한 파이프라인 구축을 해볼 수 있는 경험을 쌓을 수 있게 되었고, 여러 가지 트러블슈팅이나 기술적인 고민들도 많이 해볼 수 있는 좋은 기회였던 것 같다. 비록 짧은 기간이었지만 해당 기간동안 Kubernetes 환경이나 Apache Flink 환경을 구축해보는 등 다양한 경험을 할 수 있었고, 구축한 데이터 파이프라인을 Kafka와 연동하여 실시간으로 리소스 사용량을 모니터링하여 코드를 개선하는 등 엔지니어링 측면에서도 많은 경험을 할 수 있었다.

이전에 클라우드를 활용하는 직무 외에 다른 직무에 대해 크게 생각해본 적이 없었지만, 이번 기회로 데이터 파이프라인을 구축하고 리소스 사용의 최적화하기 위해 모니터링하고 개선하는 작업 등을 겪으면서 데이터 엔지니어라는 직무에 대해서도 매력을 느끼게 된 것 같다. (사실 개인적으로 더 해보고 싶은데 요새 바빠서 시간이 안나는 것 같다 ㅠㅠ..) 내가 처음다루는 내용이고 국내 자료도 별로 없어서 머리를 부딪히면서 시간을 많이 썼지만, 이때 엔지니어링 적으로 생각이 더 넓어진 기분이었다(메모리 사용량을 줄이기 위해 개선도 하고.. cpu 부하도 줄이기 위해 이것저것 고민도 해보고..)

3월 코타키나발루 (3/2 ~ 3/7)

열심히 일한 나에게 보상을 주기 위해^^ㅎ 휴양지로 오랜만에 놀러갔다. 코타키나발루는 처음가서 이것저것 많이 알아보고 갔었고, 예쁜 노을이랑 바다도 보고 지금 생각하면 많이 생각나는 여행인 것 같다!

도착하는 첫 날에는 새벽에 도착해서 정신이 없던 때라 ATM에서 가져온 트래블월렛 카드로 현금을 뽑으려 했는데, 비밀번호가 몇번 실패하더니 ATM기가 카드를 먹어버려서 완전 멘붕이었다.. 다행히 지나가는 공항 직원분이 우리가 멘붕한게 보였는지 ATM기 카드 돌려받을 수 있게 알아도 봐주시고 숙소까지 갈 수 있도록 택시도 잡아주셨다..(결국 못찾았지만..) 다행히 현지 은행 중에 카카오뱅크 카드로 돈을 인출할 수 있는 곳이 있어서 다행이었지만 지금 생각하면 그때는 악몽이었다,,

첫 날에는 안좋은 일이 있었지만 그래도 다음 날이나 섬을 놀러가는 날은 날씨도 맑고 노을도 이뻐서 너무 만족스러웠다! 바다랑 노을을 보고 있으면 뭔가 힐링도 되게 별 생각없이 있을 수 있어서 좋았다! (반딧불도 봤지만 기대에 비해.. 적어서 아쉬웠다)

++ 샹그릴라 리조트를 추천합니다!! 꼭 하루는 가보세요

1학기 11학점

마지막 학기는 거의 교양만 듣고 졸업프로젝트만 했던 것 같다. 졸업프로젝트는 클라우드 환경에서 네트워크 트래픽 실시간 이상탐지를 구축하는 프로젝트를 진행하였다. 기존에 파트타임에서 알게 되었던 Apache Flink를 활용하여 AWS의 여러 가지 서비스를 결합하여 실시간으로 발생하는 네트워크 트래픽(vpc flow logs)를 처리하여 이상 탐지를 할 수 있도록 구축하였다. 비록 비용과 데이터 측면에서 정확도는 크게 좋지 않았지만 교수님께서 좋은 평가를 주셨고 마지막 학기도 잘 마무리할 수 있었다!

또한, 이때 취업 준비 한다고 여러 회사 코테도 보고(결국엔 다 떨어졌지만..ㅠㅠ) 지원서도 작성해보고 열심히 살았던 것 같다. 결과적으로는 1학기 때 운이 좋게 가고 싶던 회사 면접을 보게 되었고 좋은 결과를 얻게 되어 취뽀를 하게 되었다❗

일본 여행(4/8 ~ 4/11)

이번엔 일본 여행을 갔다..^^ 해외 여행간지 한달 밖에 안됐는데 충동적으로 가버린 일본 여행..ㅋㅎㅎㅎㅋ

시작은 일본가서 벚꽃을 보고 싶다는 생각과.. 지금 아니면 여행을 많이 못가본다는 생각에 충동적으로 오사카 여행을 결심했다 ㅎㅎ

오사카 말고도 교토도 당일치기로 놀러갔다오고 유니버셜 스튜디오도 가보고 날마다 만보 넘게 걸어다녔다^^ㅎ 힘들었지만 일본에서 벚꽃 보고 싶었던 버킷리스트도 이루었고 보고싶었던 마리오도 봐서 만족스러웠다 ㅎ.. 다만 유니버셜 스튜디오는 놀이기구를 안타니까 볼것만 보면 진짜 오전만에 다 끝나는 일정인 것 같다,,

오랜만에 가보는 일본 여행에서 맛있는 것도 먹고 전철에서 일본 풍경도 보고 마음이 되게 편안해진것 같았다. 다음에 기회가 되면 2월에 삿포로 눈꽃 축제 버킷리스트도 이뤄보고 싶다.

7월 베트남 (7/2 ~ 7/10)

이번 년도는 유독 해외 여행을 몰아서 다 간 기분이었다ㅎㅎ,, 입사 전에 해외 여행을 한번 더 가기로 했고 여름에 유일하게 우기가 아닌 베트남 나트랑을 다녀왔다(우기가 아니라했는데 하늘이 맑은적이 별로 없었다...)

이번에는 꽤 길게 다녀왔고 나트랑에서 유명한 음식점은 거의 다 돌아본 것 같았다. 한국인들이 많이 놀러와서 그런지 한국인 입맛에 맞는 음식이 되게 많았고(코타키나발루는 먹을게 없어서 힘들었지만..) 그만큼 사람도 많아서 섬 투어 갔을 때 계속 사람에 치여서 헤엄치기 버거웠다^^..

정말 여러 가지 음식을 먹었지만 이 중 생각나는건 불닭 먹었던거라(젓가락이 없어서 칫솔로 먹은...) 삼겹살 조림?인것 같다 ㅎㅎ

개인적으로 우리는 미아 리조트를 갔지만 나트랑 간다면 비싼 리조트를 하루 정도 가보는걸 추천한다! 미아도 거의 개인 수영장 있는 방을 잡아서 비싸긴 했지만 물론 좋았다^^ㅎ

입사

드디어 기다렸던 입사 날이 되었다 ㅎㅎ 막상 입사 날이 다가오니 설레기도 하고 잘할 수 있을지 걱정도 많이 됐다. 지금와서는 많이 바쁘긴 하지만 잘 다니고 있고 팀분들도 너무 잘해주셔서 만족하며 다니고 있다. 또한, 회사의 문화와 업무에 익숙해지면서 내가 다른 회사를 잘 다닐 수 있는지 걱정이 된다 ㅎㅎ.. 나중을 위해서 영어 회화도 계속하면서 공부하고 있지만 여전히 나에게 언어는 어려운 것 같다..(한국어도..) 그래도 나의 커리어적인 성장을 위해 최대한 많은 걸 시도해보려고 하고 많은 걸 공부하려고 노력하고 있다..! 요새는 넥스트 커리어에 대해서도 조금씩 고민을 하고 있고 나중에 커피챗도 많이 해보면서 이런 고민을 좀 해결해나가고 싶다는 생각을 하고 있다.

9월 제주도(9/19~ 9/23)

이번 제주도 여행도 충동적으로 추석때 결심하게 된 여행이었다. 연휴도 길고 해서 남은 휴가도 쓸겸 가까운 제주도로 여행을 다녀왔다! 도착하자마자 진짜 무슨 비가 하늘에 구멍 뚫린듯이 엄청 쏟아졌고.. 와이퍼를 최대 속도로 해도 앞이 잘 안보일 정도였다,, 다행히 첫날에 비가 많이 온거에 비해 둘째날은 많은 비가 내리진 않았고 근처 공유 오피스로 가서 할일을 한 뒤 바다 구경을 했다 ㅎ

그 다음날에도 계속 날씨가 안좋아서 계획했던 일정은 전부 다 취소하고 가고 싶었던 우도도 못가게 되었다ㅠㅠ 아쉬운 맘을 달래고자 맛집을 찾아다녔고 우연히 찾아서 간 흑돼지 집이었는데 숯향과 육즙이 진짜 장난이 아니었다.. 지금도 여기만큼 맛있는 집은 못찾은 것 같다.. 그리고 고깃집 근처에 마침 우무가 있어서 후식으로 우무도 먹었다. ㅎㅎ

그 다음날은 그나마 날씨가 좀 괜찮아서 폭포를 보러갔고, 근처에 오설록이 있어서 녹차밭도 구경했다^^ㅎ

마지막 돌아가는 날에는 날씨가 맑아지고 햇빛도 잘들어서 너무 억울했다.. 여행 내내 날씨가 진짜 안좋았는데 돌아가는 날이 되어서 날씨가 맑아지니 너무 서글펐다ㅠㅠ..

강원도 여행(11/10 ~ 11/12)

이번년도 마지막 여행인 강원도 여행! 이번 년도에는 진짜 여행을 많이 간 것 같다.. 여행에만 쓴 돈을 확인해보니 거의 500만원 유럽 한달 살기 간 수준이었다.. 올해 초에 파트타임 하면서 벌었던 돈은 다 여행에 써버린 기분이었다..

첫 날에는 가을이라 단풍을 볼 수 있을줄 알고 발왕산 케이블카가 마지막으로 운행하고 안한다해서 갔는데 진짜 아무것도 없는 나무만 있어서 너무 실망스러웠다.. 그래도 풍경은 멋있었다..ㅠ

케이블카 갔다가 바로 강릉으로 넘어가서 시장도 구경하구 밤에는 바닷가 가서 불꽃놀이도 했다 ㅎㅎ^ 다음날에는 날씨가 너무 좋아서 바닷가 앞 카페 루프탑 가서 멍때리기를 시전했다..

오전에는 바다 구경을 하다가 오후에는 팀분께 추천받은 글램핑을 갔는데 되게 산 속 깊숙이 있었고 비용도 되게 비쌌다..ㅎㅎ,,,ㅠ

하지만 수영장도 따로 있고 글램핑도 너무 잘되어 있어서 만족스러웠고 다만 아쉬운건 계곡 근처라 그런지 날파리가 진짜 많았다.. 그래서 다들 고기를 일찍 먹고 들어가시는 분들이 많았던 것 같다,, 우리는 오로라 가루 사온게 아까워서 조금 더 있다가 들어갔다 ㅎ

글램핑 다음날에는 집가는 길에 횡성에 가서 송어를 먹었는데 사장님이 송어에 대한 자부심도 되게 강하셨고 맛있게 먹는 방법도 알려주셔서 너무 좋았다 ! 특히 송어 튀김은 나에겐 너무 담백하고 맛있었고 근처에 루지 타는 곳도 있어서 되게 알차게 놀 수 있었던 것 같다! 지금 생각해보면 체력이 장난 아니었던 것 같은데 루지 타고 연어집 사장님께 호수 산책을 추천 받아서 갔는데 사람도 없고 되게 걷기 좋아서 너무 만족스러웠다 !

마치며..

회고를 작성해보니.. 작년에는 진짜 여행만 다녔던 것 같고 기술 행사나 이런 참여를 좀 덜 했던 것 같다..ㅠ

올해에는 여행도 좋지만 나의 커리어에 대해서 고민도 해보고 앞으로의 나의 미래에 대해서 좀 더 고민을 해보는 게 좋을 것 같다!

또한, 올해에는 말을 좀 잘하는 사람이 되고 싶고 영어도 유창하게 하는 사람이 되고 싶다! 개인적으로 기술 공부보다 어려운게 말을 잘하는 것과 영어를 유창하게 잘하는 것인 것 같다.. ‍ 그리고 요새 운동을 안해서 롱런을 위해 체력 관리도 열심히 시작해야겠다는 생각이 들었다. (필라테스 시작할 예정이다!!)

올해는 진짜 영어도 열심히 하고 운동도 열심히 하고, 공부도 열심히 해서 더 나은 사람이 되어보도록 노력하겠습니다!! :)

SageMaker Unified Studio (preview) Introduction - (1)

@Eeap — Sun, 2 Feb 2025 21:21:57 +0900

이번 AWS reinvent 2024에서는 많은 AI/ML 서비스 기능들이 추가되었다. 그중 오늘은 2024년 12월에 공개된 SageMaker Unified Studio에 대해 소개해보려고 한다.

https://www.youtube.com/watch?v=5ZN-90fi3II

SageMaker Unified Studio란?

이번에 aws reinvent 2024에서는 분석 및 AI를 위한 차세대 통합 플랫폼으로 SageMaker Unified Studio를 공개하였다. 기존에 있던 SageMaker는 SageMaker AI라는 이름으로 변경되었고 기존에 사용하던 SageMaker 기능은 SageMaker AI 서비스에서 이용할 수 있게 되었다.

SageMaker Unified Studio는 아직 preview로 공개되었지만 하나의 웹 인터페이스로 AI/ML에 필요한 데이터 분석, 정제, 학습 등 다양한 작업을 할 수 있는 것으로 기대되고 있다. 또한, Amazon Q도 내재되어 있어 더욱더 편리하게 하나의 웹 인터페이스로 기존의 Glue, EMR, Athena 등의 데이터 작업과 SageMaker, Bedrock 등의 AI/ML 작업을 할 수 있다.

해당 웹 인터페이스를 이용하기 위해서는 관리자는 SageMaker Unified Studio 도메인을 생성하고 IAM Identity Center과 IAM 설정 등의 작업이 필요하다.

SageMaker Unified Studio 웹 인터페이스는 IAM User나 SSO 로그인을 통해서 이용할 수 있으며 관리자는 IAM Identity Center에 유저 정보를 등록하는 추가 작업이 필요하다.

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/getting-started-access-the-portal.html#set-up-SSO-IDC

Access Amazon SageMaker Unified Studio - Amazon SageMaker Unified Studio

You only need one method to sign in to Amazon SageMaker Unified Studio. If you have already configured an AWS account or SSO credentials that work with the domain URL you received from your admin, you can skip the steps in this section.

docs.aws.amazon.com

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/adminguide/user-management.html

Managing users in Amazon SageMaker Unified Studio - Amazon SageMaker Unified Studio

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

Domain units

SageMaker unified studio를 시작할 때 기본적으로 domain이 1개 생성되게 되지만, 팀이 업무별로 세분화되어 있고 팀간의 리소스 제한이 필요한 경우 domain units을 사용하여 기본적으로 생성된 domain 안에 child 도메인을 생성하여 별도로 분리할 수 있다. domain units 생성은 웹 인터페이스 상단의 Govern > domain units을 클릭한 후 해당 페이지에서 domain units을 생성할 수 있다.

추가로 생성한 domain units 이름이나 기존의 domain units 이름을 클릭해서 해당 domain 내에 있는 유저들에 대한 권한을 domain units 단위로 관리할 수 있다.

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/assign-authorization-policies-to-users-in-domain-unit.html

Assign authorization policies to users and groups within an Amazon SageMaker Unified Studio domain unit - Amazon SageMaker Unifi

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/assign-authorization-policies-to-projects-in-domain-unit.html

Assign authorization policies to projects within an Amazon SageMaker Unified Studio domain unit - Amazon SageMaker Unified Studi

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

Project

SageMaker unified studio 에서는 생성한 domain 내 project 단위로 리소스 및 업무 단위를 분리할 수 있다. 또한, project에 멤버를 추가하거나 삭제하여 project 내의 리소스에 접근할 수 있는 권한을 관리할 수 있다.

웹 인터페이스 내에서 project를 만들 때는 project profile을 이용해서 만들게 되고, 여기서 project profile은 사용할 aws 리소스와 도구들이 미리 정의된 일종의 template라고 볼 수 있다. 현재 해당 서비스에서 제공하고 있는 project profile은 데이터 분석 및 AI-ML 모델 개발, SQL 분석, 생성형 AI 애플리케이션 개발이 있다. 추가로 해당 profile들이 웹 인터페이스에서 보이지 않는 경우 AWS 콘솔에서 생성한 도메인에 들어가 Project profiles에 있는 항목을 활성화 해주는 작업이 필요하며, 여기서 필요한 경우 추가로 커스텀하여 profile을 생성할 수 있다.

https://docs.aws.amazon.com/sagemaker-unified-studio/latest/adminguide/project-profiles.html

Project profiles in Amazon SageMaker Unified Studio - Amazon SageMaker Unified Studio

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

오늘은 간략하게 SageMaker unified studio와 그 안에서 사용되는 domain units과 projects에 대해서 알아보았다. 다음에는 현재 제공되고 있는 세 가지의 project profile에 대해 알아보고자 한다.

Bedrock Agent API

@Eeap — Sat, 4 Jan 2025 17:15:16 +0900

오늘은 이전 글에 이어 Bedrock API에 대해 작성하려고 한다. 이전 글에 소개했던 bedrock API, bedrock-rutime API 이외에도 bedrock-agent API, bedrock-agent-runtime API도 존재한다. 오늘은 나머지 두 가지 API에 대해 알아보고자 한다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/welcome.html

Amazon Bedrock API Reference - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

Bedrock Agent API

Bedrock Agent Endpoint는 말 그대로 Bedrock에 있는 Agent를 만들고 관리하거나 Knowledge Bases(RAG이라고도 불림), prompt, prompt flow 관리 등 다양한 작업을 하는 데 사용이 된다.

주로 Knowledge Base를 생성하거나 Agent를 만들고 관리하기 위해 해당 API를 사용하며 Knowledge Base에 쓰이는 Data source를 만들고 데이터를 Knowledge Base에 동기화하는 작업 등에도 주로 쓰이게 된다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/API_Operations_Agents_for_Amazon_Bedrock.html

Bedrock Agent Runtime API

Bedrock Agent Runtime Endpoint는 이전에 Bedrock Agent API로 만든 Knowledge Base나 Agent를 실행하기 위해 주로 쓰이는 API이며 이외에 prompt와 관련된 작업도 가능하다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/API_Operations_Agents_for_Amazon_Bedrock_Runtime.html

Knowledge Base에는 동기화한 데이터 기준으로 조회하는 Retrieve API가 있고 동기화한 데이터와 Foundation Model을 이용하여 질문을 할 수 있는 RetrieveAndGenerate API가 있다. RetrieveAndGenerate 같은 경우 FM 모델도 사용하기 때문에 일반적으로 Retrieve API를 사용했을 떄보단 추가적인 비용이 발생할 수 있다.

https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-test.html

Test your knowledge base with queries and responses - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

오늘은 간단하게 Bedrock Agent를 만들고 호출하는 예제를 만들어보고자 한다. 이때 해당 Agent에는 람다를 이용한 Action Group이나 Knowledge Base를 사용하지 않고 단순히 python code 테스터 용도로 code interpreter 기능을 사용해서 agent를 만들고자 한다.

import boto3

bedrock = boto3.client('bedrcok',region_name='us-east-1')
bedrock_agent = boto3.client('bedrock-agent',region_name='us-east-1')
bedrock_agent_runtime = boto3.client('bedrock-agent',region_name='us-east-1')

# List Anthropic model lists for finding model arn
bedrock.list_foundation_models(byProvider='Anthropic',byOutputModality='TEXT')

# Set variables
agent_name = "python-interpreter"
instruction = "you are a python code tester. When given python code, you should execute it and check errors and return the result of testing.
model_arn = "<model-arn>" # anthropic.claude-3-sonnet-20240229-v1:0

# create Agent
res = bedrock_agent.create_agent(
	agentName=agent_name,
    instruction=instruction,
    foundationModel=model_arn,
    agentResourceRoleArn="<service-role-arn>"
)

agent_id = res['agent']['agentId']
print(f"Created agent with Id: {agent_id}")

# create code interpreter action group
bedrock_agent.create_agent_action_group(
	agentId=agent_id,
    agentVersion="DRAFT"
    actionGroupName="CodeInterpreterAction"
    parentActionGroupSignature="AMAZON.CodeInterpreter",
    actionGroupState="ENABLED"
)

# create a draft version
bedrock_agent.prepare_agent(agentId=agent_id)

# create agent alias
bedrock_agent.create_agent_alias(
	agentAliasName = "agent-alias-v1",
    agentId=agent_id
)

agent_alias = response['agentAlias']['agentAliasId']

해당 코드를 통해 Bedrock Agent를 만들고, code interpreter 역할을 할 수 있도록 하기 위해 CreateAgentActionGroup API를 사용하였다.

https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentActionGroup.html#bedrock-agent_CreateAgentActionGroup-request-parentActionGroupSignature

CreateAgentActionGroup - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

테스팅을 위해 PrepareAgent API를 사용하였으면 Agent를 사용하기 위해서는 Alias도 생성이 필요하여 CreateAgentAlias API를 사용하였다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/API_agent_PrepareAgent.html

PrepareAgent - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html

CreateAgentAlias - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

https://docs.aws.amazon.com/bedrock/latest/userguide/agents-deploy.html

Deploy and integrate an Amazon Bedrock agent into your application - Amazon Bedrock

Deploy and integrate an Amazon Bedrock agent into your application When you first create an Amazon Bedrock agent, you have a working draft version (DRAFT) and a test alias (TSTALIASID) that points to the working draft version. When you make changes to your

docs.aws.amazon.com

이제 Agent를 사용하기 위한 준비는 끝났으니 실제로 간단한 파이썬 코드를 이용해서 테스트를 해보고자 한다.

def test(code):
	res = bedrock_agent_runtime.invoke_agent(
    	agentId=agent_id,
        agentAliasId=agent_alias,
        sessionId="test-session",
        inputText=f"please execute this python code and test the code error, finally return the results of testing : {code}"
    )
    completion=""
    for event in res.get("completion"):
    	chunk = event["chunk"]
        completion = completion + chunk["bytes"].decode()
    return completion
    
test_code="""
def fib(n):
	f = [0,1]
    for i in range(2,n):
    	f.append(f[i-1]+f[i-2])
    return f
n = 10
print(fib(n))
"""

result = test(test_code)
print("Result: ", result)

# delete Agent after testing
bedrock_agent.delete_agent(agentId=agent_id, skipResourceInUseCheck=True)

오늘은 이렇게 간단하게 Agent를 생성하는 예제를 알아보았지만 Bedrock Agent API를 활용해서 Knowledge Base나 Data source 등 다양한 작업들을 할 수 있다. 다만, Knowledge Base를 생성할 때 AWS 콘솔을 이용하면 손쉽게 Vection Store의 경우 OpenSearch Serverless를 quick start로 생성할 수 있지만 코드로 생성할 경우엔 OpenSearch Serverless Collection도 다 하나씩 만들어주고 넣어야하며 약간 더 복잡한 작업을 필요로 한다.

Basic Bedrock API

@Eeap — Sun, 22 Dec 2024 15:51:31 +0900

오늘 Amazon Bedrock의 API에 대해 살펴보고 실제로 어떻게 활용하는지 알아보고자 한다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/welcome.html

Amazon Bedrock API Reference - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

Bedrock 서비스에서는 현재 총 네 종류의 Service Endpoint를 제공해주고 있다. 오늘은 각각의 Endpoint 들에 대해 간단히 살펴보고 실제로 많이 쓰는 예제 코드를 작성해보고자 한다. 예제 코드의 경우 CLI를 사용하는 방법도 있지만 오늘은 Python SDK인 boto3를 이용해서 작성해보고자 한다.

Bedrock API

해당 Endpoint Actions에는 모델을 배포하고 관리하며, 훈련 작업을 할 수 있는 다양한 작업들을 포함하고 있다. AWS console에서 CloudTrail을 확인해보면 우리는 Bedrock에서 모델을 Custom하는 Job을 실행시키거나 학습시키는 등의 작업을 할때 주로 해당 Endpoint에 해당하는 Actions들을 호출하는 것을 확인할 수 있다.

간단하게 해당 리전에 포함되는 Foundation Model을 호출해 어떻게 활용하는지 알아보자. ListFoundationModels API는 호출에 필요한 다양한 파라미터를 포함하고 있으며 아래 코드를 통해서는 us-east-1 버지니아 리전에 포함된 Anthropic 제공자로 공급이 되는 Foundation Model을 확인할 수 있다.

import boto3

# Bedrock client
bedrock = boto3.client('bedrock',region_name="us-east-1",)

bedrock.list_foundation_models(byProvider="Anthropic",byOutputModality="TEXT")

https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/list_foundation_models.html

list_foundation_models - Boto3 1.35.6 documentation

Previous list_evaluation_jobs

boto3.amazonaws.com

Bedrock Runtime API

다음으로 Bedrock Runtime Endpoint에 대해 알아보자. 이전 Bedrock API가 많은 Actions들을 포함했다면 Bedrock Runtime API에는 많은 Actions들이 존재하지 않으며 이름 그대로 주로 Bedrock 모델을 호출하거나 그런 용도의 API들이 포함되어 있다. 주로 우리는 모델을 호출하기 위해 InvokeModel, Converse API를 사용하게 된다. 두 API의 차이는 InvokeModel은 단일 프롬프트를 통해 원하는 추론 결과를 얻고자 할때 주로 사용하게 되며 Converse API는 2024년 새로 추가된 API로 InvokeModel이 각각의 모델 공급자에 맞게 Inference 파라미터를 수정했다면 Converse API는 하나의 코드 작성으로 여러 모델을 사용할 수 있으며 지속적인 대화형 챗봇 구현이 용이하다.

https://aws.amazon.com/about-aws/whats-new/2024/05/amazon-bedrock-new-converse-api/?source=post_page-----001c341347ca--------------------------------

Amazon Bedrock의 신규 Converse API 발표 - AWS

오늘 Amazon Bedrock의 신규 Converse API가 발표되었습니다. Converse API를 사용하는 개발자는 Amazon Bedrock 모델을 일관된 방식으로 호출할 수 있으므로 추론 파라미터 등을 모델별 차이점에 따라 조정하

aws.amazon.com

다음 예제를 통해 어떻게 사용하는지 살펴보자. 먼저, InvokeModel API는 다음과 같이 사용할 수 있다.

import boto3
import json
brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "\n\nHuman: what is AWS ? \n\nAssistant:",
    "max_tokens_to_sample": 300,
    "temperature": 0.1,
    "top_p": 0.9,
})

modelId = 'anthropic.claude-v2'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)

response_body = json.loads(response.get('body').read())

print(response_body.get('completion'))

이때, 주의해야 할 점은 앞서 말한 것처럼 각각의 모델마다 Inference 파라미터가 다르기 때문에 모델에 맞는 파라미터를 참고해서 작성해야한다.

https://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/model-parameters.html

파운데이션 모델의 추론 요청 파라미터 및 응답 필드 - Amazon Bedrock

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

해당 리전에서 지원되는 모델의 경우 해당 링크를 통해 확인할 수 있다.

Converse API는 다음과 같이 사용할 수 있으며 이미지, 문서 등 다양한 type들을 사용할 수 있다. 더 자세한 코드는 해당 링크에서 확인할 수 있다.

import logging
import boto3


from botocore.exceptions import ClientError


logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)


def generate_message(bedrock_client,
                     model_id,
                     input_text,
                     input_document):
    # Message to send.

    message = {
        "role": "user",
        "content": [
            {
                "text": input_text
            },
            {
                "document": {
                    "name": "MyDocument",
                    "format": "pdf",
                    "source": {
                        "bytes": input_document
                    }
                }
            }
        ]
    }

    messages = [message]

    # Send the message.
    response = bedrock_client.converse(
        modelId=model_id,
        messages=messages
    )

    return response

def pdf_to_bytes(file_path):
    try:
        with open(file_path, 'rb') as file:
            pdf_bytes = file.read()
        return pdf_bytes
    except IOError as e:
        print(f"파일을 읽는 중 오류가 발생했습니다: {e}")
        return None

def main():
    model_id = "anthropic.claude-3-sonnet-20240229-v1:0"
    input_text = "What's in this document?"
    input_document = pdf_to_bytes("bedrock.pdf")
    
    try:
        bedrock_client = boto3.client(service_name="bedrock-runtime")
        response = generate_message(
            bedrock_client, model_id, input_text, input_document)

        output_message = response['output']['message']

        print(f"Role: {output_message['role']}")

        for content in output_message['content']:
            print(f"Text: {content['text']}")

        token_usage = response['usage']
        print(f"Input tokens:  {token_usage['inputTokens']}")
        print(f"Output tokens:  {token_usage['outputTokens']}")
        print(f"Total tokens:  {token_usage['totalTokens']}")
        print(f"Stop reason: {response['stopReason']}")
    finally:
        print("end")

if __name__ == "__main__":
    main()

Converse API를 활용한다면 InvokeModel을 쓸때처럼 각각의 모델 공급자에 맞게 Inference 파라미터를 수정할 필요가 없고 이미지나 문서 첨부 등을 간단하게 프롬프트에 활용할 수 있다. 다만 해당 API도 모든 모델에 지원이 되는 것이 아니기 때문에 해당 문서를 참고하면 좋을 것 같다.

https://docs.aws.amazon.com/bedrock/latest/userguide/conversation-inference-supported-models-features.html

Supported models and model features - Amazon Bedrock

Cohere Command (Text) and AI21 Labs Jurassic-2 (Text) don't support chat with the Converse API. The models can only handle one user message at a time and can't maintain the history of a conversation. You get an error if you attempt to pass more than one me

docs.aws.amazon.com

오늘은 이렇게 간단하게 Bedrock API에 대해 알아보았고 다음에는 Knowledge Base를 만들고 호출하는 Bedrock Agent API에 대해 알아보고자 한다.

Amazon Bedrock

@Eeap — Sat, 9 Nov 2024 15:37:22 +0900

오늘은 AWS에서 많이 홍보하고 있는 Bedrock 서비스에 대해 알아보고자 한다.

https://aws.amazon.com/ko/bedrock/

파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock - AWS

Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, Amazon과 같은 주요 AI 회사의 고성능 FM을 쉽게 이용하여 최신의 생성형 AI 혁신을 빠르게 조정하고 활용할 수 있도록 도와줍니다. 선택

aws.amazon.com

22년부터 시작된 GenAI의 열풍은 많은 회사들로 하여금 AI를 급격하게 발전시키도록 만든 것 같다. 요새 어딜가나 AI는 기본적으로 서비스에 들어가고 애플 핸드폰 조차도 이제 AI가 탑재돼서 출시되는 시대가 된 것 같다. 그만큼 AI 트렌드를 빠르게 따라가서 AI 활용에 대해 공부하는 것 또한 중요해진 것 같다.

따라서, 오늘은 AI 애플리케이션을 만들기 위해서 Bedrock에서 제공되는 서비스는 어떠한 것이 있는 지 알아보고자 한다.

Foundation Models

흔히 AI를 공부할 때 보면 FM이라는 용어를 되게 많이 접하게 된다. FM은 쉽게 생각하면 미리 대규모 데이터를 이용해서 학습된 모델이라고 생각하면 된다. 사실 전문적으로 모델을 처음부터 개발하는 사람이 아니라면 ChatGPT 같은 생성형 AI 애플리케이션을 만드는 것은 쉬운 일이 아닐 것이다. 이를 위해서 AI 엔지니어가 쉽게 튜닝해서 새로운 모델을 만들 수 있도록 제공되는 게 FM이고 Amaozon Bedrock 서비스에서는 여러 가지 FM을 제공해주고 있다. Meta의 유명한 Llama부터 Anthropic의 Claude, Amazon 자체의 Titan 등 다양한 모델들이 제공되고 있다.

https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html

Supported foundation models in Amazon Bedrock - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

글로벌을 타겟으로 하는 회사만큼 리전마다 제공되는 모델의 종류도 다르고 만약 한국이 아닌 다른 리전에 있는 모델을 이용하고 싶다면 해당 리전에 원하는 모델이 있는 지 먼저 찾아보면 좋을 것 같다.

https://docs.aws.amazon.com/bedrock/latest/userguide/models-regions.html

Model support by AWS Region - Amazon Bedrock

Model support by AWS Region Amazon Bedrock model availability varies by AWS Region. All models are supported in the US East (N. Virginia, us-east-1) and the US West (Oregon, us-west-2) Regions, except for the following exceptions: Amazon Titan Text Premier

docs.aws.amazon.com

추가로 우리는 각 모델을 사용하기 전에 Bedrock 서비스의 playground에서 모델을 테스트 해볼 수도 있다.

https://docs.aws.amazon.com/bedrock/latest/userguide/playgrounds.html

Generate responses in the console using playgrounds - Amazon Bedrock

If the response violates the content moderation policy, Amazon Bedrock doesn't display it. If you have turned on streaming, Amazon Bedrock clears the entire response if it generates content that violates the policy. For more details, navigate to the Amazon

docs.aws.amazon.com

Customize Model for your use case

그렇다면 우리는 이제 앞서 언급한 FM을 활용해서 어떻게 우리만의 Custom Model로 만들 수 있을까?

방법은 간단하게 우리만의 목적(예를 들어 관광 관련 정부 단체면 관광 정보 추천)을 위해서 관련된 데이터를 모델에 학습을 시키거나 모델의 파라미터를 조정해서 튜닝 작업을 하는 것이다.

https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models.html

Customize your model to improve its performance for your use case - Amazon Bedrock

You are charged for model training based on the number of tokens processed by the model (number of tokens in training data corpus × number of epochs) and model storage charged per month per model. For more information, see Amazon Bedrock pricing.

docs.aws.amazon.com

모델의 파라미터를 조정해서 튜닝을 할 경우 모델마다 다르기 때문에 아래 문서를 참고하면 좋을 것 같다.

https://docs.aws.amazon.com/bedrock/latest/userguide/custom-models-hp.html

Custom model hyperparameters - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

이렇게 만든 모델은 정말로 내가 원하는 목적에 맞게 추론(inference)를 잘하는 지 확인하는 과정 또한 중요하다. Bedrock 문서에서는 model의 performance를 평가하기 위한 가이드가 잘 나와있다. 해당 문서를 참고해서 evaluation job을 만들고 모델의 성능을 평가하는 것 또한 모델링 과정에서 중요하다. 사실 이 과정을 거쳐서 모델 검증이 잘 되어야 우리가 흔히 말하는 할루시네이션 즉 거짓 정보를 만들어내는 현상도 방지할 수 있다. 사실 아직까지는 할루시네이션 현상을 100% 전부 다 막을 수는 없다고 생각한다. 개인적으로 해당 현상이 일어나는 걸 전부 다 막겠다긴 보다는 그래도 발생할 확률을 줄이는 게 최선이라고 생각한다. 그래서 요새 뒤에서도 언급하겠지만 Prompt Engineering 또한 중요한 과정 중 하나인 것 같다.

https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation.html

Evaluate the performance of models in Amazon Bedrock - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

Knowledge bases

앞서 말한 할루시네이션 현상을 방지하기 위해 나온 기능으로 Bedrock에서는 Knowledge bases, AI 쪽에서는 흔히 RAG 기법이라고 불리는 검색 증강 생성 기법이 있다. 해당 방식은 모델이 과거 데이터 뿐만 아니라 현재 데이터도 바라볼 수 있게 하고 모델이 계속해서 유사한 데이터를 찾아 분석하고 내가 던진 질문에 대한 답변을 발전시켜 나가서 사실 기반의 정확한 답변을 얻을 수 있도록 하는 방식이다.

Amazon Bedrock에서는 해당 기능을 Knowledge bases라는 이름으로 제공하고 있고 해당 기능을 활용해서 모델은 더 지능적으로 내가 원하는 답변을 추론할 수 있게 된다. 또한, 해당 기능에서는 web crawling을 통해 데이터를 수집해서 나의 Bedrock 모델이 더 다양하고 연관성 있는 정보를 바탕으로 답변을 추론하도록 만든다.

https://aws.amazon.com/ko/blogs/machine-learning/implement-web-crawling-in-knowledge-bases-for-amazon-bedrock/

Implement web crawling in Amazon Bedrock Knowledge Bases | Amazon Web Services

Amazon Bedrock is a fully managed service that offers a choice of high-performing foundation models (FMs) from leading artificial intelligence (AI) companies like AI21 Labs, Anthropic, Cohere, Meta, Stability AI, and Amazon through a single API, along with

aws.amazon.com

또한, 여기서 데이터를 저장하기 위해서는 벡터 임베딩 기법을 사용하는데 이는 내가 말한 단어나 문장을 숫자로 변환하는 기법이다. 이러한 벡터 임베딩 정보는 벡터 스토어라는 곳에 저장하여 나중에 데이터가 들어왔을 때 해당 벡터 스토어에서 유사한 관계의 데이터를 찾아 추론을 하게 된다. 이때, AWS 에서 지원되는 벡터 스토어로는 OpenSearch 서비스가 있고 이외에도 RDS의 Aurora 등 다양한 서비스들이 있다.

https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html

Retrieve data and generate AI responses with knowledge bases - Amazon Bedrock

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-setup.html

Prerequisites for your own vector store for a knowledge base - Amazon Bedrock

If you use MongoDB Atlas, you agree to authorize AWS to access the designated third-party source on your behalf in order to provide vector store services to you. You're responsible for complying with any third-party terms applicable to use and and transfer

docs.aws.amazon.com

Prompt Engineering

요새 ChatGPT 같은 GenAI를 많이 사용하는 만큼 원하는 결과를 도출하기 위한 Prompt Engineering도 중요해지고 있다. 사실 우리가 원하는 답은 단순히 지하철을 타고 서울역에서 강남역으로 가기 위한 노선 정보를 묻는 것인데 AI에게 "서울역에서 강남역까지는 어떻게 가야 해?" 라는 단순한 질문을 하면 버스 경로를 추천해줄 때도 있고 택시를 타는 방법도 추천해줄 때가 있다. 이렇듯 정확한 우리의 니즈를 반영하기 위해서는 AI에게 내가 정확하게 어떤 정보를 원하고 있고 어떤 답변을 내주면 좋겠는 지 같이 prompt 안에 넣어야 한다. 이외에도 prompt engineering을 하는 이유는 입력 토큰이라고 불리는(모델마다 다르겠지만 여기선 예시로 한 단어에 한 토큰이라고 가정) 토큰 단위마다 가격을 측정하기도 하기 때문이다.

https://aws.amazon.com/bedrock/pricing/?nc1=h_ls

파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock 요금 - AWS

Amazon Bedrock 기술 자료는 FM과 에이전트가 회사의 개인 데이터 소스에서 컨텍스트 정보에 액세스할 수 있도록 완전관리형 엔드 투 엔드 검색 증강 생성(RAG) 워크플로를 제공합니다. 이를 통해 더

aws.amazon.com

그러면 Prompt Engineering은 어떻게 해야 잘 한다 할 수 있을까? 간단하게 내가 사용하려고 하는 모델의 가이드를 보면 된다. 대부분의 모델은 Prompt Engineering을 하는 방법에 대한 가이드를 문서로 남겨놓았다. 이를 참고한다면 기존의 단순한 질문에 대한 답보다 더 나은 Prompt 결과를 얻을 수 있다.

https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview

Prompt engineering overview - Anthropic

A lighter weight version of our prompt engineering tutorial via an interactive spreadsheet.

docs.anthropic.com

Bedrock Agent

사실 앞서 말한 RAG이나 Prompt Engineering이나 따로 따로 우리가 하기보다는 하나로 통합돼서 관리되면 더 편리함을 느낄 것이다. 그래서 Amazon Bedrock에서는 Agent라는 기능을 제공해주고 있다. 해당 기능을 사용하면 우리는 앞서 말한 기능들을 더욱 더 편리하게 자동화하고 업무의 생산성을 높일 수 있다.

https://aws.amazon.com/bedrock/agents/?nc1=h_ls

AI 에이전트 - Agents for Amazon Bedrock - AWS

Amazon Bedrock 에이전트는 사용자 지침, 작업 그룹 및 기술 자료를 사용하여 프롬프트 템플릿을 자동으로 생성합니다. 이 템플릿을 기준으로 삼아 자동으로 생성된 프롬프트 템플릿을 세부적으로

aws.amazon.com

Bedrock Guardrail

마지막으로는 Guardrail에 대해 설명하고자 한다. GenAI를 사용할 때 몇몇 유저는 비속어를 섞어서 prompting을 할 수도 있다. 만약 그럴 경우 AI가 해당 데이터를 학습하게 된다면 누군가는 비속어로 된 답변을 얻게 될 것이다. 그걸 방지하기 위해 Bedrock에서는 Guardrail 서비스로 유해한 정보를 filtering하고 유저의 개인 정보 같은 민감한 정보들이 prompting이 되지 않도록 방지할 수 있게끔 제공해주고 있다. 또한, Guardrail을 잘만 사용한다면 앞서 언급한 할루시네이션 현상도 미리 감지하고 예방할 수도 있을 것이다.

https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails.html

Stop harmful content in models using Amazon Bedrock Guardrails - Amazon Bedrock

Amazon Bedrock Guardrails supports English-only. Evaluating text content in other languages can result in unreliable results.

docs.aws.amazon.com

Conclusion

오늘은 이렇게 Bedrock에 있는 기능들에 대해 다루고 Bedrock이 어떤 서비스인지 알아보았다. 요새 AI가 화두인 만큼 해당 기술에 대한 지식을 키우고 잘 활용하는 능력 또한 매우 중요한 것 같다. 예전에는 개개인이 방대한 정보의 바다 속에서 필요한 정보를 찾기 위해서 구글링을 하면서 많은 시간을 들였는데 요새는 간단한 Prompting 한 번이면 내가 원하는 정보를 찾을 수 있게 된 것 같다. 그만큼 AI를 잘 활용하는 게 매우 중요해졌고 우리는 해당 기술들을 잘 활용하기 위해 계속 끊임없이 공부를 해야할지도 모른다... 그리고 Bedrock 과 같은 서비스도 잘 활용해서 나만의 생산성을 높일 수 있는 도구로 잘 활용하는 것 또한 앞으로의 과제일 것 같다.

+++

추가로 AWS에서는 Bedrock workshop이나 sample 등 다양한 소스 코드를 제공해주고 있어서 관심이 있다면 개인 Jupyer Notebook을 통해서 한 번씩 해봐도 좋을 것 같다! (이때, 예상치 못하게 과금이 될 수 있기 때문에 요금은 잘 확인하고 사용을 다 한 리소스는 삭제하면 좋을 것 같다!)

https://github.com/aws-samples/amazon-bedrock-workshop

GitHub - aws-samples/amazon-bedrock-workshop: This is a workshop designed for Amazon Bedrock a foundational model service.

This is a workshop designed for Amazon Bedrock a foundational model service. - GitHub - aws-samples/amazon-bedrock-workshop: This is a workshop designed for Amazon Bedrock a foundational model se...

github.com

https://github.com/aws-samples/amazon-bedrock-samples

GitHub - aws-samples/amazon-bedrock-samples: This repository contains examples for customers to get started using the Amazon Bed

This repository contains examples for customers to get started using the Amazon Bedrock Service. This contains examples for all available foundational models - aws-samples/amazon-bedrock-samples

github.com

Amazon SageMaker 개발 환경

@Eeap — Sun, 20 Oct 2024 14:57:49 +0900

오늘은 Amazon SageMaker가 어떤 서비스이며 어떤 기능들이 있는지 알아보고자 한다.

https://aws.amazon.com/ko/sagemaker/

기계 학습 - Amazon Web Services

데이터 준비 및 모델 훈련부터 모델 배포까지 전체 ML 개발 여정 동안 지원을 받으세요. Amazon Q Developer는 코드 제안을 생성하고, 질문에 답하고, 오류 발생 시 문제 해결 지원을 제공할 수 있습니

aws.amazon.com

Amazon SageMaker는 소개 페이지에 나와있는 것처럼 개발자 및 데이터 사이언티스트가 다양한 규모의 ML 모델을 쉽고 빠르게 구축하며 배포할 수 있도록 지원하고 있는 완전 관리형 서비스이다.

즉, Amazon SageMaker를 이용하면 데이터를 라벨링하는 과정부터 모델 학습, 모델 평가, 배포, 추론 과정을 AWS 환경에서 구축하여 운영할 수 있다.

사실 Amazon SageMaker에는 다양한 기능들이 있기 때문에 모든 기능들을 한번에 살펴보는 것을 사실상 힘들 수도 있다. 그래서 오늘은 간단하게 Amazon SageMaker에서 제공하는 ML 환경에 대해 알아보고자 한다.

Amazon SageMaker Studio

사실 기존에 있는 Amazon SageMaker Studio 환경이 Amazon SageMaker Studio Classic으로 명명되지 그리 크게 오래되지 않았다. 현재는 이전에 있던 Amazon SageMaker Studio를 Studio Classic이라고 부르고 쓰고 있고 최근에 나온 새로운 환경의 웹 기반 ML 워크플로우 환경을 Amazon SageMaker Studio라고 부르고 있다.

Amazon SageMaker Studio에서는 애플리케이션은 아래와 같이 JupyterLab, Code Editor, RStudio, Canvas, Studio Classic이 있다. 사용자는 Amazon SageMaker Studio의 애플리케이션을 활용해서 자신만의 머신 러닝 모델링을 위한 코드를 개발하고 관리할 수 있으며 JumpStart를 활용해서 기존에 이미 prebuilt로 준비된 솔루션(ex. FM)을 사용할 수도 있다.

이외에도 SageMaker Studio는 고객이 이미 가지고 있는 Amazon EFS를 마운팅 할 수 있도록 지원하고 있고 만약 사용하고 있지 않는 (즉, Idle 상태) 애플리케이션을 종료할 수 있는 기능도 갖추고 있다. 추가적으로 Lifecycle configuration이나 Local Mode를 지원함으로써 고객의 초기 셋팅이나 로컬 환경에서 구동해볼 수 있는 기능을 제공하고 있다.

Amazon SageMaker Studio Classic

Amazon SageMaker Studio Classic은 사실 앞서 설명한 Studio와 크게 다르지 않다. 단지 예전 버전이어서 현재 Studio보다는 기능이 조금 덜 들어가 있는 수준이다. 마찬가지로 Studio Classic에서도 Jupyter 노트북을 활용하여 데이터 준비부터 학습, 배포까지 관리할 수 있다. 기존에 사용하고 있던 사용자들은 Studio Classic을 사용할 수 있지만 공식 문서에 마이그레이션과 참고에 안내를 한 것처럼 지원 범위가 좁혀지고 있기 때문에 새로운 사용자는 Studio를 활용하는 방법이 더 나은 선택일 수도 있다.

Amazon SageMaker Notebooks

Amazon SageMaker Notebook instance는 JupyterLab이나 Jupyter를 실행할 수 있는 컴퓨팅 인스턴스이다. 사용자는 앞서 언급했던 SageMaker Studio를 활용하는 방식 이외에도 Notebook instance를 통해서 Jupyter 환경에서 코드를 개발할 수 있고 자신이 원하는 인스턴스 타입을 고르거나 VPC 환경을 셋팅하는 등의 작업을 할 수 있다.

Amazon SageMaker Notebook의 Jupyter환경에서 사용자는 AWS가 제공하는 Amazon SageMaker Python SDK와 AWS SDK for python(boto3), AWS CLI, Conda, Pandas등 다양한 라이브러리를 활용해서 모델을 개발할 수 있다. 추가적으로 Git repositories를 등록해서 초반에 자신의 git repository를 셋팅해놓을 수 있고 Lifecycle Configuration을 통해 초기에 설정할 환경 (패키지 설치 같은)을 셋팅할 수 있다.

Amazon SageMaker Canvas

Amazon SageMaker에서는 또 다른 환경으로 Canvas라는 환경을 지원하고 있다. 이 환경에서는 사용자는 이전에 JupyterLab으로 코딩을 하는 등의 작업 필요 없이 단순히 클릭만으로 (즉, 노코드 환경) 데이터를 넣고 모델을 구축할 수 있다.

사실 이러한 환경은 개발에 대한 경험이 크지 않고 빠르게 모델을 배포하고 예측 결과를 도출하고 싶어하는 사용자에게 적합한 기능이라고 생각한다. Python 코드를 보고 공식문서를 뒤져가면서 함수명과 적합한 파라미터 명, 데이터 parsing 하는 등의 작업은 많은 시간 투자를 요구할 수 있다. 그럴 때 Amazon SageMaker Canvas를 이용한다면 손쉽게 가지고 있는 데이터를 이용해서(다양한 Data connector를 제공해주고 있기 때문) AWS에서 제공해주는 FM을 학습시키고 개인에게 맞는 모델을 개발(추가적인 custom 작업인 파라미터 튜닝 등)하고 Inference를 하기 위해 활용할 수 있다.

Amazon SageMaker RStudio

마지막으로는 RStudio에 대해 알아보려고 한다. RStudio는 이름 그대로 R을 위한 개발 환경을 제공해주는 기능으로 코드를 실행하거나 디버깅 및 작업 관리 등을 할 수 있다. R언어 개발자는 손쉽게 SageMaker RStudio를 활용해 AWS 환경에서 모델 구축을 할 수 있다. 또한, 다양한 코드 샘플도 제공해주고 있기 때문에 R을 쉽게 활용할 수 있다.

https://github.com/aws/amazon-sagemaker-examples/tree/main/r_examples

amazon-sagemaker-examples/r_examples at main · aws/amazon-sagemaker-examples

Example Jupyter notebooks that demonstrate how to build, train, and deploy machine learning models using Amazon SageMaker. - aws/amazon-sagemaker-examples

github.com

그리고 추가적으로 RStudio를 사용하기 위해서는 라이선스를 받는 과정 등이 필요하다.

Conclusion

사실 오늘 글에서 다 다루지 못했지만 SageMaker는 개발 환경 제공 이외에도 AutoML이나 Data Wrangler, Pipelines 등 다양한 기능들을 제공해주고 있다. 또한, Studio나 RStudio 등의 환경을 사용하기 위해서 사용자는 Domain과 User Profile이라는 컴포넌트가 필요하다. 이 글에서는 해당 내용에 대한 글을 작성하진 않았지만 추후에 더 많은 기능들을 소개하고 실제로 구축도 해보면서 언급할 계획이다.

요즘 ML, AI가 핫해지면서 많은 사람들이 ML을 이용해서 모델을 개발하고 있는데 Amazon SageMaker는 ML을 하기에 최적화된 환경(FM이나 개발 환경, 서버 인프라 제공)을 제공해주고 있어서 사용자가 더 빠르게 모델을 개발할 수 있게 만들고 온전히 개발과 모델 튜닝에만 집중할 수 있도록 도움을 주고 있다는 생각이 든다.

비록 이러한 클라우드 환경이 단순히 비용만 놓고 봤을때 비쌀 수는 있지만 해당 인프라 환경을 개인이 구축하고 사용하기엔 어려움도 있고 관리도 어려울 수 있다고 생각한다. 또한, AWS에서는 자세한 공식 문서나 샘플 코드도 같이 제공해주니까 학생일 때도 활용하기 쉽고 접근하기도 쉬웠던 것 같다. 그래서 앞으로도 많은 사람들이 잘 활용할 수 있게 샘플에 대한 설명 글이나 활용 가이드에 대해 작성해보려고 한다.

+++ 공식 문서도 참고할 수 있지만 더 추가적으로 활용하면 좋은 링크들을 아래 공유하고자 한다.

https://aws.amazon.com/ko/blogs/tech/category/artificial-intelligence/sagemaker/

https://github.com/aws/sagemaker-python-sdk

https://github.com/aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples

https://github.com/aws/amazon-sagemaker-operator-for-k8s

https://github.com/aws/studio-lab-examples

글또 10기를 시작하며

@Eeap — Sat, 5 Oct 2024 22:08:43 +0900

https://geultto.github.io/blog/geultto-summary/

글또(개발자 글쓰기 모임) 소개 | 글또 Document

글또 소개

geultto.github.io

이번에 글또의 마지막 기수라고도 불리는 10기에 운이 좋게 참여하게 되었는데 오늘은 왜 글또에 지원했고 앞으로 글또를 통해 어떤 글을 쓸 지에 대해 쓰려고 한다.

왜 글또인가?

이전에도 글또라는 모임에 대해서 몰랐던 건 아니다. 지인 중에도 글또를 참여하는 사람이 있었고 글또를 통해 무엇을 얻어가고 달성했는지도 봤다. 사실 글또에 이전부터 참여하고 싶었지만 격주마다 글을 쓸 자신이 없었고 글을 사람들이 읽기 좋게 정리하는 것 또한 나에겐 어려운 일이었다. 그래서 항상 지원하는 것에 대해 망설였던 것 같다.

하지만 회사에 입사하고 나니 공부해야할 범위도 넓어졌고 학습한 내용을 초반부터 잘 정리해놓지 않으면 나중에는 까먹어서 또 다시 공부하고 이런 상황이 반복될 것 같다라는 생각이 들었다. 그래서 글또가 이번이 마지막이기도 하고 글또를 통해 글을 잘 정리해서 나 또한 공부하는데 도움이 되고 다른 사람들도 내 글을 보고 얻어가는 것이 많았으면 해서 지원하게 되었다.

앞으로의 목표

사실 회사에 입사한 지 얼마되지 않았지만 요새는 평생 직장이라는 개념이 사라져서 그런지 앞으로의 커리어에 대해 벌써부터 많이 고민하게 되는 것 같다. AI라는 기술이 화두가 된지 얼마되지 않았지만 벌써 ChatGPT는 복잡한 알고리즘 문제나 수능 수학 문제 같은 어려운 문제들을 나보다 더 잘푸는 지경까지 도달하게 되었다...

그래서 이전에는 DevOps 엔지니어가 되는 것을 꿈꾸어왔지만 요즘 드는 생각은 general하게 모든 분야를 잘 받아들이고 빠르게 학습해서 적용하는 엔지니어가 앞으로도 살아남을 수 있을 것 같다는 생각이 든다.

최근에 정한 앞으로의 목표는 트렌드에 맞게 기술을 빠르게 습득하고 적용한 뒤 더 나아가 활용까지 할 수 있는 엔지니어가 되는 것을 목표로 하고 있다. 이를 위해서는 새로운 기술을 공부하고 그것을 나의 것으로 만들어서 정리하는 기술이 중요하다고 생각한다. 그래서 5월달에 멈췄던 글을 이제부터라도 조금씩 다시 글을 쓰려하고 있다.

글의 주제

글의 주제는 요새 공부하고 있는 아래 카테고리들을 주제로 작성하려고 한다. 아마 주로 AWS 공식 문서를 참고하고 글을 작성하고 시간이 되면 직접 실습도 해보면서 가이드 문서도 잘 작성해보려고 한다.

AI (GenAI, Amazon Bedrock)
ML(Amazon SageMaker)
Big data (Apache Spark, Apache Hadoop, Apache Flink, Amazon EMR)
Container (Kubernetes)

tcpdump와 wireshark를 이용한 패킷 분석하기

@Eeap — Sat, 18 May 2024 15:14:10 +0900

오늘은 간단하게 tcpdump와 wireshark를 이용해서 내 패킷이 loss가 되고 있는건지 확인해보려고 한다.

그러기 위해선 acl을 수정하면서 가동할 서버가 필요하고 이를 위해 AWS EC2를 활용해서 진행해보려고 한다.

먼저 들어가기 앞서 tcpdump와 wireshark에 대해 알아보자.

TCPdump란?

tcpdump란 unix 계열 운영체제에서 제공해주는 커맨드로 네트워크 인터페이스를 통과하는 패킷의 내용을 캡처하고 분석할 수 있게 해주는 도구이다.

그러면 tcpdump는 어떻게 사용하는 걸까? 리눅스에서 사용하는 커맨드는 주로 man이라는 명령어를 이용해서 해당 커맨드에 대한 옵션 정보나 디테일 한 정보를 볼 수 있다. 커맨드 창으로 보기 좀 불편한 경우엔 해당 링크를 통해 tcpdump에 자세한 내용을 볼 수 있다.

오늘은 wireshark를 이용해서 로컬에서 보내는 요청이 EC2 인스턴스로 잘 전송되는지 확인하기 위해서 아래와 같은 명령어를 사용해서 패킷 파일을 저장하려고 한다.

sudo tcpdump -i en0 -w test-ec2.pcap # 이때 permission 문제로 sudo로 해야 사용할 수 있다.

이렇게 저장된 파일을 wireshark를 이용해서 네트워크 패킷을 분석할 수 있다.

Wireshark란?

tcpdump가 CLI로 네트워크 패킷을 봤다면 wireshark는 사용자에게 더 나은 편리성을 제공하기 위해 GUI 기반으로 분석 도구를 제공해주고 있다. wireshark를 이용해서 특정 네트워크 인터페이스에서 지나가는 패킷을 볼 수도 있고 저장된 파일을 이용해서 분석할 수도 있다.

wireshark는 해당 링크를 통해 window, macOS에서 다운받을 수 있다.

패킷 분석 과정

패킷을 분석해보기 앞서 일단 EC2 하나를 public 노출을 시켜서 띄울 수 있도록 구성하였다.

보안 그룹은 아래처럼 ssh를 이용해서 접근만 가능하도록 구성을 하였다. (추후 80번 포트에 대해 추가할 예정이다)

그 다음 위에서 언급했던 tcpdump 명령어를 떠서 패킷을 캡쳐할 수 있도록 하고 패킷 캡처를 중단하고 싶다면 ctrl+c를 누르면된다.

이젠 ssh로 해당 서버에 접속한 후 아래 명령어를 통해 간단한 80번 포트의 채널을 띄워서 telnet 명령어로 해당 서버의 80번 포트에 접근이 가능한지 확인해보도록 한다.

이후 아래처럼 다른 커맨드 창을 띄워서 해당 서버 포트로 telnet을 날려보면 응답이 떨어지지 않을텐데 시간이 조금 지났다면 ctrl+c로 시도를 중단하도록 해서 wireshark로 패킷을 한번 보도록 한다.

아래처럼 wireshark를 실행시킨 후 파일 버튼을 눌러서 저장했던 패킷 파일을 open하도록 한다.

먼저 ssh 연결을 맺었기 때문에 아래처럼 ssh 연결에 대한 네트워크 패킷이 나오게 되고 자세한 info를 보면 client와 server간의 보안을 위한 연결을 설정한 것을 알 수 있다. (이외에도 네트워크 인터페이스에는 많은 패킷이 왔다갔다 하므로 filtering을 거는 것을 추천한다)

좀 더 아래로 내려보면 내가 telnet으로 80번 포트에 대한 요청을 보냈던 패킷의 내용을 볼 수 있다. 아래처럼 계속 재전송 요청이 되고 있고 seq number가 초기의 0값으로 계속 보내고 있다는 것을 미루어 보아 나의 요청이 막히고 있다는 것을 알 수 있다.

이제 다시 AWS 보안 그룹으로 넘어가서 80번 포트에 대한 요청을 허용하고 다시 telnet을 날려서 패킷을 분석해보자.

위처럼 보안 그룹을 설정하고 다시 똑같이 tcpdump 명령어를 실행하고 telnet을 실행해보면 이번에 커맨드 창에서 Connected가 됐다는 것을 확인할 수 있다.

wireshark로 해당 패킷 파일을 확인해보면 아래처럼 EC2서버로부터 SYN와 ACK를 받았다는 것을 알 수 있다. 이는 내가 telnet으로 연결 설정에 성공했다는 것을 의미하며 이는 더이상 나의 패킷이 loss되지 않았다는 것을 알 수 있다.

결론 및 생각 정리

이외에도 wireshark를 이용해서 다양한 분석을 할 수 있는 것 같다. 송수신 패킷 양과 속도 등 다양한 정보를 볼 수 있다.(패킷을 분석할 수 있는게 다양해서 필요에 따라 보고 활용하면 좋을 것 같다.. 계층 별로도 패킷 정보를 볼 수 있다)

Kubernetes 환경 구축하는 과정에서 네트워킹 트러블슈팅 할 때 패킷 분석에 대해 좀 더 알고 미리 공부했으면 쉽게 패킷 까보고 트러블 슈팅할 수 있었을텐데.. 미리 알았으면 좋았을걸이라는 생각이 들었다.

그래도 학생일때 이렇게 패킷을 까보고 뭐가 문젠지 분석하기보다는 이론 공부만 했던 것 같은데 알고 있던 내용을 이렇게 한번씩 해보는 것도 좋은 시도인 것 같다라는 생각이 들었다. 이외에도 리눅스에서 트러블슈팅하는 것이 궁금해서 DevOps와 SE를 위한 리눅스 커널 이야기라는 책을 사서 보고 있는데 해당 내용이 실무에서 리눅스에서 트러블 슈팅하기 위해서 어떤 커맨드를 사용하고 분석하는지 잘 알려주어서 좋은 책인 것 같다(비록 내용이 아직 나에겐 넘 어려워서 일단 읽고 이런게 있구나..하는 정도로만 이해하고 있다..)