전체 글

[회고] 2024년을 돌아보며

벌써 2025년 2월이 되었지만, 늦게나마 2024년 회고를 해보려고 한다..(요새 너무 바빠서 정신이 없었는데 이제서야 미뤄놨던 회고를 작성해보기로 했다) 군대를 전역한 이후에는 시간이 되게 빨리 가는 것 같다고 느껴서, 잊지 않도록 기록할 겸 내가 이전 년도에 했던 일이나 앞으로 해야할 일을 좀 정리하는 습관을 가져보려고 한다. 데이터 엔지니어링 파트타임 (1월 ~ 2월 말)지인의 추천으로 운이 좋게도 회사에서 데이터 엔지니어링을 해볼 수 있는 기회를 얻게 되었다. 사실 Kubernetes를 업무적으로 써보고 싶다는 생각으로 들어가기로 결심했지만 지금 돌이켜 생각해보면 여러 가지를 경험해 볼 수 있는 좋은 기회였던 것 같다. 해당 기회를 통해서 실시간 데이터 스트리밍을 위한 파이프라인 구축을 해볼 수..

SageMaker Unified Studio (preview) Introduction - (1)

이번 AWS reinvent 2024에서는 많은 AI/ML 서비스 기능들이 추가되었다. 그중 오늘은 2024년 12월에 공개된 SageMaker Unified Studio에 대해 소개해보려고 한다.https://www.youtube.com/watch?v=5ZN-90fi3IISageMaker Unified Studio란?이번에 aws reinvent 2024에서는 분석 및 AI를 위한 차세대 통합 플랫폼으로 SageMaker Unified Studio를 공개하였다. 기존에 있던 SageMaker는 SageMaker AI라는 이름으로 변경되었고 기존에 사용하던 SageMaker 기능은 SageMaker AI 서비스에서 이용할 수 있게 되었다.SageMaker Unified Studio는 아직 preview로..

Bedrock Agent API

오늘은 이전 글에 이어 Bedrock API에 대해 작성하려고 한다. 이전 글에 소개했던 bedrock API, bedrock-rutime API 이외에도 bedrock-agent API, bedrock-agent-runtime API도 존재한다. 오늘은 나머지 두 가지 API에 대해 알아보고자 한다.https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/welcome.html Amazon Bedrock API Reference - Amazon BedrockThanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please ..

Basic Bedrock API

오늘 Amazon Bedrock의 API에 대해 살펴보고 실제로 어떻게 활용하는지 알아보고자 한다.https://docs.aws.amazon.com/ko_kr/bedrock/latest/APIReference/welcome.html Amazon Bedrock API Reference - Amazon BedrockThanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.docs.aws.amazon.comBedrock 서비스에서는 현재 총 네 종류의 Service Endpoint를 제공..

Amazon Bedrock

오늘은 AWS에서 많이 홍보하고 있는 Bedrock 서비스에 대해 알아보고자 한다.https://aws.amazon.com/ko/bedrock/ 파운데이션 모델(FM)을 사용하여 생성형 AI 애플리케이션을 구축 - Amazon Bedrock - AWSAmazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, Amazon과 같은 주요 AI 회사의 고성능 FM을 쉽게 이용하여 최신의 생성형 AI 혁신을 빠르게 조정하고 활용할 수 있도록 도와줍니다. 선택aws.amazon.com22년부터 시작된 GenAI의 열풍은 많은 회사들로 하여금 AI를 급격하게 발전시키도록 만든 것 같다. 요새 어딜가나 AI는 기본적으로 서비스에 들어가고 ..

Amazon SageMaker 개발 환경

오늘은 Amazon SageMaker가 어떤 서비스이며 어떤 기능들이 있는지 알아보고자 한다.https://aws.amazon.com/ko/sagemaker/ 기계 학습 - Amazon Web Services데이터 준비 및 모델 훈련부터 모델 배포까지 전체 ML 개발 여정 동안 지원을 받으세요. Amazon Q Developer는 코드 제안을 생성하고, 질문에 답하고, 오류 발생 시 문제 해결 지원을 제공할 수 있습니aws.amazon.comAmazon SageMaker는 소개 페이지에 나와있는 것처럼 개발자 및 데이터 사이언티스트가 다양한 규모의 ML 모델을 쉽고 빠르게 구축하며 배포할 수 있도록 지원하고 있는 완전 관리형 서비스이다.즉, Amazon SageMaker를 이용하면 데이터를 라벨링하는 과..

글또 10기를 시작하며

https://geultto.github.io/blog/geultto-summary/ 글또(개발자 글쓰기 모임) 소개 | 글또 Document글또 소개geultto.github.io이번에 글또의 마지막 기수라고도 불리는 10기에 운이 좋게 참여하게 되었는데 오늘은 왜 글또에 지원했고 앞으로 글또를 통해 어떤 글을 쓸 지에 대해 쓰려고 한다.왜 글또인가?이전에도 글또라는 모임에 대해서 몰랐던 건 아니다. 지인 중에도 글또를 참여하는 사람이 있었고 글또를 통해 무엇을 얻어가고 달성했는지도 봤다. 사실 글또에 이전부터 참여하고 싶었지만 격주마다 글을 쓸 자신이 없었고 글을 사람들이 읽기 좋게 정리하는 것 또한 나에겐 어려운 일이었다. 그래서 항상 지원하는 것에 대해 망설였던 것 같다.하지만 회사에 입사하고 나..

tcpdump와 wireshark를 이용한 패킷 분석하기

오늘은 간단하게 tcpdump와 wireshark를 이용해서 내 패킷이 loss가 되고 있는건지 확인해보려고 한다.그러기 위해선 acl을 수정하면서 가동할 서버가 필요하고 이를 위해 AWS EC2를 활용해서 진행해보려고 한다.먼저 들어가기 앞서 tcpdump와 wireshark에 대해 알아보자.TCPdump란?tcpdump란 unix 계열 운영체제에서 제공해주는 커맨드로 네트워크 인터페이스를 통과하는 패킷의 내용을 캡처하고 분석할 수 있게 해주는 도구이다. 그러면 tcpdump는 어떻게 사용하는 걸까? 리눅스에서 사용하는 커맨드는 주로 man이라는 명령어를 이용해서 해당 커맨드에 대한 옵션 정보나 디테일 한 정보를 볼 수 있다. 커맨드 창으로 보기 좀 불편한 경우엔 해당 링크를 통해 tcpdump에 자세..

리눅스에서 ln과 ln -s의 차이

오늘은 리눅스 파일 시스템에서 하드링크를 만드는 방법인 ln과 소프트 링크(심볼릭 링크)를 만드는 ln -s 옵션에 대해 알아보고자 한다.목차inode 소개리눅스에서 링크란?하드링크 소개소프트링크 소개마무리 1. inode 소개먼저 들어가기 앞서 inode에 대해 사전 지식이 필요하다. inode는 유닉스 파일 시스템에서 사용하는 자료구조로 파일, 디렉토리 등 파일 시스템에 관한 정보를 가지고 있다. 즉, 파일의 메타데이터라고 생각하면 되며 inode의 구조는 아래처럼 되어있다.그림과 같이 inode는 파일의 권한 정보, 소유자 정보, 크기, 생성 및 수정 시간, 블록크기 등을 가지고 있다. 이때는 direct blocks은 파일의 데이터 블록을 직접 가리키는 주소가 저장되어 있으면 direct bloc..

AWS Code Series를 이용한 자동화 구성하기

오늘은 AWS Code Series(AWS CodeCommit, AWS CodeBuild, AWS CodeDeploy, AWS CodePipeline)라고도 불리는 AWS CI/CD 서비스에 대해 알아보고 아키텍처를 구성해보려고 한다. 아키텍처를 구성하기 앞서 CI/CD란 무엇이고 AWS Code Series의 특징에 대해 알아보도록 하겠다. 목차 CI/CD 소개 AWS Code Series 소개 데모 아키텍처 소개 자동화 구성 데모 마무리 1. CI/CD 소개 DevOps를 하면 빼놓을 수 없는 얘기가 자동화 파이프라인이라고도 불리는 CI/CD이다. CI/CD를 구축하는 궁극적인 목적은 소프트웨어 개발 라이프사이클을 간소화하고 가속하하여 개발자가 빠르게 변경 사항을 반영할 수 있도록 하기 위해서이다. ..