전체 글

Amazon SageMaker 개발 환경

오늘은 Amazon SageMaker가 어떤 서비스이며 어떤 기능들이 있는지 알아보고자 한다.https://aws.amazon.com/ko/sagemaker/ 기계 학습 - Amazon Web Services데이터 준비 및 모델 훈련부터 모델 배포까지 전체 ML 개발 여정 동안 지원을 받으세요. Amazon Q Developer는 코드 제안을 생성하고, 질문에 답하고, 오류 발생 시 문제 해결 지원을 제공할 수 있습니aws.amazon.comAmazon SageMaker는 소개 페이지에 나와있는 것처럼 개발자 및 데이터 사이언티스트가 다양한 규모의 ML 모델을 쉽고 빠르게 구축하며 배포할 수 있도록 지원하고 있는 완전 관리형 서비스이다.즉, Amazon SageMaker를 이용하면 데이터를 라벨링하는 과..

글또 10기를 시작하며

https://geultto.github.io/blog/geultto-summary/ 글또(개발자 글쓰기 모임) 소개 | 글또 Document글또 소개geultto.github.io이번에 글또의 마지막 기수라고도 불리는 10기에 운이 좋게 참여하게 되었는데 오늘은 왜 글또에 지원했고 앞으로 글또를 통해 어떤 글을 쓸 지에 대해 쓰려고 한다.왜 글또인가?이전에도 글또라는 모임에 대해서 몰랐던 건 아니다. 지인 중에도 글또를 참여하는 사람이 있었고 글또를 통해 무엇을 얻어가고 달성했는지도 봤다. 사실 글또에 이전부터 참여하고 싶었지만 격주마다 글을 쓸 자신이 없었고 글을 사람들이 읽기 좋게 정리하는 것 또한 나에겐 어려운 일이었다. 그래서 항상 지원하는 것에 대해 망설였던 것 같다.하지만 회사에 입사하고 나..

tcpdump와 wireshark를 이용한 패킷 분석하기

오늘은 간단하게 tcpdump와 wireshark를 이용해서 내 패킷이 loss가 되고 있는건지 확인해보려고 한다.그러기 위해선 acl을 수정하면서 가동할 서버가 필요하고 이를 위해 AWS EC2를 활용해서 진행해보려고 한다.먼저 들어가기 앞서 tcpdump와 wireshark에 대해 알아보자.TCPdump란?tcpdump란 unix 계열 운영체제에서 제공해주는 커맨드로 네트워크 인터페이스를 통과하는 패킷의 내용을 캡처하고 분석할 수 있게 해주는 도구이다. 그러면 tcpdump는 어떻게 사용하는 걸까? 리눅스에서 사용하는 커맨드는 주로 man이라는 명령어를 이용해서 해당 커맨드에 대한 옵션 정보나 디테일 한 정보를 볼 수 있다. 커맨드 창으로 보기 좀 불편한 경우엔 해당 링크를 통해 tcpdump에 자세..

리눅스에서 ln과 ln -s의 차이

오늘은 리눅스 파일 시스템에서 하드링크를 만드는 방법인 ln과 소프트 링크(심볼릭 링크)를 만드는 ln -s 옵션에 대해 알아보고자 한다.목차inode 소개리눅스에서 링크란?하드링크 소개소프트링크 소개마무리 1. inode 소개먼저 들어가기 앞서 inode에 대해 사전 지식이 필요하다. inode는 유닉스 파일 시스템에서 사용하는 자료구조로 파일, 디렉토리 등 파일 시스템에 관한 정보를 가지고 있다. 즉, 파일의 메타데이터라고 생각하면 되며 inode의 구조는 아래처럼 되어있다.그림과 같이 inode는 파일의 권한 정보, 소유자 정보, 크기, 생성 및 수정 시간, 블록크기 등을 가지고 있다. 이때는 direct blocks은 파일의 데이터 블록을 직접 가리키는 주소가 저장되어 있으면 direct bloc..

AWS Code Series를 이용한 자동화 구성하기

오늘은 AWS Code Series(AWS CodeCommit, AWS CodeBuild, AWS CodeDeploy, AWS CodePipeline)라고도 불리는 AWS CI/CD 서비스에 대해 알아보고 아키텍처를 구성해보려고 한다. 아키텍처를 구성하기 앞서 CI/CD란 무엇이고 AWS Code Series의 특징에 대해 알아보도록 하겠다. 목차 CI/CD 소개 AWS Code Series 소개 데모 아키텍처 소개 자동화 구성 데모 마무리 1. CI/CD 소개 DevOps를 하면 빼놓을 수 없는 얘기가 자동화 파이프라인이라고도 불리는 CI/CD이다. CI/CD를 구축하는 궁극적인 목적은 소프트웨어 개발 라이프사이클을 간소화하고 가속하하여 개발자가 빠르게 변경 사항을 반영할 수 있도록 하기 위해서이다. ..

Flink Kubernetes Operator Concept

오늘은 Flink를 Kubernetes에서 사용하는 방법 중 Kubernetes Operator를 사용하는 방법에 대해 알아보고자 한다. Kubernetes Operator란 공식 문서에 나와 있는 것처럼 custom resource를 사용하여 애플리케이션이나 컴포넌트의 lifecycle을 관리하는 역할을 하는 software extensions이다. Apache 재단에 있는 Flink Kubernetes Operator를 사용하게 되면 JobManager와 TaskManager를 손쉽게 사용할 수 있으며 해당 Operator가 관리하는 CRD(custom resource definition)을 가지고 애플리케이션을 배포할 수 있다. 목차 Flink Kubernetes Operator 소개 Archite..

k8s service webhook issue 해결

오늘은 k8s를 활용하면서 겪었던 webhook issue에 대해 적어보려구 합니다 !! 일단 제가 k8s에 대한 경험이 많이 없어서 이 문제를 조금 오랫동안 해결하려고 노력했던 것 같고 진짜 허무하게도 CNI 플러그인 이슈였더라구요 ㅎ,,, 😂 저는 처음에 DNS 문제이거나 k8s apiserver가 webhook svc에 대한 ca를 제대로 읽지 못하는 문제, 아니면 저의 token이 잘못됐다는 생각을 했던 것 같아요.. 하지만 configmap과 secrets을 봤을 때 모두 다 정상적으로 되어 있었구 처음에는 DNS 오류가 있긴 했지만 이후에 해결해도 문제가 나더라구요 ㅎ,, cert-manager는 certificate를 관리해주는 일종의 컴포넌트라고 생각하시면 될 것 같구 저는 flink가 c..

Apache Flink에 대해..

이번에는 회사에서 Flink를 구축하고 있어서 정리했던 내용을 조금씩 다시 블로그에 정리해보면서 공부하려고 합니다!! 그리고 슬프게도 한국에는 Flink에 대한 자료가 그렇게 많이 없더라구요.. 저 뿐만 아니라 많은 분들이 공유를 했으면 좋겠네요 ㅎㅎ Apache Flink는 Bounded나 Unbounded stream data를 처리하기 위한 상태 기반의 오픈 소스 분산 엔진입니다. 여기서 stream은 물 흐르듯 데이터가 흘러가기 의미를 가지고 있고 실시간 데이터 처리에서는 계속해서 데이터가 들어오기 때문에 stream이라는 단어를 쓰고 있다고 합니다! stream 데이터를 처리하는 데이터 처리 엔진으로 Flink 이외에도 Spark 같은 것도 있고 Kafka Streams으로도 실시간 데이터 처리..

2023 5회 OIDC 후기..

오늘은 이전 방학 때 했던 OIDC 참가했던 후기를 남겨보려고 합니다 ! https://www.oidc.co.kr/ 제5회 오픈 인프라 개발 경진대회 (OIDC 2023) 🎬 하이라이트 영상 www.oidc.co.kr 처음에 OIDC에 참가하려고 했던 이유는 Cloud Native 기술을 실제 프로젝트에 적용해보고 싶어서 참여하게 됐어요 :) 대회는 4월 3일부터 접수를 신청해서 그 전까지 서류를 내는 기간이었는데 저희는 이 기간 동안에 관련 기술들을 온보딩하고 서류 작성을 준비했어요! 저희 같은 경우는 지정주제를 선택하게 됐는데 관련해서 프로젝트 아이디어를 내는게 쉬운 일이 아니었습니다ㅠㅠ😭 아무래도 학생 입장에선 경험이 없다보니 클라우드 네이티브 기반해서 좋은 아이디어를 떠올리기도 어려웠고 생각을 해..

Go Fiber 간단한 예제

이번에는 go를 이용해서 웹서버를 만들어보려구 한다! go에는 기본적으로 `net/http`라는 내장 패키지가 존재하고 github의 여러 개의 웹프레임워크가 존재하는데 이쪽에 가면 go web framework를 잘 정리해놔서 참고하면 좋을 것 같다! 아래는 간단하게 net/http를 이용해서 http req를 처리하는 코드이다. `http.HandleFunc`을 이용해서 새로운 핸들러를 등록할 수 있고 `ListenAndServe`를 통해 몇번 포트로 listen할지 정할 수 있다. `http.Request`는 request와 파라미터에 대한 정보를 담고 있다. GET 요청에 대한 파라미터를 받으려면 `r.URL.Query().Get("test")`를 이용하면 되고 POST에 대한 데이터를 가져올 경..