수피의 느슨한 개발

문제점구글 폼으로 제출 받은 파일들은 하나의 폴더에 모인다.제출자가 많을 경우 추가적인 파일 분류가 필요할 수 있다. 구글 폼 이용하시면 양식 제출로 파일 업로드도 가능하다는 사실 알고 계실거예요.하지만 여러 설문을 통해 받은 파일들은 구글 드라이브의 한 폴더에 일괄적으로 쌓이기 때문에 나중에 따로 파일을 정리해야해서 불편했던 경험이 있으실 것 같아요. 오늘은 설문 양식을 제출 받으면 업로드된 파일이 자동으로 폴더 별로 분류되도록 자동화하는 기능을 알아보겠습니다.  예시 보기  회사에서 연말 정산 자료 제출을 구글 폼으로 받는 상황을 가정해 보겠습니다. 만약 위 양식을 토대로 연말 정산 관련 자료를 받을 경우 발생할 수 있는 예상 문제를 살펴볼까요?    위와 같이 구글 폼으로 파일을 받을 경우 두 가지..

지난 글에서는 터미널 사용 및 ImageMagick를 활용한 간단한 사진 편집을 진행했습니다.터미널에 대한 이해가 필요하신 분은 첫 번째 글을 먼저 읽어주시기를 추천드립니다.    이번 시간에는 유튜브 영상을 추출한 뒤 이를 편집하고, 영상을 합치는 작업을 진행할거예요.이전 글에서 Homebrew를 통해 사진 편집을 도와주는 imagemagick를 설치한 뒤 간단한 사진 편집을 진행해 보았는데요. 오늘은 유튜브 영상 추출을 위한 프로그램, 그리고 영상 편집을 도와주는 프로그램 이 둘을 설치해서 활용해보도록 하겠습니다. YT-DLP로 유튜브 동영상 저장하기 GitHub - yt-dlp/yt-dlp: A feature-rich command-line audio/video downloaderA featur..

지난 글에서는 터미널과 친해지기 위한 간단한 명령어를 익혔습니다.이번 글은 '맥북으로 개발자처럼 사진 영상 편집하기' 두 번째 시간으로터미널에 대해 아직 모르겠다 하시는 분은 첫 번째 글을 먼저 읽으시기를 추천드립니다.   이제 본격적으로 터미널을 활용해서 편집에 필요한 소프트웨어를 설치해보는 시간을 갖도록 할게요.터미널에서 사용할 수 있는 각종 소프트웨어를 CLI 기반 소프트웨어라고 부르는데요. 이런 다양한 소프트웨어를 쉽고 간편하게 골라서 설치할 수 있도록 돕는 소프트웨어를 먼저 설치해보도록 하겠습니다.  Homebrew - 개발자를 위한 패키지 관리자 What is Homebrew?홈브루는 사진, 영상 편집 뿐 아니라 개발자가 필요로 하는 수많은 프로그램의 설치를 돕는 마치 편의점과 같은 프로그램이..

오늘은 맥북으로 정말 쉽고 간단하게 사진이나 영상을 개발자 처럼 편집하는 방법에 대해서 알아보도록 하겠습니다.  사실 우리가 평소에 사진이나 영상을 편집할 일은 잘 없을거예요. 하지만 이따끔씩 단순한 작업이 필요할 때가 있죠. 예를 들어 신분증 사진을 제출하기위해 사진을 줄이거나 자르거나 하는 일 말이죠. 아니면 발표 자료를 만드는 과정에서 유튜브 영상이나 음원을 추출하거나 영상의 일부분 잘라내야 하는 상황이 있을 수도 있죠.  이럴 때 보통 구글에 검색해서 광고가 난무하는 정체를 알 수 없는 사이트를 이용한다거나, 아니면 심지어 유료 프로그램을 결제해서 사용하기도 할거예요.  하지만 이런 간단한 편집 작업이 필요할 때 웬만한 개발자 분들이 주로 이용하는 매우 간단한 방법이 있어요. 이 방법은 개발자가 ..

TCP 커넥션 생성 크롬과 같은 브라우저 주소창에 URL을 입력하면 브라우저는 IP주소를 알아내기 위해 호스트명을 추출하고, 또한 포트번호를 추출하여 IP주소와 포트번호로 해당 서버에 TCP 커넥션을 생성한다. TCP의 역할 TCP는 전송하고자 하는 데이터를 세그먼트라 불리는 조각 단위로 나눠 IP 패킷에 담아 전송한다. 이때 전송하고자 하는 데이터는 HTTP 요청 방식에 따라 차이가 있겠지만 '요청 메서드', '요청 URL', 그 외 '요청 헤더'에 담기는 각종 정보들이다. 결론적으로 IP 패킷 내 전송을 위한 정보를 담은 'IP 헤더'에 'TCP 세그먼트'가 동봉되어 전송되는 셈이다. TCP 세그먼트에는 데이터 스트림 말고도 서버와 커넥션을 맺고, 소통하기 위한 정보가 담겨있다. 그 중 SYN, AC..

JWT가 등장한 이유 기존에는 유저의 로그인 상태, 권한 등에 대한 정보를 파악하기 위해 로그인 시 '세션' 이라는 데이터 구조를 생성해 서버에 저장하고, 세션ID를 쿠키에 담아 클라이언트에게 전달해 주는 방식을 취해왔다. 그래서 로그인 상태를 파악하려면 세션ID를 서버에 전달해서 필요한 정보를 확인하는 흐름을 가졌다. 해당 방식은 서버에서 세션을 유지해야 함(stateful)을 의미하는데 이는 서버 메모리, 데이터베이스 혹은 메모리 캐시와 같은 저장소에 보관되었다. 이는 동시 접속 유저 수가 증가할수록 세션 정보를 조회하거나 상태 변경을 위한 요청 횟수가 증가함을 의미하고, 이는 곧 CPU, 메모리 자원 소모가 증가함을 의미한다. 또한 유저 수가 증가하면서 서비스의 규모가 증가하면 서버와..

ORM 사용에서 OneToMany와 ManyToOne과 같은 연관 관계로 묶인 테이블을 조회할 때 성능이슈가 발생하는 문제을 말한다. 가령 Channel과 User라는 Entity가 1:다 관계로 묶여 있다고 하고, Channel의 레코드는 총 10개가 있다고 가정하자. 이제 ORM으로 Channel Entity를 대상으로 findAll을 명령하면 내부적으로 "SELECT * FROM Channel"이라는 쿼리문 하나를 생성하여 데이터베이스에 요청할 것이다. 이때 생성된 쿼리문이 1개이고 딱 한 번 요청을 하는 것이다. 하지만 문제는 Channel과 연관된 User데이터도 함께 가져오려고 한다는 것이다. 그래서 최초 요청했던 findAll의 결과로 총 10개의 레코드를 획득할텐데, 이 각각의 채널에 속한..

자바스크립트에서 var, let, const 모두 호이스팅을 한다는 사실을 뒤늦게 알게 되었다. 사실 호이스팅 자체가 잘 이해가 가지 않았기 때문인 것 같다. "호이스팅은 선언된 변수나 함수를 코드의 상단으로 끌어올린다." 라는 표현을 쓰는데 이전에는 "var apple;을 선언한 뒤 console.log(apple)을 입력하고, 그 아랫줄에 apple = 1이라고 초기화하면 console.log(apple)은 1이 출력되어야 한다는 말인가?" 라고 받아들여졌다. 하지만 틀린 말이다. 실제로 출력값은 undefined가 나오기 때문에 별 문제가 없어보인다. 그럼 상단으로 끌어올려지는건 대체 뭐란 말인가? 호이스팅 일단 호이스팅은 스크립트의 컴파일 단계에서 벌어지는 일이라고 한다. 컴파일 과정에서 var,..

아래 깃헙에서 더 깔끔하게 볼 수 있습니다. https://github.com/issuebombom/study_notes_nodejs_backend/blob/main/contents/redis.md Redis 캐시로 사용하기 Cache란?) 데이터의 원래 소스보다 더 빠르고 효율적으로 엑세스할 수 있는 임시 데이터 저장소 Redis는?) 단순한 key-value 구조로 저장하는 캐시 In-memory 저장소 (평균 작업 속도 < 1 ms) 캐싱전략(읽기) 데이터베이스에 접근하기에 앞서 Redis에 먼저 접근하여 필요한 데이터를 빠르게 가져온다.(Cache Hit) Redis에 필요한 자료가 없을 경우(Cache Miss) 데이터베이스에 접근하여 데이터를 가져오도록 한다. (Lazy Loading) 특징 ..

먼저 구현한 서비스의 로직을 살펴보자 - main(nestjs) 서버는 엔드포인트로 유튜브 링크를 전달받습니다. - main에서 extractor(python) 서버로 받은 링크 정보를 또 다시 전달합니다. - extractor 서버에서 유튜브 링크 관련 정보(메타데이터)를 추출합니다. - 정보를 데이터베이스(MongoDB Atlas) 저장합니다. 위 과정에서 axios를 사용하여 http 통신을 하는 것과 카프카 브로커로 메시지를 전달하는 두 가지 방식을 비교해 보았다. 각 서버는 모두 컨테이너로 실행했다. axios로 http 요청 후 도큐먼트 생성 먼저 axios로 구현한 코드를 살펴보자 // links.service.ts import { HttpService } from '@nestjs/axios..