본문 바로가기

분류 전체보기

(12)
가을이면 꼭 다시 봐야 할 명작, 영화 Soul (Pixar) 픽사 영화 중에 토이스토리 시대 이후 인사이드 아웃 만큼, 아니 내 기준 인사이드 아웃보다 더 재밌고 전달하는 메세지가 정말 좋았던 영화, 소울. 배경이 가을이기 때문에 가을마다 다시 보는 것 같다. 영화를 통해 뉴욕의 따스한 가을 색감을 산뜻한 재즈 멜로디와 함께 즐길 수 있다. 픽사는 인사이드 아웃에서는 '성장한다는 것에 대해', 코코에서는 '잊혀진다는 것에 대해', 그리고 소울에서는 '살아간다는 것에 대해' 생각하게 해준다. 이런 주제들을 애니를 통해 정말 심플하고 깔끔하면서도 감동적이게 잘 전달한다. 역시 픽사....(픽사에서 일해보고 싶다...) 소울은 특히 우리가 살아간다는 것은 꼭 특별한 목적이나 능력이 있어야 하는, 마음이나 정신에 스파크가 튀듯 절정을 이루며 집중할 만한 그 어떤 걸 꼭 ..
[Docker/R] swap 파일 때문에 wq가 안될때 컴포즈 파일등을 vi 명령어로 수정하고 wq로 저장하려 할 때 swap 파일이 있어 저장이 안되는 경우가 있다. swap 파일은 vi 편집중에 터미널을 강제 종료하거나 했을 때 자동 저장되는 파일이다. 여러번 파일 수정 작업을 거치다 보면 그런 일이 종종 발생하는데 그럴 때는 swap 파일을 모두 지워주고 작업하면 된다. 그러면 해당 파일 디렉토리에서 ls로 swap파일이 있는지 확인 후, `rm 원본파일명.swap`으로 지워준다.
[Docker/R] Rocker rstudio에서 Rmysql 라이브러리 설치 안될 때 Rocker Rstudio에서 rmysql 라이브러리를 사용하여 db에 연결하고 db 관련 함수들을 사용하고자 할 때, install.packages("rmysql")을 해도 패키지 설치가 안된다는 에러가 날 때가 있다. 그럴 때는 도커 컨테이너 터미널로 접속하여 아래와 같이 클라이언트를 설치해주고 다시 rstudio에서 install을 시도하면 해결된다. apt-get install libmariadb-client-lgpl-dev sudo apt-get install libmysqlclient-dev sudo apt-get install zlib1g-dev Rstudio와 디비를 연결해두면 대용량 flat 파일을 R에서 읽어들이고 전처리 후 바로 디비로 wirte할 수 있어서 편하다.
[Docker/R] rocker rstudio로 분석 협업 환경 설정하기 HTML 삽입 미리보기할 수 없는 소스 내부 토이 프로젝트 형식으로 동료들과 진행하는 분석 플젝이 하나 있는데, 가용할 서버가 없어서 그냥 남는 데스크탑 pc를 사용하여 DB를 설치하고 그곳에다 협업 분석 환경을 구성하기로 했다. pc를 빈 깡통으로 만들고 리눅스 서버를 설치하여 사용할 수도 있겠지만 디비는 어차피 동시 접속이 가능하고, 파이썬이나 R 같은 분석 툴도 docker에서 제공하는 이미지를 사용하면 간단하고 쉽게 우분투 환경 구성을 할 수 있기에, 그냥 windows desktop이 깔린 데스크탑에다 docker를 설치하고 컨테이너에 각각의 이미지를 띄운 후, 공용 desktop ip로 (고정 ip) 웹브라우저에서 각자의 계정으로 동시 접속 하여 작업 할 수 있게 끔 했다. 또한 desktop..
[mysql] 데이터 백업을 위한 trigger 만들기 HTML 삽입 미리보기할 수 없는 소스 소량의 sub 데이터를 지우고 업데이트 할 시, 이전에 적재했던 데이터를 시점 별로 백업하고 싶다면 업데이트 전 지운 레코드를 다른 테이블에 저장해두는 trigger를 생성해서 작업을 수행할 수 있다. 1. 백업 데이터를 저장할 테이블 만들기 source 테이블과 똑같은 스키마에다가 백업 시점 정보를 담을 칼럼 하나를 date 형식으로 추가하여 백업을 저장할 새 테이블을 하나 생성한다. CREATE TABLE `tb1_bk` ( `column1` varchar(50) DEFAULT NULL, `column2` varchar(50) DEFAULT NULL, `column3` varchar(50) DEFAULT NULL, `column4` double DEFAULT N..
영화 콘크리트 유토피아 리뷰 콘크리트 유토피아를 보러 간만에 극장까지 가서 영화를 보았다. 평이 좋아 기대를 좀 했던 탓인지, 실망감이 좀 컷다. 초반은 확실히 재밌었지만, 중후반부 부터는 인물에 대한 몰입감도 떨어지고 전개도 좀 지루해지고, 특히 결말이 또 그저 그런 한국식 신파로 대충 마무리한 것 같은 느낌이 들어 아쉬웠다. 그래도 영화가 던져주는 몇가지 생각해볼만한 주제들이 있었고, 초반에는 한국식 블랙코미디와 오늘날 한국인의 정서가 잘 묻어나 있는 흥미로운 설정의 포스트 아포칼립스 영화이긴 했다. 그래도 영화관까지 가서 본 건 돈과 시간이 넘 아깝...OTT 기다릴걸 걍... 영화를 보면서 생각해보게 된 주제는 '가족이나 집단 이기주의'이다. 혈육이든, 아니면 여타의 이유에서 내가 가족이라 생각하게 된 사람들의 집단이든 간에..
[SQL] Mysql window fucntion으로 median 값 구하기 (Data sampling with median values in SQL) HTML 삽입 미리보기할 수 없는 소스 다양한 상황에서, 데이터를 그룹별로 묶어 각 중앙값을 기준으로 분포한 데이터만을 샘플링하여 분석할 때가 있다. 그럴 땐 median()이란 라이브러리 함수를 사용할 수 있는 다른 여러 분석 툴을 쓰는게 편리하지만, 만약 그런 내장 함수가 없는 SQL에서 데이터 샘플링을 수행하야 한다면 아래와 같은 방법을 쓰면 된다. SQL은 RDBMS에 따라 사용할 수 있는 function이 다르기 때문에, 아래 방법은 mysql 기준이지만 거의 모든 rdb에서 사용할 수 있는 기본적인 구문만을 사용한 방법이다. 만약 MSSQL과 같이 Percentile_cnt와 within group 같은 함수와 구문을 제공하는 디비라면 아래 링크를 참조해서 더 간단히 쿼리를 작성해 볼 수 있다..
[GCP Certi] GCP Pro Data Engineer Knowledge 구글에서 제공하는 모의고사와 덤프를 풀며 키워드 중심으로 그냥 일단 정리해보는 오답노트... Wildcard Use when querying multiple tables with same suffix. (Similar named tables) Format sample: `bigquery-public-data.noaa_gsod.gsod*` (* and backtic) Materialized View Periodically cache the results of a query for increased performance. Suited to small datasets that are frequently queried. When underlying table data changes, it invalidates ..
영화 남한산성 리뷰 넷플릭스에서 이제야 남한산성을 보았다. 이병헌. 김윤석, 박해일, 고수 등 주연부터 조연까지 유명한 배우들이 대거 나오는 수작이라는 애기는 들었었다. 영화는 기대에 충족하여 정말 잘 만든 작품이라는 인상을 남겼다. 배우들의 몰입감 높은 연기력, 분위기를 잘 살린 연출 그리고 류이치 사카모토의 훌륭한 음악까지 더해져 충분히 영화에 젖어들어 감상할 수 있었다. (사카모토가 참여한 처음이자 마지막이 되어버린 한국 작품 ㅠ) 인조 때 병자호란을 다룬 영화인데 척화파였던 김상헌과 주화파였던 최명길의 두 대립적인 캐릭터를 중심으로 당시 남한산성 내에서 오고갔던 대의와 실리에 대한 논쟁과 그 시간 동안 수없이 죽고 끌려가며 추위와 배고픔에 고생한 백성들의 슬픈 역사를 그려내고 있다. 간신이라느니 첩자라느니 온갖 욕을..
불안감과 스트레스 관리하기 내가 지금 스트레스를 심하게 받고 있다는 징후 - 불면증 (매우 피곤한데도 불구하고 정리 되지 않은 생각과 잔상이 계속 떠올라 잠을 이루지 못함) - 불안감 (불안감이 심할 때는 아무것에도 집중할 수가 없음) - 과민증 (사소한 실수로 무언가 틀어졌을 때 엄청나게 열을 받고 안절부절 못함) - 체중증가 (식단과 운동을 하는데도 체중이 증가함, 소화장애 동반) - 혈액순환 장애 (왼쪽 몸이 저리고 몸이 많이 부음) 스트레스 관리를 위해 해야 할 일 - 현실적인 기대와 계획 세우기 - 계획 지키기 (아주 사소한 것부터 시작) - 염려하는 최악의 상황은 대부분 일어나지 않을 것이라는 점 기억하기 - 현재가 최악의 상황이 아니라는 점 기억하기 - TV나 SNS 보기로 시간을 보내지 않고 나가서 운동을 하거나 무..