1. RDD 2. Example, Process3. Conceptual Representation
[Spark] 기본개념, Components
·
Data Enginnering/Pipeline
1. Spark 2. Spark Components
[SQL] View; Implementation, Update
·
Data Enginnering/Database
1. What is a view in SQL 2. Specification of Views in SQL3. View Implementation 4. View Update Problem 5. Views as Authorization Mechanisms
[ElasticSearch] Logstash 와 Elasticsearch / 디스크 I/O 병목
·
Data Enginnering/Elastic
Logstash 와 Elasticsearch 노드의 관계1. Logstash 노드의 역할데이터 수집: 다양한 소스(파일, 데이터베이스, API 등)로부터 데이터를 가져옵니다.데이터 변환: 필터링, 포맷 변경, 필드 추가/삭제 등의 작업을 수행해 데이터를 Elasticsearch가 처리할 수 있는 형태로 가공합니다.데이터 전송: 변환된 데이터를 Elasticsearch 클러스터에 전송합니다.2. Elasticsearch 노드의 역할Logstash에서 받은 데이터를 처리:Logstash에서 전송된 데이터는 Elasticsearch 클러스터로 들어옵니다.Elasticsearch는 인덱스와 Shard를 기반으로 데이터를 분배합니다.데이터 저장:데이터는 적절한 Primary Shard에 저장됩니다.Elastics..
[ElasticSearch] 성능 최적화의 해석
·
Data Enginnering/Elastic
성능 최적화의 해석1. kB_read/s와 kB_wrtn/s의 의미kB_read/s:디스크에서 데이터를 읽는 속도를 나타냅니다.검색 쿼리를 실행할 때 디스크에서 얼마나 많은 데이터를 읽는지 보여줍니다.검색 속도가 중요하다면, 읽기 속도가 높은 것이 일반적으로 더 많은 데이터가 처리되고 있음을 의미할 수 있습니다.kB_wrtn/s:디스크에 데이터를 쓰는 속도를 나타냅니다.데이터 색인(indexing) 작업 시 얼마나 많은 데이터를 디스크에 쓰는지 보여줍니다.쓰기 속도가 높으면 색인이 활발하게 이루어지고 있다는 뜻이며, 쓰기 지연이 없으면 성능이 양호하다고 볼 수 있습니다.2. 읽기 속도(kB_read/s) 증가좋은 신호일 수 있는 경우:검색 쿼리가 많아지고, 효율적으로 처리되고 있는 경우.캐시 미스(Cac..