늦은 오전, 지식을 탐하다 늦은 오전, 지식을 탐하다

책장

• MS-Fabric - Use Apache Spark to work with files in a lakehouse(2)

  카테고리 없음 2024. 12. 27. 17:57

  테이블 만들기 df.write.format("delta").saveAsTable("salesorders")spark.sql("DESCRIBE EXTENDED salesorders").show(truncate=False)   table 값 확인df = spark.sql("select * from sales_orders.dbo.salesorders LIMIT 1000")#df = spark.sql("select * from salesorders LIMIT 1000")display(df)   노트북에서 쿼리 실행 확인%%sqlSELECT YEAR(OrderDate) AS OrderYear,SUM((UnitPrice * Quantity) + Tax) AS GrossRevenueFROM salesordersGRO..

  Read More
• MS-Fabric - Use Apache Spark to work with files in a lakehouse(1)

  카테고리 없음 2024. 12. 27. 17:23

  DataFrame 만들기Fabric Notebook의 기본 언어이며 Python의 Spark 최적화 버전인 PySpark를 사용  from pyspark.sql.types import *orderSchema = StructType([ StructField("SalesOrderNumber", StringType()), StructField("SalesOrderLineNumber", IntegerType()), StructField("OrderDate", DateType()), StructField("CustomerName", StringType()), StructField("Email", StringType()), StructField("Item", StringType())..

  Read More
• Ubuntu 24.04 kubernetes cluster with Wireguard VPN

  Tech 2024. 5. 11. 14:05

  환경Ubuntu 24.04WireGuard(VPN) Server & ClientKubernetes Version: v1.30.0Docker Version: 24.0.7.AWS VM(WireGuard Server)Raspberry pi5(Master node)Raspberry pi5(Worker node)Raspberry pi4(Worker node)인프라 구성 다음 그림과 같이 wireguard vpn으로 세팅된 상태입니다.vpn은 10.0.111.0/24 네트워크 범위를 가지며Master node는 10.0.111.6Worker node는 10.0.111.5와 10.0.111.7입니다. Wireguard VPN은 필수는 아니지만 확장성을 위해 설계에 추가하였습니다. 설정 방법은 다음 게시글을 참고 부탁..

  Read More
• react redux toolkit query

  Read | Write/Tech 2023. 12. 7. 14:40

  react-native에서 redux toolkit query 사용 예시입니다. 설치 npm install @reduxjs/toolkit 미들웨어 추가 import {configureStore} from "@reduxjs/toolkit"; import {apiSlice} from "./apiSlice"; export const store = configureStore({ reducer: { [apiSlice.reducerPath]: apiSlice.reducer, }, middleware: (getDefaultMiddleware) => getDefaultMiddleware().concat(apiSlice.middleware) }) 슬라이스 추가 import {createApi, fetchBaseQuery..

  Read More
• react-native(javascript) 암호화 <-> java 복호화

  Read | Write/Tech 2023. 11. 17. 10:03

  https://www.npmjs.com/package/react-native-crypto-js react-native-crypto-js CryptoJS is a growing collection of standard and secure cryptographic algorithms implemented in JavaScript using best practices and patterns. They are fast, and they have a consistent and simple interface.. Latest version: 1.0.0, last published: 5 years ag www.npmjs.com React-Native(javascript) 복호화 소스 import CryptoJS fro..

  Read More
• raspberrypi docker mariadb

  Read | Write/Tech 2023. 11. 17. 09:47

  https://hub.docker.com/r/maurosoft1973/alpine-mariadb/ Docker hub.docker.com Volume structure /etc/my.cnf.d: MariaDB Configuration file /var/lib/mysql: Database files /var/lib/mysql/mysql-bin: MariaDB logs Environment Variables: Main MariaDB parameters: LC_ALL: default locale (en_GB.UTF-8) TIMEZONE: default timezone (Europe/Brussels) MYSQL_DATA_USER: specify the mysql owner data directory (defau..

  Read More
• vscode platformIO Serial moniter not working

  Read | Write/Tech 2023. 11. 17. 09:43

  - 다음과 같은 기본적인 코드를 실행 시켰을 때 시리얼 모니터로 출력이 안 나오는 문제 #include void setup() { Serial.begin(9600); } void loop() { Serial.println("Hello World!"); delay(1000); } 기본 프로젝트 세팅이 정상적이라 가정, 다음 두가지 사항을 확인 1. platformio.ini 의 monitor_speed = 9600와 코드 상 Serial.begin(9600) rate값 확인 2. platformio.ini 에 다음 세팅 추가 monitor_dtr = 0 monitor_rts = 0 정상 출력 확인

  Read More
• wireguard server - raspberrypi client connect

  Read | Write/Tech 2023. 11. 17. 09:41

  요약 raspberrypi(client)에 wireguard를 설치하고 aws(server)에 올려놓은 wireguard와 통신 설정하기 client wireguard 설치 sudo apt-get install wireguard wg genkey | sudo tee /etc/wireguard/privatekey | wg pubkey | sudo tee /etc/wireguard/publickey cat /etc/wireguard/privatekey kER8--이하 생략-- cat /etc/wireguard/public 1Qqr--이하 생략-- client wireguard 네트워크 세팅 # /etc/wireguard/wg0.conf #해당 클라이언트 정보 [Interface] PrivateKey = kE..

  Read More