SNOWFLAKE 기본사용법

■ Snowflake 주요기능■ Snowflake Intelligence 구조Snowflake Intelligence (만들어둔 Agent를 사용)Cortex Agent (두개를 모두 설정해놓으면 질문에 따라 2개중한개를 사용하여 질의응답해줌)Cortex Analyst (정형데이터)Cortex Search (비정형데이터)Cortex Evaluation■ Sementic View (Cortex Analyst 에서 사용)Sementic View : 일종의 메타데이터로, 비즈니스 개념 ↔ 물리 데이터 간 불일치 → 사람이 이해하는 이름(예: net_revenue)을 DB에 직접 정의일종의 메타데이터로, 비즈니스 개념 ↔ 물리 데이터 간 불일치 → 사람이 이해하는 이름(예: net_revenue)을 DB에 직접..

BIRD 벤치마크 Databricks 시도

지니 모델 생성방법GENIE 에 들어가서 SEMENTIC VIEW 생성하기 클릭MODEL + SEMENTIC VIEW 선택생성된 Sementic 모델에서 각 테이블마다 realationship 설정을 추가해주기 질의를 날려 SQL 쿼리 / 실행결과 답변 결과를 볼 수 있음 생성된 답변에 설명을 추가 / 벤치마크에 추가 / 결과를 CSV로 카피 등의 추가작업도 가능벤치마크 목록을 추가하여 점수를 볼 수도 있습니다틀린답의 경우 아래처럼 비교도 가능 아래는 정답인 경우 지니 모델의 데이터 & SEMENTIC VIEW 구성1 테이블당 1개 sementic view 생성 relationship은 지니에서 직접 수기로 설정 PK/UNIQUE KEY는 YAML에서 설정하는 부분을 찾지못해서 생략8개 SEMENTIC ..

BIRD 벤치마크 snowflake 시도

범위 : BIRD BENCH 의 FIANANCIAL 데이터셋에 한정하여 수동 벤치마크테스트1.데이터 업로드 : Financial 데이터셋만 SQlite → Parquet 변환후 8개 테이블 업로드- 파일1위치 : https://bird-bench.github.io/ - DEV 데이터셋 다운로드 - Dev_20240627 - dev_databases - financial - financial_sqlite- 파일2위치 : https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/birdparquet" data-node-type="expand">#sqlite -> parquet 변환 pythonimport sqlite3import pandas as pdfrom pa..

Power BI 정리 추후참조용

단어 & 개념 정리 이름정리LAKEHOUSE데이터 통 역할SHORTCUT복사를 통해 다른사람 LAKEHOUSE 에 들어있는 테이블 사용가능DATAFLOW GEN2노코드 & 드래그앤드랍으로 FLOW를 만들 수 있음전처리 가능 but 데이터가 너무 크거나, 전처리 flow가 매우길경우 로딩시간이점점 길어짐SQL분석엔드포인트SQL로 개인 데이터 분석용.SQL로 뷰테이블 생성가능TABLE로 저장은 불가능VIEW 테이블에 저장하면 생성자만 사용가능하고, 제3자는 재사용 불가능WAREHOUSELAKEHOUSE + SQL 분석엔드포인트NOTEBOOK뷰테이블 저장후 다른사람과 공유 가능테이블 생성 가능SEMENTIC MODEL리포트를 위한 데이터 구조 셋팅전처리 + 테이블간 RELATIONSHIP 설정 가능테이블간 R..

PL600 정리

무료덤프 : https://www.examtopics.com/ (여기서 가입하면 한달 free trial / 2개무료다운로드가능)참고로 마이크로소프트 사이트에서 제공하는 덤프는 안맞는다고함 SSRS(SQL Server Reporting Services)란? Power APPS 엑셀업로드하면 자동모바일앱 만들어줌 + teams Dynamics 365 (CRM) Microsoft Dynamics 365 (CRM)는 전세계 42개의 언어로 제공 중인 서비스입니다 dynamic 465 field service Dynamics 365 Field Service 비즈니스 응용 프로그램을 사용하면 조직은 고..

What is Agent Force?

Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on ...

Retrieval Augmented Generation (RAG) and Beyond: A ComprehensiveSurvey on How to Make your LLMs use External Data More Wisely

SQL 정리 (기초탄탄, SQL 톺아보기 (입문과정))

강의에서 하란대로 sql server express edition을 다운받아보았으나, 맥북이라 안됨 ^^ 아래처럼 실습 환경 구축해서 진행함.. M2 맥북에서 AZURE SQL 실습환경 구축 (Data Studio+adventureworks.bak)기본베이스는 https://learn.microsoft.com/ko-kr/sql/samples/adventureworks-install-configure?view=sql-server-ver16&tabs=data-studio#download-backup-files 이거 따라함 Azure Data Studio 설치하기 Azure SQL Server에서 [만들기] 눌러서 peanut159357.tistory.com ㄴ or 를 대체해서 쓰는게 in / 100,200..

M2 맥북에서 AZURE SQL 실습환경 구축 (Data Studio+adventureworks.bak)

원래 databricks에서 실행하고 싶어서 이모저모 찾아봤는데, 아무리 찾아봐도 databricks에 bak 데이터를 업로드하는 튜토리얼이 전혀 보이지 않았다... (혹시 있으면 댓글로 알려주시면 감사감사 왕감사..) 그래서 azure data studio를 제일 많이 쓰는거 같길래 설치함 기본베이스는 https://learn.microsoft.com/ko-kr/sql/samples/adventureworks-install-configure?view=sql-server-ver16&tabs=data-studio#download-backup-files 이거 따라함 Azure Data Studio 설치하기 Azure SQL Server에서 [만들기] 눌러서 새로 만들어주기 Azure 계정이랑 연결하기 (왼쪽..

LLM+Tabular data관련 논문정리

1. Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey더보기[중요내용 정리] TABULAR  특징 데이터의 다양성 ( 이진,수치형,텍스트같은 다양한 유형포함) 불균형한 레이블과 없는값들이 많을수도 전처리 필요성 컨텍스트기반의 상호연결(예를들어 나이,교육수준,음주는 연결된) 순서 무관 사전지식의 부재 - 종종 이미지나 오디오데이터는 사전지식이 필요하다.   전통적인 tabular data과 딥러닝 활용 Gradient Boosted Decision Trees 부스팅앙상블 한계점1 : 범주형특징같은것에 민감할수있으며, 암묵적 학습 수행이 가능 한계점2 : 시계열 데이터의 경우 처리하기..

Transformer 구조 : Self attention,Multihead attention,Layer Norm, Feed forward(+파라미터 구함)

transformer 구조을 알기 위해서는 attention is all you need라는 논문을 보면된다.transformer 구조는 아래그림과 같다. 여기서 정리할것들self attentionmulti head attentionfeed forwardadd & Norm 1. Self Attention 참조 (아래 더보기 클릭)더보기참조 : https://www.youtube.com/watch?v=DdpOpLNKRJs&t=288s / https://ratsgo.github.io/nlpbook/docs/language_model/tr_self_attention/ https://glanceyes.com/entry/Transformer의-Multi-Head-Attention과-Transformer에서-쓰인-..

CCGRID 2024 [CNN Training Latency Prediction Using Hardware Metrics on Cloud GPUs]

https://docs.google.com/presentation/d/1_cXw2bG_8N2Qf-jpfAVGL4nS8gQv8bH-/edit?usp=sharing&ouid=111294100749924114902&rtpof=true&sd=true 최종본Thank you for your kind introduction, Chairman () Hello everyone, I’m yoonseo hur and phd student at Kookmin university I will present you about the CNN training latency prediction using hardware metrics on cloud gpus CNN Training Latency Prediction Usindocs...

LLAMA Inference

LLAMA 너무 커서 inf2.24large에서 시작하기 (허깅 페이스 토큰도 만들어야함)AMI : Deep Learning AMI Neuron PyTorch 1.13 (Ubuntu 20.04) 20231003source /opt/aws_neuron_venv_pytorch/bin/activatepip3 install transformers-neuronx --extra-index-url=https://pip.repos.neuron.amazonaws.compip3 install optimumpip3 install -U "huggingface_hub[cli]"huggingface-cli login llama 사용권한요청1 : https://llama.meta.com/llama-downloads/llama 사용..

T5 inference in inferentia

https://awsdocs-neuron.readthedocs-hosted.com/en/latest/src/examples/pytorch/torch-neuronx/t5-inference-tutorial.html source /opt/aws_neuron_venv_pytorch/bin/activate pip install transformers-neuronx --extra-index-url=https://pip.repos.neuron.amazonaws.com pip install --upgrade transformers==4.31.0 optimum-neuron==0.0.8 pip install torch_xla AMI는 코드는 아래 더보기 누르기~ 더보기 import torch import datetime ..

AWS Spot Instance Start

여러개 인스턴스 중에서 되는걸로 사용하는법그냥 인스턴스만들기한다음 기타 + 스팟 체크해서 사용하는 방법도 있움  1. 템플릿 만든다. (AMI 설정/키페어/보안그룹/스토리지 등등)2. 스팟 생성하기에서  템플릿 선택하고, 네트워크-가용영역-서브넷 설정 (서브넷 설정에서 private 안되게 지정해준다. private 서브넷 선택되면 ssh 안드가짐)3. 인스턴스 유형 선택하기 ( inf2.xlarge를 사용하고 싶을땐 inf2.xlarge선택하고, 나머지는 그거보다 큰걸로 설정해놓으면 됨)

openai gpt3 inference in inferentia2(neruon)

import openai openai.api_key = 'mykey' response = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "user", "content": "Hello, I'm a language model,"} ] ) print(response['choices'][0]['message']['content']) AMI : Deep Learning AMI Neuron PyTorch 1.13 (Ubuntu 20.04) 20240102 인스턴스 : Inf2.xlarge source /opt/aws_neuron_venv_pytorch/bin/activate pip install transform..

자연어처리 - LZW, BPE

GPT2 Text-generation을 AWS환경의 GPU/CPU/Inf2/Trn1에서..

1. GPU / CPU GPU AMI : CPU AMI : 그냥 ubuntu 20.0 서버 참조 : https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-generation sudo apt-get update pip3 install accelerate pip3 install transformers pip3 install torch git clone https://github.com/huggingface/transformers.git cd transformers/examples/pytorch/text-generation python3 run_generation_inf2.py --model_type gpt2 --model_na..

Inf2.xlarge에서 gpt2 text generation inference 수행

첫번째시도(실패)- hugging face에서 제공하는 pytorch 코드로 돌리면 손을좀 봐야한다. 이유는 해당코드가 gpu/cpu 전용으로 만들어졌기 때문. ( https://github.com/huggingface/transformers/blob/main/examples/pytorch/text-generation/run_generation.py )- torch.jit.trace와 torch_neuron.trace는 모두 PyTorch 모델을 최적화하여 pytorch 모델을 TorchScript로 바꿔주는데 사용함. 그런데 전자는 cpu/gpu 용도이고 후자가 inferentia용으로 Nueron 호환 형식으로 변환. 그래서 후자로 변환해줘야함- 변환해줘도 뉴런코어의 사용률이 0% 두번째시도(성공)-..

Luminiol CPD 개념

Luminol을 알려면 Bitmap이 뭔지를 알아야함 (깃허브 살펴보면, bitmap 논문 참조했다고 주석에 나옴 http://alumni.cs.ucr.edu/~ratana/KumarN.pdf) 우선 Bitmap은 카오스게임방식으로 패턴을 나타낸다. 이것은 단순한 숫자를 문자로 변환하여 패턴을 한눈에 살펴볼수 있도록 하는 알고리즘입니다. 하지만 이 알고리즘을 적용하기위해서는 이산 시퀀스형태로 만들어야하는데 우리가 사용하고자 하는 데이터는 시계열 실수 데이터. 이런 시계열 데이터를 이산 시퀀스로 변환해주는것이 바로 SAX알고리즘입니다 SAX 알고리즘은 타임시리즈 실수 데이터를 동일한 크기의 구간으로 나눕니다. 나눈 구간의 평균값을 계산한다음 그 구간을 전부다 그 평균값으로 대체해버리는 방식으로 타임시리즈 ..