SQL을 사용하여 파일이 있는 폴더를 쿼리하는 방법

이 가이드 외에도 쿼리 스트림의 모든 기능 보기 무료로 시작하기

지원

+더 보기

라이브 데이터

내보내기를 온디맨드 SQL로 바꾸기

Excel 시트

BI 및 AI 분석

Nova에 문의하여 SQL + 차트 가져오기

노바 만나기

+더 보기

자동화

6개 이상의 플랫폼에 예약 동기화

탐색

+더 보기

API에서 SQL로

코드 없이 SQL로 API 쿼리

탐색

Query Streams는 안전하고 실시간으로 데이터베이스를 통합하는 플랫폼으로, 일상적인 파일이 담긴 폴더를 Microsoft Excel, Google Sheets, Airtable 및 AI 비서에서 쿼리할 수 있는 실시간 SQL 테이블로 변환해 줍니다. QueryStreams.com에서 더 자세히 알아보세요. 그리고 무료로 가입하세요 몇 분 안에 첫 번째 폴더를 연결할 수 있습니다.

대부분의 비즈니스 데이터는 데이터베이스에 저장되지 않고 폴더에 쌓입니다. 매일 밤 내보내기 기능으로 CSV 파일이 생성되고, 컴퓨터는 로그 파일을 기록하고, 누군가는 이번 달 워크북을 지난달 워크북 옆에 저장하고, 그러다 보면 어느새 아무도 쉽게 물어볼 수 없는 질문에 대한 답이 담긴 파일이 수천 개나 쌓이게 됩니다.

A 파일 세트 커넥터 이 문제를 해결합니다. 쿼리 스트림 에이전트에서 폴더를 지정하고 해당 폴더에 있는 파일 유형을 알려주면 폴더 전체가 SQL 테이블 집합으로 변환됩니다. 2,000개의 일별 CSV 파일은 2,000일 분량의 데이터가 담긴 하나의 테이블이 되고, 통합 문서 폴더는 워크시트별로 하나의 테이블이 됩니다. 변환, 이동 또는 업로드 과정 없이 파일은 원래 위치에 그대로 유지됩니다.

7가지 폴더 유형

File Set은 7가지 모드를 제공하는 하나의 커넥터입니다. 폴더에 실제로 있는 내용에 맞는 모드를 선택하면, 해당 모드에 따라 파일을 읽는 방식과 결과 테이블의 형식이 결정됩니다.

작동 방식

쿼리 스트림 에이전트는 사용자 네트워크 내의 머신에서 실행되며, 데이터베이스에 연결하는 데 사용되는 것과 동일한 에이전트입니다. 이 에이전트는 외부 연결만 수행하므로 방화벽 규칙을 열거나 VPN을 구성할 필요가 없습니다.

이 네 단계 뒤에는 에이전트가 로컬 캐시를 유지하여 폴더를 쿼리할 때 매번 수천 개의 파일을 다시 읽는 것이 아니라 데이터베이스를 쿼리하는 것처럼 느껴지도록 합니다. 캐시는 에이전트와 동일한 시스템에 암호화된 상태로 저장되며, 쿼리 결과만 네트워크를 벗어납니다.

동기화할 때마다 실제로 변경된 파일만 다시 읽습니다. 예를 들어, 5만 개의 파일이 있는 폴더는 오늘 아침에 새 내보내기 파일 하나가 추가되었다고 해서 다시 분석되지 않습니다. 에이전트는 마지막으로 확인한 내용과 현재 내용을 비교하여 차이점만 수정합니다. 파일이 사라지면 해당 행이 테이블에서 제거됩니다.

스키마 고정: 첫 번째 동기화가 중요한 이유

이 개념은 제대로 이해할 가치가 있는데, 왜냐하면 사람들이 나중에 겪게 되는 거의 모든 예상치 못한 일들을 설명해 주기 때문입니다.

폴더를 처음 연결할 때 Query Streams는 최대 샘플을 제공합니다. 64개 파일 그리고 공통된 형태, 즉 열 이름, 데이터 유형, 텍스트 파일의 경우 구분 기호 및 문자 인코딩을 파악합니다. 이렇게 합의된 형태가 사용됩니다. 고정됨 — 표의 정의로 기록되고 취급됩니다.

고정 방식은 의도적으로 엄격합니다. 샘플링된 파일들이 하나의 모양에 대해 일치하지 않으면 커넥터가 제대로 작동하지 않습니다. 핀을 꽂는 것을 전혀 거부합니다 어떤 파일이 "올바른" 파일인지 추측하는 것보다 거부되는 것이 훨씬 효과적입니다. 거부는 폴더에 여러 종류의 파일이 있다는 명확한 메시지이며, 데이터의 절반을 숨기고 있는 테이블보다 훨씬 쉽게 조치를 취할 수 있습니다.

파일이 이동하면 어떻게 되나요?

도형이 고정되면 파일들이 해당 도형과 일치하는지 확인됩니다. 만약 파일이 더 이상 일치하지 않는다면(누군가 열을 추가했거나, 날짜 형식을 변경했거나, 다른 인코딩으로 저장했거나 등), 해당 파일 하나만 제거됩니다. 주차됨'파킹'이란 해당 파일의 행이 테이블에서 제외되고 그 이유가 기록되는 것을 의미하며, 다른 모든 파일은 정상적으로 동기화됩니다.

이는 의도적인 거래입니다. 형식이 잘못된 파일 하나가 테이블을 손상시키지도 않고 동기화를 중단시키지도 않습니다. 이 사실은 나중에 알게 됩니다. 파일_이벤트 테이블은 파일 이름을 지정하고 어떤 부분이 일치하지 않았는지 정확하게 설명합니다.

SELECT relative_path, event_type, detail, occurred_at FROM files_events WHERE event_type = 'drift' ORDER BY occurred_at DESC;

파킹된 파일은 크기와 수정 시간을 기준으로 기억되므로, 변경되지 않은 파킹 파일은 매 동기화 시마다 다시 시도되지 않습니다. 파일을 수정하면 다음 동기화 시에 반영됩니다. 폴더 구조가 완전히 변경된 경우에는 커넥터 옵션을 변경하면 폴더가 다시 샘플링되어 새로운 구조로 고정됩니다.

당신이 얻게 되는 테이블

모든 파일 세트 커넥터는 선택한 모드와 관계없이 동일한 네 가지 관리 테이블을 제공합니다. 이러한 테이블은 그 자체로 유용하며, 많은 사용자가 폴더의 목록을 확인하기 위해 폴더를 연결합니다.

그 외에도 6가지 콘텐츠 모드는 데이터 자체를 추가합니다. 해당 데이터가 표 형식으로 배열되는 방식은 모드에 따라 다릅니다.

각 콘텐츠 행에는 다음 내용도 포함됩니다. _소스_파일 해당 파일이 속한 열의 이름과 _row_id 이는 테이블 전체에서 고유한 값입니다. 즉, 어떤 숫자든 해당 숫자를 생성한 정확한 파일로 추적할 수 있다는 뜻입니다. 이는 총계가 잘못되어 1,400건의 내보내기 중 어떤 것이 원인인지 알아야 할 때 매우 중요합니다.

SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC;

파일은 절대 기록되지 않습니다.

파일 세트 커넥터는 읽기 전용이며, 이는 의도적인 설정에 의존하는 것이 아니라 에이전트에 의해 강제됩니다. 쿼리는 단일 문장이어야 하며, 오직 읽기 전용입니다. 선택, 와 함께, 프라그마, 설명하다 그리고 설명하다 허용됩니다. 그 외의 모든 것은 실행 전에 거부됩니다.

모든 설정과 변경 시점

이 부분은 참조 섹션입니다. 모든 폴더 유형은 아래 설정을 공유합니다. 형식별 설정(구분 기호, 시트 이름, 병합 깊이)은 각 형식별 가이드에서 다룹니다. 이러한 설정은 커넥터에서 찾을 수 있습니다. 연결 탭, 그룹화됨 원천, 스키마, 변화 감지 그리고 성능 및 제한 사항.

출처 — 어떤 파일을 범위에 포함할지 결정하기

스키마 — 테이블 이름 지정 및 경로를 열로 변환

테이블 이름 CSV, Parquet 및 JSONL 폴더에서 모든 데이터가 하나의 테이블로 통합될 때 이 필드가 나타납니다. 이 필드는 필수이며, 문자, 숫자 및 밑줄로 구성되어야 하며, 첫 글자에 숫자가 없어야 합니다. Excel, SQLite 및 다중 레코드 CSV 폴더에는 이 필드가 없습니다. 이러한 폴더의 테이블 이름은 각각 워크시트 이름, 멤버 테이블 이름 및 레코드 태그에서 가져옵니다.

두 가지 선택적 설정이 있습니다. 위치 파일의 내용을 필터링 가능한 데이터로 변환하는 기능입니다. 대부분의 사람들이 세 번째로 복잡한 쿼리를 작성한 후에야 이 기능을 사용하기 때문에 알아두면 유용합니다. _소스_파일.

파일 이름 구문 분석 패턴

파일 이름에 파일 내용에는 없는 정보가 담겨 있을 때 사용하십시오. 머신 로그가 대표적인 사례입니다. PRESS02_20260824_1431_A7741_sidepanel.csv 이름에만 기계, 날짜, 시간 및 부품 번호가 포함되어 있고 다른 곳에는 전혀 없습니다. 해당 부품들의 이름을 지정하면 각각 필터링 및 그룹화할 수 있는 실제 열이 됩니다.

패턴을 작성하는 방법은 두 가지가 있습니다. 간단한 형식은 구분 기호 사이에 있는 요소들의 이름을 파일 이름에 적용하는 것입니다. 없이 확장된 내용:

{machine}_{date}_{time}_{part_number}_{part_name} PRESS02_20260824_1431_A7741_sidepanel.csv -> machine = PRESS02, date = 20260824, time = 1431, part_number = A7741, part_name = sidepanel

이름이 깔끔하지 않은 경우 패턴 앞에 접두사를 붙이세요. 정규 표현식: 대신에 명명된 그룹을 사용하세요. 해당 양식은 확장자를 포함한 전체 파일 이름을 받으므로 처리 방식을 직접 제어할 수 있습니다.

정규식:^(?<기계>[AZ]+\d+)_(?<날짜>\d{8})_(?<시간>\d{4})_.*\.csv$

파일 이름이 일치하지 않을 경우 발생하는 상황: 해당 파일의 토큰 열은 NULL로 유지됩니다. 그리고 해당 파일에 플래그가 지정되어 있습니다. 이름_파싱_오류 이는 거짓이며 불일치는 이벤트로 기록됩니다. 사용자가 직접 알아차려야 하는 조용히 비어 있는 행은 절대 없습니다. 이는 사소한 오류라도 발생할 수 있기 때문에 중요합니다. PRESS02_....csv 사본 이는 그룹화 결과를 조용히 왜곡시킬 수 있는 바로 그런 종류의 요소입니다.

폴더 토큰 이름

폴더 구조가 분류 체계일 때 사용하세요. 수출품이 다음 조건에 해당되는 경우 사이트/동부/2026/…, 진입 대지 첫 번째 줄에서는 루트 아래의 첫 번째 경로 세그먼트를 다음과 같이 지정합니다. 대지 열이 포함되므로 해당 분기의 모든 행은 다음과 같습니다. 사이트 = 동쪽경로 순서대로 한 줄에 토큰 하나씩.

이렇게 하면 문자열 함수를 직접 작성할 필요가 없습니다. _소스_파일 모든 쿼리에서 사용되며, Nova AI와 BI 도구가 해당 차원을 일반 열처럼 인식할 수 있도록 합니다. 토큰 이름은 내장 파일 열과 충돌하지 않아야 합니다.이름, 깊이, 크기_바이트 (및 친구들)과 같은 이름은 파일 이름 패턴과 폴더 토큰에 동시에 나타날 수 없습니다. 둘 중 하나라도 나타나면 저장 시 거부되며, 조용히 덮어쓰기만 합니다.

테이블 레이아웃

CSV, Excel, JSONL 폴더 형식으로 제공됩니다. 이러한 형식은 사람들이 직접 손으로 조합할 때 가장 흔히 사용하는 형식입니다. 고정된 레이아웃 하나 이는 기본 설정이며 모든 파일이 동일한 형식을 공유할 것으로 예상합니다. 반복적으로 기계가 작성하는 내보내기에 사용하십시오. 레이아웃당 테이블 하나 파일들을 실제 존재하는 열들을 기준으로 그룹화하고, 각 그룹에 최대 25개의 테이블을 생성합니다.

폴더에 시간이 지남에 따라 정말로 다양한 파일이 누적되었고, 일부 파일만 가져오는 대신 모든 파일을 가져오고 싶을 때 레이아웃별 옵션을 사용하세요. 이 설정을 변경하면 폴더를 다시 샘플링하고 테이블을 다시 생성한다는 점에 유의하세요. 이는 고정된 모양이 변경되었기 때문에 의도적인 동작입니다. 이미 사용 중인 테이블 이름은 재구축 과정에서 유지되므로 기존에 저장된 쿼리는 계속 작동합니다.

매니페스트 재정의(JSON)

뒤에 숨겨져 있습니다 고급 옵션 표시샘플링된 도형의 구조는 맞지만 세부 사항이 잘못된 경우, 예를 들어 열 이름을 바꾸거나, 데이터 유형을 넓히거나, 열을 삭제하고 싶을 때 사용할 수 있는 비상 탈출구입니다. 이 옵션은 도형이 고정될 때 적용되므로 쿼리마다 다시 적용되는 것이 아니라 테이블 정의의 일부가 됩니다.

{ "renames": { "qty": "quantity" }, "retypes": { "price": "DECIMAL(18,4)" }, "exclude": [ "internal_notes" ] }

• 이름을 바꾸다 — 열에 더 나은 이름을 지정하세요. 다른 이름으로 변경할 수는 없습니다. _소스_파일 또는 _row_id두 열의 이름을 같은 이름으로 변경할 수 없습니다.
• 재입력 — 열의 데이터 형식을 강제로 지정합니다. 숫자로 구성된 코드 열이 숫자로 읽혔을 때 앞에 붙는 0을 다시 넣어야 할 때 유용합니다.바르차르), 또는 금액 열에 정확한 소수점 표기가 필요한 경우에 사용합니다. 여기에 설정한 형식은 의도적인 지시로 간주되므로, 엄격한 검사 없이 적용되어 파일 저장을 중단시키지 않습니다.
• 들어오지 못하게 하다 — 표에서 열을 아예 제외합니다.

상자를 비우면 재정의 설정이 지워지고 테이블이 샘플링된 원래 형태로 돌아갑니다. 선택적 정밀도를 지원하는 일반 형식 이름만 허용됩니다. 십진수(18,2), 바르차르, 빅인트, 날짜 — 그리고 비정상적인 항목은 동기화 시점이 아닌 저장 시점에 거부됩니다.

변경 감지 — 에이전트가 파일 이동을 감지하는 방법

스캔 간격 이 설정은 에이전트가 루트 폴더를 스캔하여 새 파일, 변경된 파일, 사라진 파일을 찾는 빈도를 나타냅니다. 기본값은 시간 단위이며, 5분 간격부터 매일 간격까지 선택할 수 있습니다. 폴더에 실제로 파일이 추가되는 빈도에 맞춰 설정하세요. 예를 들어 매일 밤 파일을 내보내는 경우에는 5분 간격으로 스캔할 필요가 없으며, 20만 개의 파일이 있는 공유 폴더를 5분 간격으로 스캔하는 것은 아무런 새로운 데이터도 얻지 못하고 비용만 낭비하는 셈입니다.

성능과 한계 — 안전장치

잘못된 위치를 가리키는 폴더 커넥터는 디스크 전체를 읽으려고 시도할 수 있으므로 모든 파일 세트 커넥터에는 안전 장치가 포함되어 있습니다. 이 모든 안전 장치는 뒤에 있습니다. 고급 옵션 표시그리고 그들은 분명히 밝힐 가치가 있는 한 가지 규칙을 따릅니다. 0은 결코 무한대를 의미하지 않습니다.기본 설정값을 사용하려면 해당 칸을 비워 두십시오. 0 "제한 없음"으로 처리하기보다는 거부됩니다.

스캔이 이러한 제한 중 하나를 초과하면 커넥터는 스캔을 거부하고 어떤 제한에 도달했는지 알려줍니다. 부분적인 인벤토리는 절대 저장되지 않습니다. 폴더 목록에서 파일의 절반이 누락된 것은 아예 목록이 없는 것보다 더 나쁘기 때문입니다. 제한에 도달했을 때는 일반적으로 범위를 좁히는 것이 가장 먼저 해야 할 일입니다. 패턴을 포함하세요 용량 제한을 높이는 것보다는, 필요한 4,000개의 파일만 읽는 커넥터가 400,000개의 파일을 읽고 나중에 필터링하는 커넥터보다 더 빠르고 명확합니다.

데이터가 갈 수 있는 곳

폴더 커넥터는 다른 데이터 소스와 마찬가지로 데이터 소스 역할을 하므로, 쿼리 스트림이 이미 제공할 수 있는 모든 데이터는 변경 없이 그대로 사용할 수 있습니다. 저장된 쿼리를 스프레드시트, 프로젝트 추적기, AI 비서 등에 그대로 사용할 수 있으며, 쿼리를 다시 작성할 필요가 없습니다.

• 마이크로소프트 엑셀과 구글 시트 — 추가 기능에서 저장된 쿼리를 실행하면 행이 시트에 표시되고, 요청할 때마다 새로 고쳐집니다.
• Airtable, Smartsheet, Baserow, SeaTable 및 Anvil — 예약된 동기화를 통해 폴더 데이터가 팀에서 이미 사용하고 있는 도구로 전송됩니다.
• Nova AI — 쉬운 영어로 질문하고 폴더에 대한 SQL 쿼리 결과를 차트와 함께 받아보세요.
• 클로드, 커서, ChatGPT 및 Grok — Query Streams MCP 서버를 통해 AI 어시스턴트가 폴더를 직접 쿼리할 수 있습니다.
• REST API 저장된 쿼리를 파트너 또는 내부 앱의 엔드포인트로 변환합니다.

해당 폴더는 일반 커넥터이므로 해당 테이블도 마찬가지입니다. 다른 데이터와 결합하세요배송 CSV 파일이 담긴 폴더를 PostgreSQL의 주문 테이블 및 Stripe 결제 테이블과 단일 읽기 전용 명령으로 조인할 수 있으며, 이 과정에서 먼저 데이터 웨어하우스에 아무것도 로드할 필요가 없습니다.

하나 설정하기

Query Streams 계정과 폴더를 볼 수 있는 컴퓨터(서버, NAS에 연결된 워크스테이션 또는 노트북)에 네트워크 에이전트가 설치되어 있어야 합니다. 파일 세트 커넥터에는 다음이 필요합니다. 네트워크 에이전트 2.6 이상 버전.

1. 다음에서 에이전트를 설치하세요. 다운로드 페이지 아직 안 하셨다면요.
2. 포털에서 데이터 커넥터를 추가하고 파일에 맞는 폴더 유형을 선택하세요.
3. 에이전트 컴퓨터에서 보이는 폴더 경로를 입력하고, 폴더에 원하는 것보다 많은 파일이 있는 경우 파일 패턴을 사용하여 범위를 좁히십시오.
4. 저장. 에이전트가 폴더를 샘플링하고 도형을 고정한 다음 발견한 내용을 보고합니다.
5. 쿼리 빌더를 열고 새 커넥터를 선택한 다음 SQL 쿼리를 작성하거나 Nova AI에 SQL 쿼리 작성을 요청할 수 있습니다.

자주 묻는 질문

시작하기

관련 가이드: 쿼리 스트림 에이전트를 다운로드하세요 | 데이터 커넥터 설정 가이드 | 모든 커넥터를 살펴보세요

범주: 파일 세트 커넥터

태그: 파일 세트 커넥터, CSV 폴더 쿼리, 파일에서 SQL 실행, Parquet 폴더, Excel 폴더, JSONL, SQLite 폴더, 폴더를 SQL로 변환

메타 설명: CSV, Excel, Parquet 또는 JSON 파일이 담긴 폴더를 실시간 SQL 테이블로 변환합니다. 파일 업로드 기능은 없으며, 읽기 전용입니다.