SQL을 사용하여 Parquet 파일이 있는 폴더를 쿼리합니다.

폴더 커넥터 · Parquet 폴더

Parquet 파일이 있는 폴더를 다음으로 변환합니다. SQL 테이블 어디서든 조회할 수 있습니다

쿼리 스트림 에이전트를 해당 폴더로 지정하세요. 에이전트는 자체 컴퓨터에서 파일을 읽고 로컬 캐시에 테이블을 구축한 다음 파일이 추가, 변경 또는 삭제될 때마다 최신 상태로 유지합니다. Excel, Google Sheets, Nova, Claude 또는 REST API를 통해 해당 테이블을 쿼리할 수 있습니다. 파일이 업로드되거나 변환 또는 편집되는 일은 없습니다.

약 15분 코딩이 필요 없습니다 파일은 네트워크에 저장됩니다. 무료 플랜에서 해당 내용을 다룹니다.

당신이 최종적으로 얻게 될 것

예를 들어, 결과적으로 하나의 유형화된 SQL 테이블이 생성됩니다. 파일세트.주문폴더에 있는 모든 Parquet 파일의 행을 저장하고, 열 유형은 파일 바닥글에서 읽어옵니다. _소스_파일 각 행이 가져온 파일의 이름을 나타내는 열이 있습니다. Parquet 뷰어를 설치하거나 DuckDB를 직접 설정할 필요가 없습니다. 에이전트는 실행되는 컴퓨터에서 파일을 읽고, 해당 행을 캐시한 다음 SQL로 제공하므로 파일은 네트워크에 저장됩니다.

모든 데이터는 DuckDB의 하나의 스키마에 저장됩니다. 파일셋에이전트 컴퓨터에 캐시됩니다. 데이터 테이블은 사용자의 데이터를 가져옵니다. 테이블 이름열과 데이터 유형은 Parquet 푸터에서 가져옵니다. 파일에는 열이 추가되거나 생략될 수 있습니다. 테이블에는 파일에 있는 모든 열이 저장되며, 파일에 없는 열은 NULL로 표시됩니다.

Parquet에는 레이아웃별 모드가 없습니다. 일치하는 모든 파일은 하나의 레이아웃을 공유해야 하며, 파일 간에 유형이 다른 열이 있으면 연결이 중단됩니다. 모든 폴더 커넥터는 또한 다음 기능을 제공합니다. 파일, 파일_이벤트, 디렉토리, 디렉토리 스냅샷 그리고 볼륨여기에는 Parquet 파일 자체, 변경 내역 및 폴더 크기가 나열됩니다.

생계를 유지하는 곳:

• 데이터 레이크 내보내기: 파이프라인이 매일 Parquet 형식의 파트를 연도/월 폴더에 기록하고, 분석가는 노트북 없이 하나의 테이블로 쿼리할 수 있습니다.
• 벤더 드롭: 파트너가 Parquet 추출 파일을 공유 폴더에 전달하면, 해당 파일을 다른 곳에 로드하기 전에 파일별 행 수를 확인합니다.
• 아카이브 조회: 수년간의 Parquet 기록이 NAS에 저장되어 있으며, 이전에는 스크립트가 필요했던 질문에 대해 단 하나의 SQL 쿼리로 답을 얻을 수 있습니다.

필요한 것

Query Streams 계정

폴더 연결 기능은 무료 플랜을 포함한 모든 플랜에서 사용할 수 있습니다. 무료 플랜은 체험 기간이 만료되는 것이 아니라 계속 사용할 수 있는 플랜입니다. 폴더에 저장할 수 있는 파일 수에는 제한이 없습니다.

에이전트, 버전 2.6.0 이상

폴더를 열 수 있는 컴퓨터(파일 서버 자체, 사무실 컴퓨터 또는 파일이 저장된 컴퓨터)에 설치해야 합니다. 이전 버전의 에이전트는 폴더 카드가 회색으로 표시됩니다. 에이전트 2.6.0+ 배지. Windows, Mac 또는 Linux.

에이전트가 인식하는 폴더 경로

로컬 경로 또는 네트워크 공유는 다음과 같이 작성됩니다. \\서버\공유\폴더. The Agent runs as a service, so it cannot see drives you mapped at your login (Z: and friends). On Windows it can sign in to a share with a login you store; on Linux or a Mac, mount the share first (Linux under /mnt 또는 /메디아, a Mac under /Volumes).

5단계로 설정하세요

1. 해당 폴더를 열 수 있는 컴퓨터에 에이전트를 설치하세요.

   로그인, 열기 다운로드Parquet 파일 폴더를 열 수 있는 컴퓨터(파일 서버 또는 공유 폴더에 접근할 수 있는 항상 켜져 있는 컴퓨터)에 시스템용 에이전트를 설치하십시오. 설치에는 약 1분 정도 소요되며, 이후에는 자동으로 시작됩니다. 버전 2.6.0 이상이 필요하며, 다운로드 페이지에서 항상 최신 버전을 확인할 수 있습니다.

   드라이버 대신 작은 프로그램을 사용하는 이유는 무엇인가요? 에이전트는 Windows, Mac 또는 Linux에 한 번만 설치하면 됩니다(Windows에서는 약 85MB, Mac 및 Linux에서는 100MB 조금 넘습니다). 에이전트는 Query Streams에 대한 암호화된 아웃바운드 연결을 하나만 생성하며, 필요한 네트워크 경로는 이것뿐입니다. 인바운드 포트를 열거나 VPN을 사용할 필요가 없습니다. 에이전트는 설치된 폴더에서 데이터를 읽기 때문에 파일은 제자리에 유지되고, 쿼리 결과가 반환된 행만 인터넷을 통해 사용자의 추가 기능, 브라우저 또는 AI 클라이언트로 전송됩니다.

   다운로드 페이지가 표시됩니다 액세스 키에이전트가 요청할 때 해당 코드를 붙여넣고 배지가 인식될 때까지 기다리세요. 쿼리 스트림에 연결됨에이전트 컴퓨터에서 하는 작업은 그게 전부입니다. 나머지 모든 작업은 브라우저에서 이루어집니다.

   자세한 공략이 필요하시면 보여드리겠습니다. 윈도우, 스코틀랜드 사람, 리눅스.

2. Parquet 파일이 있는 폴더를 지정하세요.

   브라우저를 다시 열어주세요 데이터 → 데이터 에이전트방금 설치한 에이전트를 찾아서 클릭하세요. 커넥터 추가 버튼을 누르세요. 열기 파일 및 폴더 약을 고르세요 마루 폴더 카드. 어떤 카드가 맞는지 모르시겠나요? 선택하세요 폴더 안의 파일들 대신 에이전트가 폴더를 샘플링하고 "찾은 내용" 페이지에 폴더 안의 내용을 표시한 다음 미리 채워진 해당 카드를 열어줍니다.

   마법사가 달린다 폴더 → 확인 → 설정 → Realm → 검토. 에 폴더:

   루트 폴더

   One path per line, as the Agent’s computer sees it. Each folder shows a status (reachable, denied, missing, unreachable, credentials invalid or not mounted) as soon as you add it. On a Windows Agent a share that needs a login gets one from the folder’s Credential column, stored once per server; on Linux or a Mac, mount the share first.

   하위 폴더 스캔, 최대 깊이

   기본적으로 켜져 있고 8단계로 설정되어 있습니다.

   패턴 포함, 패턴 제외

   어떤 파일이 포함되는지 알아봅니다. 포함 패턴은 이 카드에 맞는 글로브 패턴으로 시작합니다. 하나의 커넥터는 하나의 파일 형식, 즉 CSV 파일이 있는 폴더를 읽습니다. 그리고 Parquet 파일은 동일 폴더에 파일 형식별로 하나씩, 총 두 개의 커넥터로 구성됩니다.

   심볼릭 링크와 접합점을 따라가세요

   기본적으로 비활성화되어 있습니다. 이 기능을 활성화하지 않으면 에이전트는 바로 가기나 클라우드 자리 표시자를 따라가지 않습니다.

   다음부터 시작하세요 커넥터 추가 에이전트의 버튼을 클릭하면 폴더가 열립니다. 열기 파일 및 폴더 그리고 클릭하세요 마루 폴더 카드.

   • 루트 폴더에이전트 컴퓨터의 경로와 같이 한 줄에 폴더 하나씩 입력하십시오. 네트워크 공유 폴더의 경우 다음과 같이 입력하십시오. \\서버\공유\폴더매핑된 드라이브 문자가 아닙니다.
   • 패턴을 포함하세요 시작하다 **/*.쪽매 세공. 하위 폴더를 스캔합니다 켜짐 최대 깊이 8이므로 분할된 폴더 트리가 읽힙니다.
   • A를 입력하세요 테이블 이름, 예를 들어 주문이 카드에는 필수 사항입니다.
   • 없습니다 테이블 레이아웃 선택 사항입니다. 모든 일치하는 파일은 하나의 레이아웃을 공유해야 하며, 첫 번째 동기화는 샘플에서 해당 레이아웃을 고정하고, 이후에 일치하지 않는 파일은 따로 분류되어 보고된다는 설명이 있습니다.

3. 무엇이 생성될지 확인해 보세요

   ~에 확인하다 에이전트는 최대 64개의 파일 샘플을 읽고 빌드할 내용을 보여줍니다. 아직 아무것도 생성되지 않았습니다. 버튼에는 다음과 같이 표시됩니다. 테스트 연결 판결이 나올 때까지, 다음; 다시 테스트해 보세요 변경 사항을 적용하면 샘플을 다시 실행합니다. 다음 네 가지 제목 중 하나가 표시됩니다.

   만들 준비가 되었습니다

   샘플링된 모든 파일이 들어맞습니다. 그 아래 칩에는 접근 가능한 폴더 수, 파일 및 행 수, 그리고 존재할 테이블의 정보가 표시됩니다.

   준비 완료, 메모 포함

   일부 파일은 보류되거나 레이아웃 스니프가 거부될 수 있습니다. 어떤 파일인지 정확히 알려주는 주황색 배너가 표시됩니다. "{m}개 파일 중 {n}개가 보류됩니다." 어떤 파일인지, 그리고 그 이유는 무엇인지 보여주세요. 목록에는 "그래도 생성할 수 있습니다. 커넥터가 계속 재확인하고 매니페스트 탭에 이유를 보고합니다."라고 표시됩니다.

   주의가 필요합니다

   에이전트가 오프라인 상태이거나 폴더가 누락되었습니다. 계속 진행하기 전에 문제를 해결하세요. 에이전트가 오프라인 상태인 경우에도 페이지에 오프라인이라고 표시되고 계속 진행할 수 있습니다.

   거절이나 보류 파일은 절대 당신을 막지 않습니다. 클릭하세요. 다음마법사를 완료하고 나중에 문제가 있는 파일을 수정하세요. 에이전트가 오프라인 상태이거나 폴더가 누락된 경우에만 마법사가 중지됩니다.

   ~에 확인하다에이전트는 최대 64개의 파일을 샘플링하고 파일 수, 크기, 행 수 예상치 및 생성될 테이블을 표시합니다. 아직 아무것도 생성되지 않았습니다. 샘플 전체에서 데이터 유형이 일치해야 하며, 에이전트는 다수결에 따라 유형을 고정하지 않습니다. 두 파일의 열 유형이 일치하지 않으면 헤드라인이 표시됩니다. 준비 완료, 메모 포함 주황색 배너에는 "스키마 스니핑이 거부되었습니다: {이유}"라는 메시지가 표시되고, 오류가 발생한 파일 이름이 나타납니다. 하지만 커넥터는 계속 생성할 수 있습니다. 커넥터는 지속적으로 재확인을 진행하며, 거부 사유를 배너에 표시합니다. 명백한 파일을 수정하거나 제외할 때까지 탭을 누르세요.

4. 스캔 빈도를 선택한 다음 생성하세요.

   기본 설정 설정 하루에 몇 개의 파일만 받는 폴더에 적합합니다. 변경하고 싶은 네 가지 사항은 다음과 같습니다.

   스캔 간격

   매시간 기본 설정은 5분 간격부터 매일까지 다양합니다. 각 스캔은 파일 크기와 수정 시간을 비교하여 새로 생성되거나 변경되었거나 사라진 파일을 찾습니다.

   폴더 변경 사항을 실시간으로 감시합니다.

   기본적으로 비활성화되어 있습니다. 활성화하면 에이전트가 로컬 디스크에서는 몇 초 내에 반응하고, 네트워크 공유에서는 최선을 다해 반응하며 예약된 검사가 가장 확실한 반응을 보장합니다. 조용한 기간 (15초) 파일 쓰기가 완료될 때까지 기다립니다.

   질문에 답변하기 전에 새로고침하세요.

   기본적으로 비활성화되어 있습니다. 활성화하면 마지막 스캔이 설정된 시간보다 오래되었을 때 쿼리가 먼저 다시 스캔합니다. 정체 창 (60초), 최대 대기 시간 쿼리 대기 제한 (5초). 이는 알림 폴링이 아닌 사람 및 추가 기능에 적용됩니다.

   파일이 사라졌을 때

   행을 내려놓으세요 기본적으로 또는 행은 유지하고 삭제된 항목은 표시(묘비 표시)합니다.그. 바니쉬 가드 비율 (0.5) 한 번에 절반 이상의 파일을 손실하는 스캔을 거부하고 이전 인벤토리를 유지합니다. 이것이 오프라인 공유의 모습입니다.

   그런 다음 선택하세요 데이터 영역 행 수를 세어보세요. 검토 클릭하고 클릭하세요 커넥터를 생성합니다.첫 번째 스캔은 즉시 시작됩니다. 커넥터의 명백한 탭에는 빌드된 내용과 따로 저장해 둔 파일이 표시됩니다.

5. 테이블을 보세요

   커넥터를 여세요: 명백한 탭에는 생성된 테이블 목록이 표시됩니다. 쿼리 빌더 같은 테이블들이 그 아래에 놓여 있습니다. 파일셋 스키마. 첫날부터 작동하는 세 가지 쿼리:

   각 Parquet 파일이 추가하는 행의 수

   SELECT _source_file, COUNT(*) AS row_count, MAX(_row_id) AS last_row_id FROM fileset.orders GROUP BY _source_file ORDER BY row_count DESC LIMIT 100

   테이블 뒤에 있는 모든 부품 파일과 각 파일이 기여하는 정도를 보여줍니다.

   폴더를 크기 및 최신 파일 순으로 분할합니다.

   파일셋 디렉토리에서 경로, 하위 트리 파일 개수, 하위 트리 바이트, 최신 파일 UTC를 선택하고 최신 파일 UTC를 내림차순으로 정렬하며 제한값은 100으로 설정합니다.

   어떤 파티션 폴더에 가장 최근에 파일이 추가되었는지, 그리고 각 폴더의 크기가 얼마나 증가했는지 알려줍니다.

   제출이 거부되거나 보류된 파일이 있었습니까? 있다면 그 이유는 무엇입니까?

   SELECT relative_path, event_type, detected_by, detail, event_at FROM fileset.files_events WHERE event_type IN ('refused', 'drift') ORDER BY event_at DESC LIMIT 20

   거부된 행은 레이아웃을 고정할 수 없었음을 의미하고, 누락된 행은 행이 누락된 파일의 이름입니다.

   모든 폴더 커넥터는 동일한 회계 테이블을 제공하며, 모든 기능은 여기에 있습니다. 파일셋 개요:

   테이블	그것이 담고 있는 것
   파일	폴더에 현재 있는 모든 파일의 경로, 이름, 확장자, 크기, 생성 및 수정 시간, 최초 및 마지막 확인 시간 정보를 한눈에 볼 수 있습니다. 파일_현재또한 사라진 파일도 보관합니다.
   파일_이벤트	변경 내역: 파일당 한 행씩 나타났다, 였다 수정됨, 사라졌다, 따로 떼어 놓았습니다.경향) 또는 ~였다 거부됨시간과 함께 이벤트_at어떻게 그것이 발견되었는지 감지됨_ 그리고 그 이유는 다음과 같습니다. 세부 사항.
   디렉토리, 디렉토리 스냅샷, 볼륨	폴더 개수 및 크기, 증가 추세, 그리고 루트 폴더가 위치한 디스크 또는 공유 폴더 정보입니다.
   _소스_파일, _row_id	각 데이터 행에는 두 개의 열이 있습니다. 하나는 행이 가져온 파일이고, 다른 하나는 해당 파일 내의 고정된 행 ID입니다. 그룹화 기준은 다음과 같습니다. _소스_파일 파일을 비교하기 위해.

Reaching a file on a network share

The Agent opens files as a background service, not as you, so a file on another computer needs one extra step. Which step depends on the computer the Agent runs on.

If the test cannot get to the share, look for these words in its result: unreachable means the Agent’s computer got no answer from the server. On Linux or a Mac, not mounted means the share still has to be mounted, and that message includes the exact mount command for your server.

When a folder is not reachable

Every folder on the 폴더 step shows a status as soon as you add it. Hover the status to read the Agent’s own message; its first words say which case it is.

어디에서든 사용하세요

커넥터는 쿼리 스트림의 다른 데이터 소스와 마찬가지입니다. 쿼리는 한 번만 저장하면 됩니다. 쿼리 빌더 (DuckDB 방언입니다) 다음에서 사용하세요:

Excel

추가 기능의 쿼리를 스트리밍하세요 행들을 시트에 추가하고 클릭 한 번으로 다시 실행합니다. Excel에서 SQL 실행하기.

Google 스프레드시트

그만큼 쿼리 스트리머 추가 기능은 사용자가 선택한 탭을 채웁니다. Google 스프레드시트용 파워 쿼리.

Claude, Cursor 및 기타 AI 클라이언트

클로드는 Query Streams MCP 서버를 통해 폴더 모델을 알고 있습니다. _소스_파일 그리고 파일_이벤트. MCP를 통해 Claude와 함께 Parquet 폴더 만들기.

REST API

저장된 모든 쿼리는 모든 플랜에서 자체 키를 가진 읽기 전용 엔드포인트가 됩니다. Parquet 폴더 REST API.

Nova

비즈니스 플랜에 대해 쉬운 말로 질문해 보세요. Nova는 내장된 설명 덕분에 모든 폴더, 테이블, 열을 알고 있습니다.

자동화

Airtable, Smartsheet, Baserow, SeaTable 또는 지정된 시트에 행을 동기화하세요. 자동화 가이드.

폴더 테이블은 다른 커넥터와도 조인할 수 있습니다. 연합 쿼리는 일치시킬 수 있습니다. _소스_파일 Parquet 파일 폴더에 있는 이름이나 주문 ID를 동일한 에이전트의 데이터베이스와 비교합니다.

새로 생성되거나 변경되거나 삭제된 파일이 표시되는 방식

따로 보관해둔 파일들

점검 단계와 매니페스트 탭에 세 단어가 나타납니다. 이 단어들은 서로 다른 의미를 지닙니다.

(주차된) 자리를 비워 두세요

해당 파일은 고정된 레이아웃과 일치하지 않거나, 읽을 수 없거나, 찢어졌거나, 잠겨 있거나, 덮개로 가려져 있습니다. 파일별로 모든 행이 처리되거나 전혀 처리되지 않습니다. 파킹된 파일은 행을 전혀 처리하지 않습니다. 파일_이벤트 기록하다 경향 줄 세부 사항 파일 이름과 열 이름을 지정합니다. 파일의 크기와 수정 시간이 변하지 않으면 해당 파일은 건너뛰고, 변경되는 즉시 다시 시도합니다.

읽을 수 없음

에이전트가 해당 파일의 형식을 인식하지 못해 파일을 열거나 구문 분석할 수 없습니다. 실제 통합 문서가 아니거나, 다른 프로그램에 의해 잠겨 있거나, 클라우드 자리 표시자이거나, 디코딩할 수 없는 바이트 형식일 수 있습니다. 에이전트는 자동으로 대기 상태에 들어가고 폴더의 나머지 파일은 계속 처리됩니다. 읽을 수 있는 파일이 하나도 없는 폴더만 전체 파일 처리를 거부합니다.

거부됨

에이전트가 레이아웃을 전혀 고정할 수 없습니다. 예를 들어 파일 간에 열 유형이 일치하지 않기 때문입니다. 데이터 테이블이 아직 존재하지 않습니다. 파일_이벤트 얻다 거부됨 이유가 있는 줄 세부 사항에이전트는 레이아웃이 고정될 때까지 모든 스캔에서 다시 시도합니다. 해당 파일을 수정하거나 제외하면 메시지가 사라집니다.

찾아보실 곳: 황색 배너 확인하다 (어떤 파일인지, 그리고 그 이유는 무엇인지 보여주세요.), 커넥터의 명백한 그 후에 탭을 누르세요. SQL에서는 다음과 같습니다. SELECT relative_path, event_type, detail FROM fileset.files_events WHERE event_type IN ('drift','refused') ORDER BY event_at DESC.

알아두면 유용한 한계점

폴더 수나 파일 수에는 플랜 제한이 없습니다. 행 수는 다른 커넥터와 마찬가지로 데이터 영역에 포함됩니다. 커넥터에서 기본값을 높이거나 낮출 수 있습니다.

파일 내용을 자르지 않고 저장하는 콘텐츠 제한은 파일당 200만 행(512MiB), 스캔당 1,000만 행(2GiB)입니다. 폴더에는 최대 25개의 서로 다른 레이아웃을 저장할 수 있습니다. 레이아웃당 테이블 하나 방법.

사람들이 묻는 질문

• 파일 시스템
• CSV 폴더
• 엑셀 폴더
• SQLite 폴더
• JSONL 폴더
• 다중 레코드 CSV
• 기계 로그
• 웹 서버 로그
• 컨테이너 로그
• 애플리케이션 로그
• 시스템 로그
• 사용자 지정 로그