CSV Folder를 쿼리 가능한 테이블로 변환하세요.

기둥들이 어디에서 왔는가

• 추측하지 않고 실제 파일을 샘플링 — 첫 번째 파일의 첫 번째 행만 믿지 않고 에이전트가 실제 파일을 검사합니다.
• 인코딩 처리 — UTF-8, UTF-16, Windows-1252 및 Latin-1을 지원하므로 악센트가 있는 이름과 유럽식 내보내기 데이터가 깨진 텍스트로 표시되지 않습니다.
• 금액은 금액 그대로 — 항상 소수 값을 담는 열은 부동 소수점 숫자가 아닌 정확한 소수 값으로 저장되므로 합계가 1센트씩 어긋나지 않습니다.
• 일부 파일에만 있는 열은 다른 파일에서는 빈 열로 표시되며, 오류의 원인이 되지 않습니다.

-- 전체 폴더를 하나의 테이블로, 그 다음 파일별로 SELECT _source_file, COUNT(*) AS rows, SUM(total) AS revenue FROM data GROUP BY _source_file ORDER BY revenue DESC

파일 내용이 일치하지 않을 때

만약 첫 번째 파일들이 서로 모순된다면(예를 들어, 서로 다른 구분 기호를 사용하거나, 한 파일에서는 날짜 열인데 다른 파일에서는 자유 텍스트 열인 경우 등), 커넥터는 어떤 파일도 고정하지 않고 어떤 파일과 어떤 열이 일치하지 않는지 알려줍니다. 커넥터는 조용히 어느 파일을 선택할지 결정하고 월말에 사용자가 직접 확인하도록 두지 않습니다.

• 그 후에는 헤더가 변경되었거나, 열이 추가되었거나, 값이 맞지 않거나, 마지막 줄이 잘렸을 경우와 같이 문제가 있는 파일 하나가 테이블 전체를 손상시키는 대신 보류됩니다.
• 해당 행은 그대로 유지되며, files_events는 어떤 파일의 어떤 열이 오류를 발생시켰는지 정확하게 기록합니다.
• 폴더 안의 다른 파일들은 모두 정상적으로 로드됩니다. 내보내기 오류가 발생한 파일 하나만으로는 보고서가 삭제되지 않습니다.

테이블 하나 또는 레이아웃당 하나씩

동일한 보고서를 반복적으로 내보내는 경우 하나의 테이블에 저장되도록 기본 설정되어 있습니다. 하지만 폴더에 고객 목록과 주문 내역처럼 서로 다른 CSV 파일이 여러 개 있는 경우에는 레이아웃별 모드로 전환하여 각 레이아웃별로 최대 25개의 테이블을 생성할 수 있습니다.

모든 폴더 커넥터는 또한 다음을 제공합니다.

• files_current — 실시간 인벤토리: 커넥터가 현재 확인할 수 있는 모든 파일과 해당 파일의 경로, 크기, 수정 날짜입니다.
• files_events — 감사 기록: 어떤 파일이 나타났고, 변경되거나 사라졌는지, 보류된 항목이 있는지와 파일 이름 및 사유를 보여 줍니다.
• directories 및 volumes — 폴더별 총계, 일일 증가 기록, 드라이브의 남은 공간입니다.
• 동기화할 때마다 실제로 변경된 파일만 다시 읽히므로, 새 내보내기 파일 하나가 추가되었다고 해서 5만 개의 파일이 있는 폴더가 다시 분석되지는 않습니다.

알아두면 좋겠네요.

• 읽기 전용으로 강제 적용됩니다. 한 번에 하나의 문장만 실행하며 SELECT 등 읽기 전용 명령만 허용됩니다. 파일은 쓰기, 이동 또는 이름 변경되지 않습니다.
• 업로드되는 데이터는 없습니다. 데이터는 에이전트 옆의 사용자 컴퓨터에 암호화된 상태로 캐시됩니다. 쿼리 결과만 네트워크 밖으로 나갑니다.
• 합리적인 기본값: 파일 최대 250,000개, 폴더 깊이 16단계, 파일당 512MB이며 모두 조정할 수 있습니다. 휴지통, .git, node_modules는 항상 건너뜁니다.
• SQL 방언은 DuckDB입니다. 다른 커넥터에서 작성하는 SQL과 동일합니다.