Progetto a lungo termine e limiti di dimensioni

[Imbe88]

Buongiorno,

Da circa un annetto sto sviluppando un progetto ambizioso in power bi che unisce siti produttivi e reparti aziendali, interpola dati ed è rivolto a tutti i livelli operativi: dall'operativo al ceo.
Utilizzo un mix di licenze PRO e PREMIUM in base alle esigenze ma in generale, i report e le condivisioni sono sotto aree di lavoro PRO.
Attualmente lavoro con i vari strumenti microsoft (Automate, Sharepoint ecc..) per smistare, archiviare e caricare dati.
Gli INPUT di dati sono svariati: da file excel compilati, API in streaming, file txt generati automaticamente, siti internet e quant'altro.
Utilizzo un modello semantico che chiamo database per gestire i flussi di dati e relazionare le varie tabelle.

Premesso che ad oggi non ho grandi problemi di gestione dei dati in quanto ho tabelle che arrivano al milione di righe e file che non superano i 50-100 MB,
I miei dubbi e le mie domande sono relative allo sviluppo futuro e al limite di dimensione dei modelli semantici che andrò a realizzare.
Considerando che i file excel, txt ecc provenienti dai siti produttivi sono numerosi e si accumulano nel tempo, vorrei consigli su come ottimizzare o correggere il caricamento in modo da non avere problemi futuri di dimensione.

Mattia.

[Andrea90]

@Imbe88

Domanda a cui non si può dare una risposta visto che parli di eventi futuri, che non è detto che accadano (ovvero magari anche in futuro non avrai problemi a caricare dati da file che superano il milione di righe) ….

Se le tue sorgenti dati non sono in qualche modo bypassabili, ovvero devi continuare a fare riferimento ad excel (che non dovrebbe essere usato come database) e file txt, allora una possibilità potrebbe essere quella di predisporre un datawarehouse in modo tale che esegua lui le principali trasformazioni/caricamento dati lasciando a Power Bi il solo compito di andare a leggere dati già puliti e pronti per l’analisi… potrai utilizzare per il datawarehouse linguaggi che macinano miriadi di dati senza alcun problema e sicuramente in modo più performante di quello che otterresti con power query.

Ma queste sono solo ipotesi, la domanda che hai posto non è risolvibile su di un forum, devi metterti in contatto con consulenti che possano vedere dal vivo come sono predisposti i dati e l’architettura hardware e software di cui disponi.

Andrea

[Imbe88]

Ti ringrazio per la risposta, provero ad approfondire data warehouse per capire se potrebbe essere la soluzione giusta alle mie esigenze.