Connected cars<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t<\/span>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tUna soluzione per aggregare dati sviluppata in Java e AWS<\/h6>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tAndrea \u00e8 uno sviluppatore Java, appassionato di Wrestling e amante del Giappone. La soluzione di cui ci parler\u00e0 \u00e8 pensata per il contesto automotive e permette a dati provenienti da diverse fonti di confluire in un unico punto. Il risultato \u00e8 un\u2019ottimizzazione dei costi e delle prestazioni in funzione delle tecnologie.<\/strong><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\n\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tIntroduzione<\/strong><\/h3>Negli ultimi anni \u00e8 cambiato il modo di concepire e progettare le automobili. Questo cambiamento non arriva dall\u2019addio ai diesel e dall\u2019aumento esponenziale delle auto elettriche, ma dalla commercializzazione di modelli paragonabili a device su quattro ruote. [1]<\/p>
Dalla definizione di automobile [2] si \u00e8 arrivati al concetto di\u00a0smart car<\/strong>, una macchina che ha sia le caratteristiche della\u00a0self driving car<\/strong>\u00a0sia quelle della\u00a0connected car<\/strong>. [3]<\/p>Una connected car \u00e8 un veicolo che, oltre ad avere accesso a internet, dispone di sensori e pu\u00f2 inviare e ricevere segnali, percependo la realt\u00e0 circostante e interagendo con altri veicoli o entit\u00e0. [4]<\/p>
Le connected cars sono equipaggiate da sistemi informatici che gestiscono numerosi dati relativi all\u2019utilizzo delle automobili e alle abitudini di guida dei conducenti.\u00a0L\u2019elaborazione di questi dati da parte delle case produttrici pu\u00f2 avere finalit\u00e0 statistiche sulle prestazioni di ogni modello venduto sul mercato o finalit\u00e0 commerciali in base alle abitudini di guida dei clienti.<\/p>
Durante l\u2019analisi e l\u2019elaborazione degli stessi, da parte delle case produttrici, \u00e8 possibile che si riscontrino problemi. I diversi modelli\u00a0con cui sono progettati i sistemi informatici non sempre garantiscono l\u2019uniformit\u00e0 delle informazioni recuperate.<\/p>
Al fine di risolvere queste problematiche, i reparti IT dei diversi produttori devono riuscire a trovare delle soluzioni che consentano di uniformare le informazioni, non solo tra i vari sistemi informatici ma anche, e soprattutto, in funzione del tipo di analisi (statistica, commerciale, \u2026) con cui dovranno essere elaborati dagli altri reparti aziendali (tecnico, commerciale).<\/p>
Casi d\u2019uso e architettura della soluzione<\/strong><\/h3>Nel corso di un meeting con un cliente, \u00e8 emersa la necessit\u00e0 di trovare una soluzione univoca per la raccolta dei dati dai differenti sistemi informatici installati sulle connected cars in circolazione.<\/p>
Ogni sistema di archiviazione dei dati aveva delle caratteristiche che dovevano essere tenute in considerazione, perch\u00e9 non coerenti tra i vari sistemi:<\/p>
- range di informazioni raccolte<\/li>
- formato dei dati<\/li>
- tempistiche dei batch di raggruppamento dei dati (giornalieri o settimanali)<\/li>
- meccanismi di archiviazione su file (storage in cloud o file system aziendali)<\/li>
- formati e dimensioni dei file (xls, xlsx, csv, txt)<\/li>
- accessibilit\u00e0 dell\u2019archiviazione dati (permessi concessi ai diversi reparti)<\/li><\/ul>
Dopo alcune riunioni di confronto con tutti i reparti coinvolti, \u00e8 stato definito uno stack architetturale che rispettasse i requisiti richiesti dall\u2019azienda: un\u2019architettura cloud e l\u2019utilizzo di Java come linguaggio di programmazione.<\/p>
I principali problemi da gestire sono risultati:<\/p>
- l\u2019elaborazione di file di dimensioni differenti (da pochi megabytes a pochi gigabytes), per cui \u00e8 stato necessario considerare i limiti prestazionali del linguaggio Java a runtime<\/li>
- la definizione di una formattazione dei dati<\/li>
- la gestione dei dati dal loro recupero fino all\u2019elaborazione finale<\/li><\/ul>
La soluzione proposta \u00e8 stata quella di sfruttare alcuni servizi di cloud computing di Amazon Web Services (AWS) che hanno dei costi in funzione del loro utilizzo e consentono di scalare automaticamente le risorse necessarie per ogni processo coinvolto.<\/p>
Nello specifico i servizi AWS scelti sono [5]:<\/p>
- Amazon Simple Storage Service (Amazon S3<\/strong>) \u00e8 un servizio di archiviazione (storage) di oggetti che offre scalabilit\u00e0, disponibilit\u00e0 dei dati, sicurezza e prestazioni all\u2019avanguardia nel settore.<\/li>
- AWS Lambda<\/strong> consente di eseguire codice senza dover effettuare il provisioning (processo di preparazione e equipaggiamento di una rete per consentirle di fornire nuovi servizi ai propri utenti) n\u00e9 gestire server. Una volta caricato il codice, Lambda si prende carico delle azioni necessarie per eseguirlo e ricalibrarne le risorse con la massima disponibilit\u00e0. Il codice pu\u00f2 essere configurato in modo che sia attivato automaticamente da altri servizi AWS oppure richiamato direttamente da qualsiasi applicazione Web o mobile.<\/li>
- Amazon Elasticsearch Service<\/strong> \u00e8 un servizio completamente gestito che semplifica distribuzione, protezione ed esecuzione di Elasticsearch, un server di ricerca basato su Lucene, con capacit\u00e0 Full Text, con supporto ad architetture distribuite. Tutte le funzionalit\u00e0 sono nativamente esposte tramite interfaccia RESTful, mentre le informazioni sono gestite come documenti JSON.<\/li>
- Amazon CloudWatch<\/strong> \u00e8 un servizio di monitoraggio e osservabilit\u00e0 che fornisce dati e analisi concrete per monitorare le applicazioni, rispondere ai cambiamenti di prestazioni a livello di sistema, ottimizzare l\u2019utilizzo delle risorse e ottenere una visualizzazione unificata dello stato di integrit\u00e0 operativa. CloudWatch raccoglie dati di monitoraggio e operativi sotto forma di log, parametri ed eventi, fornendo una visualizzazione unificata delle risorse AWS, sulle applicazioni e i servizi eseguiti in AWS e su server locali.<\/li>
- Amazon Elastic Compute Cloud (Amazon EC2<\/strong>) \u00e8 un servizio Web che fornisce capacit\u00e0 di elaborazione sicura e scalabile nel cloud. \u00c8 concepito per rendere pi\u00f9 semplice il cloud computing, erogazione di servizi offerti su richiesta da un fornitore a un cliente finale attraverso la rete internet.<\/li><\/ul>
Descrizione della soluzione<\/strong><\/h3>- La soluzione \u00e8 suddivisa in due macro-attivit\u00e0:
recupero, formattazione e persistenza dei dati su Elasticsearch<\/li> - aggregazione dei dati a disposizione dei reparti di analisi<\/li><\/ol>
La prima macro-attivit\u00e0 \u00e8 ulteriormente suddivisa in due soluzioni, considerando le dimensioni di ogni file da elaborare.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/blazargroup.com\/it\/wp-content\/uploads\/2021\/01\/Elaborazione_file_piccole_dimensioni.png\" "\\"\\"")
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tPer file fino a 100MB, la soluzione proposta \u00e8 caricarli in un bucket (una cartella) di Amazon S3. Configurando correttamente una funzione Amazon lamba sviluppata in Java e associata a questo bucket, \u00e8 possibile automatizzarne l\u2019esecuzione al completamento del caricamento di ogni file nel bucket S3.
Il compito della funzione Java eseguita \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
\u00c8 possibile monitorare l\u2019andamento della sua esecuzione dai log generati automaticamente su Amazon CloudWatch. Il tempo complessivo di esecuzione di queste operazioni \u00e8 considerato in funzione del limite di 15 minuti imposto su ogni funzione Amazon lamba.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/blazargroup.com\/it\/wp-content\/uploads\/2021\/01\/Elaborazione_file_grandi_dimensioni.png\" "\\"\\"")
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tPer file superiori a 100MB, la soluzione trovata risulta pi\u00f9 complessa. L\u2019elaborazione di questi file supera i limiti delle funzioni Amazon lamba e pu\u00f2 richiedere alcune ore per file con dimensioni dell\u2019ordine dei gigabytes.
\u00c8 necessario determinare che ogni file sia caricato in un determinato bucket (una cartella) di Amazon S3. Al completamento del suo caricamento, deve essere definita una nuova funzione AWS Lambda associata al bucket, il cui compito \u00e8 quello di avviare una nuova istanza di Amazon EC2 (una macchina virtuale Linux preconfigurata).
All\u2019avvio (boot) di questa istanza EC2, il file pi\u00f9 recente presente nel bucket S3 \u00e8 automaticamente copiato in una cartella temporanea di EC2 da una procedura Java. Il compito di questa procedura \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
Al termine dell\u2019esecuzione il file su EC2 viene cancellato da EC2 per risparmiare risorse ed il file originale su S3 \u00e8 spostato su un bucket differente. Per evitare che l\u2019istanza di Amazon EC2 rimasse attiva, deve essere definita un\u2019altra AWS Lambda schedulata col compito di spegnere l\u2019istanza al termine dell\u2019operazione di spostamento del file elaborato tra i bucket S3.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/blazargroup.com\/it\/wp-content\/uploads\/2021\/01\/Elaborazione_finale.png\" "\\"\\"")
\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t
Una soluzione per aggregare dati sviluppata in Java e AWS<\/h6>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tAndrea \u00e8 uno sviluppatore Java, appassionato di Wrestling e amante del Giappone. La soluzione di cui ci parler\u00e0 \u00e8 pensata per il contesto automotive e permette a dati provenienti da diverse fonti di confluire in un unico punto. Il risultato \u00e8 un\u2019ottimizzazione dei costi e delle prestazioni in funzione delle tecnologie.<\/strong><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\n\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tIntroduzione<\/strong><\/h3>Negli ultimi anni \u00e8 cambiato il modo di concepire e progettare le automobili. Questo cambiamento non arriva dall\u2019addio ai diesel e dall\u2019aumento esponenziale delle auto elettriche, ma dalla commercializzazione di modelli paragonabili a device su quattro ruote. [1]<\/p>
Dalla definizione di automobile [2] si \u00e8 arrivati al concetto di\u00a0smart car<\/strong>, una macchina che ha sia le caratteristiche della\u00a0self driving car<\/strong>\u00a0sia quelle della\u00a0connected car<\/strong>. [3]<\/p>Una connected car \u00e8 un veicolo che, oltre ad avere accesso a internet, dispone di sensori e pu\u00f2 inviare e ricevere segnali, percependo la realt\u00e0 circostante e interagendo con altri veicoli o entit\u00e0. [4]<\/p>
Le connected cars sono equipaggiate da sistemi informatici che gestiscono numerosi dati relativi all\u2019utilizzo delle automobili e alle abitudini di guida dei conducenti.\u00a0L\u2019elaborazione di questi dati da parte delle case produttrici pu\u00f2 avere finalit\u00e0 statistiche sulle prestazioni di ogni modello venduto sul mercato o finalit\u00e0 commerciali in base alle abitudini di guida dei clienti.<\/p>
Durante l\u2019analisi e l\u2019elaborazione degli stessi, da parte delle case produttrici, \u00e8 possibile che si riscontrino problemi. I diversi modelli\u00a0con cui sono progettati i sistemi informatici non sempre garantiscono l\u2019uniformit\u00e0 delle informazioni recuperate.<\/p>
Al fine di risolvere queste problematiche, i reparti IT dei diversi produttori devono riuscire a trovare delle soluzioni che consentano di uniformare le informazioni, non solo tra i vari sistemi informatici ma anche, e soprattutto, in funzione del tipo di analisi (statistica, commerciale, \u2026) con cui dovranno essere elaborati dagli altri reparti aziendali (tecnico, commerciale).<\/p>
Casi d\u2019uso e architettura della soluzione<\/strong><\/h3>Nel corso di un meeting con un cliente, \u00e8 emersa la necessit\u00e0 di trovare una soluzione univoca per la raccolta dei dati dai differenti sistemi informatici installati sulle connected cars in circolazione.<\/p>
Ogni sistema di archiviazione dei dati aveva delle caratteristiche che dovevano essere tenute in considerazione, perch\u00e9 non coerenti tra i vari sistemi:<\/p>
- range di informazioni raccolte<\/li>
- formato dei dati<\/li>
- tempistiche dei batch di raggruppamento dei dati (giornalieri o settimanali)<\/li>
- meccanismi di archiviazione su file (storage in cloud o file system aziendali)<\/li>
- formati e dimensioni dei file (xls, xlsx, csv, txt)<\/li>
- accessibilit\u00e0 dell\u2019archiviazione dati (permessi concessi ai diversi reparti)<\/li><\/ul>
Dopo alcune riunioni di confronto con tutti i reparti coinvolti, \u00e8 stato definito uno stack architetturale che rispettasse i requisiti richiesti dall\u2019azienda: un\u2019architettura cloud e l\u2019utilizzo di Java come linguaggio di programmazione.<\/p>
I principali problemi da gestire sono risultati:<\/p>
- l\u2019elaborazione di file di dimensioni differenti (da pochi megabytes a pochi gigabytes), per cui \u00e8 stato necessario considerare i limiti prestazionali del linguaggio Java a runtime<\/li>
- la definizione di una formattazione dei dati<\/li>
- la gestione dei dati dal loro recupero fino all\u2019elaborazione finale<\/li><\/ul>
La soluzione proposta \u00e8 stata quella di sfruttare alcuni servizi di cloud computing di Amazon Web Services (AWS) che hanno dei costi in funzione del loro utilizzo e consentono di scalare automaticamente le risorse necessarie per ogni processo coinvolto.<\/p>
Nello specifico i servizi AWS scelti sono [5]:<\/p>
- Amazon Simple Storage Service (Amazon S3<\/strong>) \u00e8 un servizio di archiviazione (storage) di oggetti che offre scalabilit\u00e0, disponibilit\u00e0 dei dati, sicurezza e prestazioni all\u2019avanguardia nel settore.<\/li>
- AWS Lambda<\/strong> consente di eseguire codice senza dover effettuare il provisioning (processo di preparazione e equipaggiamento di una rete per consentirle di fornire nuovi servizi ai propri utenti) n\u00e9 gestire server. Una volta caricato il codice, Lambda si prende carico delle azioni necessarie per eseguirlo e ricalibrarne le risorse con la massima disponibilit\u00e0. Il codice pu\u00f2 essere configurato in modo che sia attivato automaticamente da altri servizi AWS oppure richiamato direttamente da qualsiasi applicazione Web o mobile.<\/li>
- Amazon Elasticsearch Service<\/strong> \u00e8 un servizio completamente gestito che semplifica distribuzione, protezione ed esecuzione di Elasticsearch, un server di ricerca basato su Lucene, con capacit\u00e0 Full Text, con supporto ad architetture distribuite. Tutte le funzionalit\u00e0 sono nativamente esposte tramite interfaccia RESTful, mentre le informazioni sono gestite come documenti JSON.<\/li>
- Amazon CloudWatch<\/strong> \u00e8 un servizio di monitoraggio e osservabilit\u00e0 che fornisce dati e analisi concrete per monitorare le applicazioni, rispondere ai cambiamenti di prestazioni a livello di sistema, ottimizzare l\u2019utilizzo delle risorse e ottenere una visualizzazione unificata dello stato di integrit\u00e0 operativa. CloudWatch raccoglie dati di monitoraggio e operativi sotto forma di log, parametri ed eventi, fornendo una visualizzazione unificata delle risorse AWS, sulle applicazioni e i servizi eseguiti in AWS e su server locali.<\/li>
- Amazon Elastic Compute Cloud (Amazon EC2<\/strong>) \u00e8 un servizio Web che fornisce capacit\u00e0 di elaborazione sicura e scalabile nel cloud. \u00c8 concepito per rendere pi\u00f9 semplice il cloud computing, erogazione di servizi offerti su richiesta da un fornitore a un cliente finale attraverso la rete internet.<\/li><\/ul>
Descrizione della soluzione<\/strong><\/h3>- La soluzione \u00e8 suddivisa in due macro-attivit\u00e0:
recupero, formattazione e persistenza dei dati su Elasticsearch<\/li> - aggregazione dei dati a disposizione dei reparti di analisi<\/li><\/ol>
La prima macro-attivit\u00e0 \u00e8 ulteriormente suddivisa in due soluzioni, considerando le dimensioni di ogni file da elaborare.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tPer file fino a 100MB, la soluzione proposta \u00e8 caricarli in un bucket (una cartella) di Amazon S3. Configurando correttamente una funzione Amazon lamba sviluppata in Java e associata a questo bucket, \u00e8 possibile automatizzarne l\u2019esecuzione al completamento del caricamento di ogni file nel bucket S3.
Il compito della funzione Java eseguita \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
\u00c8 possibile monitorare l\u2019andamento della sua esecuzione dai log generati automaticamente su Amazon CloudWatch. Il tempo complessivo di esecuzione di queste operazioni \u00e8 considerato in funzione del limite di 15 minuti imposto su ogni funzione Amazon lamba.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\tPer file superiori a 100MB, la soluzione trovata risulta pi\u00f9 complessa. L\u2019elaborazione di questi file supera i limiti delle funzioni Amazon lamba e pu\u00f2 richiedere alcune ore per file con dimensioni dell\u2019ordine dei gigabytes.
\u00c8 necessario determinare che ogni file sia caricato in un determinato bucket (una cartella) di Amazon S3. Al completamento del suo caricamento, deve essere definita una nuova funzione AWS Lambda associata al bucket, il cui compito \u00e8 quello di avviare una nuova istanza di Amazon EC2 (una macchina virtuale Linux preconfigurata).
All\u2019avvio (boot) di questa istanza EC2, il file pi\u00f9 recente presente nel bucket S3 \u00e8 automaticamente copiato in una cartella temporanea di EC2 da una procedura Java. Il compito di questa procedura \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
Al termine dell\u2019esecuzione il file su EC2 viene cancellato da EC2 per risparmiare risorse ed il file originale su S3 \u00e8 spostato su un bucket differente. Per evitare che l\u2019istanza di Amazon EC2 rimasse attiva, deve essere definita un\u2019altra AWS Lambda schedulata col compito di spegnere l\u2019istanza al termine dell\u2019operazione di spostamento del file elaborato tra i bucket S3.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\n\t\t\t\t\t\t\n\t\t\t\t\t\n\t\t\t
Andrea \u00e8 uno sviluppatore Java, appassionato di Wrestling e amante del Giappone. La soluzione di cui ci parler\u00e0 \u00e8 pensata per il contesto automotive e permette a dati provenienti da diverse fonti di confluire in un unico punto. Il risultato \u00e8 un\u2019ottimizzazione dei costi e delle prestazioni in funzione delle tecnologie.<\/strong><\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t Negli ultimi anni \u00e8 cambiato il modo di concepire e progettare le automobili. Questo cambiamento non arriva dall\u2019addio ai diesel e dall\u2019aumento esponenziale delle auto elettriche, ma dalla commercializzazione di modelli paragonabili a device su quattro ruote. [1]<\/p> Dalla definizione di automobile [2] si \u00e8 arrivati al concetto di\u00a0smart car<\/strong>, una macchina che ha sia le caratteristiche della\u00a0self driving car<\/strong>\u00a0sia quelle della\u00a0connected car<\/strong>. [3]<\/p> Una connected car \u00e8 un veicolo che, oltre ad avere accesso a internet, dispone di sensori e pu\u00f2 inviare e ricevere segnali, percependo la realt\u00e0 circostante e interagendo con altri veicoli o entit\u00e0. [4]<\/p> Le connected cars sono equipaggiate da sistemi informatici che gestiscono numerosi dati relativi all\u2019utilizzo delle automobili e alle abitudini di guida dei conducenti.\u00a0L\u2019elaborazione di questi dati da parte delle case produttrici pu\u00f2 avere finalit\u00e0 statistiche sulle prestazioni di ogni modello venduto sul mercato o finalit\u00e0 commerciali in base alle abitudini di guida dei clienti.<\/p> Durante l\u2019analisi e l\u2019elaborazione degli stessi, da parte delle case produttrici, \u00e8 possibile che si riscontrino problemi. I diversi modelli\u00a0con cui sono progettati i sistemi informatici non sempre garantiscono l\u2019uniformit\u00e0 delle informazioni recuperate.<\/p> Al fine di risolvere queste problematiche, i reparti IT dei diversi produttori devono riuscire a trovare delle soluzioni che consentano di uniformare le informazioni, non solo tra i vari sistemi informatici ma anche, e soprattutto, in funzione del tipo di analisi (statistica, commerciale, \u2026) con cui dovranno essere elaborati dagli altri reparti aziendali (tecnico, commerciale).<\/p> Nel corso di un meeting con un cliente, \u00e8 emersa la necessit\u00e0 di trovare una soluzione univoca per la raccolta dei dati dai differenti sistemi informatici installati sulle connected cars in circolazione.<\/p> Ogni sistema di archiviazione dei dati aveva delle caratteristiche che dovevano essere tenute in considerazione, perch\u00e9 non coerenti tra i vari sistemi:<\/p> Dopo alcune riunioni di confronto con tutti i reparti coinvolti, \u00e8 stato definito uno stack architetturale che rispettasse i requisiti richiesti dall\u2019azienda: un\u2019architettura cloud e l\u2019utilizzo di Java come linguaggio di programmazione.<\/p> I principali problemi da gestire sono risultati:<\/p> La soluzione proposta \u00e8 stata quella di sfruttare alcuni servizi di cloud computing di Amazon Web Services (AWS) che hanno dei costi in funzione del loro utilizzo e consentono di scalare automaticamente le risorse necessarie per ogni processo coinvolto.<\/p> Nello specifico i servizi AWS scelti sono [5]:<\/p> La prima macro-attivit\u00e0 \u00e8 ulteriormente suddivisa in due soluzioni, considerando le dimensioni di ogni file da elaborare.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t Per file fino a 100MB, la soluzione proposta \u00e8 caricarli in un bucket (una cartella) di Amazon S3. Configurando correttamente una funzione Amazon lamba sviluppata in Java e associata a questo bucket, \u00e8 possibile automatizzarne l\u2019esecuzione al completamento del caricamento di ogni file nel bucket S3. Per file superiori a 100MB, la soluzione trovata risulta pi\u00f9 complessa. L\u2019elaborazione di questi file supera i limiti delle funzioni Amazon lamba e pu\u00f2 richiedere alcune ore per file con dimensioni dell\u2019ordine dei gigabytes.Introduzione<\/strong><\/h3>
Casi d\u2019uso e architettura della soluzione<\/strong><\/h3>
Descrizione della soluzione<\/strong><\/h3>
recupero, formattazione e persistenza dei dati su Elasticsearch<\/li>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
Il compito della funzione Java eseguita \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
\u00c8 possibile monitorare l\u2019andamento della sua esecuzione dai log generati automaticamente su Amazon CloudWatch. Il tempo complessivo di esecuzione di queste operazioni \u00e8 considerato in funzione del limite di 15 minuti imposto su ogni funzione Amazon lamba.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\u00c8 necessario determinare che ogni file sia caricato in un determinato bucket (una cartella) di Amazon S3. Al completamento del suo caricamento, deve essere definita una nuova funzione AWS Lambda associata al bucket, il cui compito \u00e8 quello di avviare una nuova istanza di Amazon EC2 (una macchina virtuale Linux preconfigurata).
All\u2019avvio (boot) di questa istanza EC2, il file pi\u00f9 recente presente nel bucket S3 \u00e8 automaticamente copiato in una cartella temporanea di EC2 da una procedura Java. Il compito di questa procedura \u00e8 leggere il contenuto del file e salvare su Elasticsearch esclusivamente le informazioni necessarie, gi\u00e0 formattate nelle modalit\u00e0 richieste durante l\u2019analisi.
Al termine dell\u2019esecuzione il file su EC2 viene cancellato da EC2 per risparmiare risorse ed il file originale su S3 \u00e8 spostato su un bucket differente. Per evitare che l\u2019istanza di Amazon EC2 rimasse attiva, deve essere definita un\u2019altra AWS Lambda schedulata col compito di spegnere l\u2019istanza al termine dell\u2019operazione di spostamento del file elaborato tra i bucket S3.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t