Cos'è e come funziona ChatGPT 💬 e le piattaforme di OpenAI: GPT-3, GPT-4 e GPT-3.5 (Guida completa 2024)

Cos'è ChatGPT?

Detto in modo semplice: è una chat con cui dialogare e fare domande ad un computer il quale mi risponde come se fosse una persona.

La CHAT è l'interfaccia (UI - user interface), il canale di contatto, che riceve e risponde a livello testuale ed il motore che sta dietro è il modello linguistico (GPT).

Il modello di interazione della chat è chiamato: modello conversazionale.

Va detto che ChatGPT non è GPT-3!

Chatgpt sul Time Magazine

Tecnicamente sono entrambi dei large language model (modelli linguistici ampi) ma con delle differenze.

Vediamo prima cos'è GPT-3 e come si collega a ChatGPT.

Cos'è GPT-3 e Instruct GPT (o GPT 3.5)

GPT-3 (Generative Pre-training Transformer) è un modello linguistico generativo general purpose basato sul deep learning (basato sull’architettura di rete neurale Transformer) applicato all’NLP (Natural Language Processing) che usa reti neurali allenate da contenuti immessi da grandi fonti e che in modo completamente automatico comprende e genera testo stimando la probabilità che la parola successiva abbia senso nel contesto di riferimento.

Inoltre il modello è in grado di effettuare molte elaborazioni testuali dalla traduzione alla sintesi di testi, alla produzione di contenuti redazionali molto lunghi (libri, documenti, sceneggiature, ecc....

Il Natural language processing (NLP - Elaborazione del linguaggio naturale) è una branca dell'informatica e dell'intelligenza artificiale che consente ai computer di comprendere il testo utilizzando la linguistica computazionale e la modellazione basata su regole del linguaggio umano.

In pratica l'NPL consente ai computer di riconoscere caratteri, parole e frasi e quindi riconoscere semanticamente il significato dei testi.

GPT-3 è stato addestrato con quasi 800GB di informazioni testuali recuperate dalla rete, da Wikipedia e dai libri digitalizzati.

Tutte queste parole, grazie alle rete neurali, sono messe in connessione tra loro (utilizzando 175 miliardi di parametri) e consentono al modello di creare un modello statistico/previsionale del linguaggio.

I modelli matematici generativi sul linguaggio non comprendono la lingua ma statisticamente sanno quali parole devono seguire ad altre.

Quindi se chiediamo a GPT-3 "Chi ha scoperto le Americhe?" e risponde Cristoforo Colombo, in realtà per l'algoritmo noi stiamo chiedendo di analizzare partendo dai contenuti elaborati quali parole hanno più probabilità di continuare la nostra frase.

Il problema di questo funzionamento è che non sempre la parola probabile è quella giusta, per diversi motivi basati sia sul modello di apprendimento che sui dati di input.

Per migliorare l'output di GPT-3 OpenAI (in particolare per i modelli conversazionali) ha lanciato un nuovo modello chiamato InstructGPT (o anche GPT-3.5) basato sempre su GPT-3 ma che ne migliora le capacità linguistiche e di seguire le istruzioni fornite.

I modelli/motori di Instruct GPT (i più importanti si chiamano: code-davinci-002, text-davinci-002, text-davinci-003) come ci suggerisce il nome introducono un elemento importante: l'addestramento umano. Per esempio code-davinci è un modello dedicato al riconoscimento e gestione del codice di programmazione.

Nello specifico sono state utilizzate due tecniche di pre-addestramento:

  • Apprendimento supervisionato
    con questa tecnica si inseriscono nel modello delle conversazioni nelle quali l'istruttore umano ha sia il ruolo dell'utente che quello dell'assistente di AI e fornisce un insieme di esempi di input e output.
  • Apprendimento per rinforzo (RLHF:Reinforcement Learning from Human Preferences)
    in questo caso gli istruttori valutano l'output delle conversazioni fornendo un feedback continuo al sistema (un software all'interno chiamato Agente), la valutazione può essere fatta scegliendo tra più opzioni di risposta oppure è di tipo qualitativo. I feedback positivi agiscono da ricompense per il modello, al suo interno l'Agente, tramite un processo iterativo, cerca di apprendere una politica di azioni ottimali in grado di minimizzare gli errori e massimizzare le ricompense (Proximal Policy Optimization). In pratica cerca la via migliore tramite un processo di trial and error.

OpenAI offre le sue API su GPT-3 (gran parte su GPT-3.5) con cui si possono fare tantissime attività (come si vede dall'immagine che segue e come indicato qui: https://platform.openai.com/examples).

esempi di applicazione GPT-3

Per esempio possiamo usare un'app chiamata "Explain code" che grazie al motore code-davinci.002 ci spiega il funzionamento di un pezzo di codice di programmazione per generare commenti nel software.

Oggi sono tantissime le società che utilizzano le API di OpenAI per realizzare i loro software (spesso in modalità SAAS) di intelligenza artificiale dedicate alla produttività: dalla creazione di advertising, copy e contenuti, traduzioni, ecc....

Ci possiamo divertire ad usare le API tramite l'ambiente Playground (https://platform.openai.com/playground), per esempio possiamo inserire un URL di una pagina web e chiedere di fare una sintesi del contenuto e tradurlo in inglese.

Ma le API non sono gratuite OpenAI ci fornisce un credito iniziale di 18 dollari finiti i quali dobbiamo pagare.

I prezzi sono basati sui tokens che hanno costi diversi in base al modello utilizzato, il più costoso è Davinci che con 2 centesimi di dollaro ci offre 1.000 tokens.

Ma quanto valgono i tokens?

In media ogni parola elaborata costa 1,33 tokens. In pratica se ci facciamo generare un contenuto di 1K parole ci costerà 1.330 tokens pari a 2,6 centesimi.

Da GPT-3.5 a ChatGPT

Il 3 novembre 2022 nasce ChatGPT viene reso disponibile a tutti alla fine dello stesso mese.

ChatGPT nasce come applicazione specifica di OpenAI creata per il mondo conversazionale e per creare un ChatBOT con motore di AI.

Per iniziare ad usarlo basta andare su https://chat.openai.com/ e registrarsi cliccando su "signup".

La procedura è semplicissima in quanto vengono chieste prima l'email (con verifica via linkback) e la password (da noi creata) ed il numero di cellulare.

Occorre considerare che una volta creato l'account su chatgpt di fatto abbiamo creato un account su tutta la piattaforma di OpenAI e potremo usare anche tutte le API vista in precedenza con un credito 💰 iniziale gratuito.

Anche per tale motivo viene richiesto il numero di cellulare al fine di evitare la proliferazione di account temporanei per godere dei tokens gratuiti.

Come abbiamo visto GPT-3 è un modello linguistico general-purpose che non si comporta molto bene nelle conversazioni ed allora grazie ai modelli di GPT-3.5 possiamo istruire e perfezionare l'algoritmo per rispondere alle nostre domande ed instaurare una conversazione.

Come mostrato nello schema che segue ChatGPT parte da alcuni modelli/motori di InstructGPT (in particolare quelli dedicati ai testi come text-davinci con qualche modifica specifica nella configurazione della raccolta dei dati) ed aggiunge un ulteriore livello di sicurezza.

come è stato costruito ChatGPT

Quest'ultimo livello consente di moderare le conversazioni filtrando tutte le tematiche non apppropriate come: sesso, porno, discorsi razzisti o sessisti, conversazioni illegali, immorali o offensive.

Per verificare l'applicazione del filtro basta chiedere qualcosina di illegale, come nell'esempio che segue in cui nel prompt ho inserito: Come rubare senza essere scoperto?

filtro ChatGPT contro richieste illegali

Usando una metafora informatica potremmo dire che GPT-3 è un sistema operativo come Windows o Linux mentre ChatGPT è un applicativo dedicato alla conversazione che gira al suo interno.

E’ interessante quello che sta accadendo nel mondo dell’intelligenza artificiale.

Fino a ieri ci si preparava alla scomparsa di una serie di attività umane di tipo automatico e ripetitive in quanto presto sostituite dall’AI.

Recentemente però gli algoritmi si sono “allargati” ed hanno iniziato a scrivere e disegnare entrando anche nel mondo della creatività umana.

Notizia recente è il prossimo lancio da parte di Google di MusicLM, un tool di AI che lavora con UI da prompt per generare la musica 🎧🎧 (una delle attività creative per antonomasia).

In pratica basta chiedere “una musica dinamica con un BMP alto da utilizzzare per l’allenamento che utilizzi molto la chitarra elettrica”.

Come per ChatGPT il sistema genererà il nostro brano “originale”.

Per generare la musica MusicLM utilizza un sistema di deep learning su rete neurale addestrato da un set di dati musicali di oltre 280.000 ore.Possiamo anche co-creare canticchiando un ritornello ed utilizzare la melodia come input per l’addestramento.

Come per le altre forme di creazione con l’evoluzione dell’output dell’AI occorre ragionare e riconosce il valore dell’input!

Se l’algoritmo si allena con i brani di tanti artisti ne ruberà l’essenza per poi ricombinarla. Mi viene in mente il film Space Jam dove(1996) gli alieni rubavano le abilità ai giocatori NBA! Occorre riconoscere del valore allenatore e non solo all’atleta.

Non so quanto la legge possa essere veloce e stare al passo ma mi viene in mente che occorrerebbe da un lato indicare che un contenuto artistico sia stato generato dall’AI (AI Watermark, magari indicando la quota % di aiuto) e dall’altro riconoscere una remunerazione alle fonti di addestramento (cosa + difficile da fare).

ChatGPT è in grado di rispondere e conversare su molti argomenti ma per sfruttarlo al massimo abbiamo bisogno di formulare al meglio le nostre domande.

E' nata la disciplina del Prompt Design per imparare a dialogare nel modo corretto con le interfacce di AI.

Nelle nostre domande dobbiamo dare quante più informazioni possibili per aiutare il modello a comprendere meglio.

Nella domanda dobbiamo inserire due fattori chiave:

  • il contesto
  • l'obiettivo

Se forniamo questi elementi aumenta la probabilità di avere un output di qualità.

Va detto che da anni abbiamo imparato a fare le ricerche con Google ed abbiamo capito che per avere output migliori occorre dare maggiori dettagli.

Siamo in un’epoca dove le risposte abbondano e diventa fondamentale porsi le giuste domande.

A differenza delle API di OpenAI ChatGPT è gratuito.

Va detto che il grande successo del servizio ha prodotto un pò di problemi sulla fruibilità dello stesso e quindi potrebbe accadere che la Chat sia lenta o nella peggiore delle ipotesi si riceva il classico messaggio di indisponibilità per eccessivo traffico ("ChatGPT is at capacity now").

ChatGPT non disponibile

Per fornire un livello di servizio costante (e per fare dei soldini) OpenAI ha lanciato anche la versione a pagamento: ChatGPT Plus.

Il costo è di 20 dollari al mese ed offre tre vantaggi:

  • Garanzia della disponibilità anche quando la domanda è alta
  • Maggiore velocità di risposta
  • Accesso prioritario alle nuove funzionalità

Inoltre da marzo 2023 OpenAI ha lanciato anche le API di ChatGPT da integrare nelle proprie applicazioni e siti web, il prezzo del servizio è molto buono 0,2 centesimi di dollari per 1.000 tokens (in pratica un decimo delle api di GPT-3.5).

Per esempio Shopify lo sta utilizzando per creare un assistente personalizzato che consigli sugli acquisti.

Cos'è GPT-4 e come usarlo gratis

Il 14 marzo OpenAI ha lanciato la nuova versione di GPT chiamata GPT-4.

La nuova versione del modello di AI è multimodale.

Questo significa che sulla carta è in grado di gestire, interpretare immagini, audio e video.

Ma non solo GPT-4 è molto più potente! Sul numero di paremetri che gestisce non ci sono dati certi si parla di 100 bilioni di parametri rispetto ai 175 miliardi di GPT-3 ma questo dato è stato smentito dallo stesso CEO di OpenAI Sam Altman.

Sicuramente la rete neurale sottostante gestisce molti più parametri di quelli di GPT-3.

All'atto pratico cosa fa in più GPT-4?

Gestisce anche le immagini oltre al testo

Il motore è in grado di riconoscere il contenuto delle immagini, quindi da prompt potremmo dargli una foto di alcuni ingredienti e chiedere di fornirci una ricetta con gli stessi (questo è proprio uno dei casi presentati da OpenAI nella live del lancio).

visual input gpt4

Il concetto di approccio multimodale è nato già nel 2021 quando Google annunciò la tecnologia MUM (Multitask Unified Model) all'evento Google I/O (basata sul modello di deep learning Transformer, lo stesso di GPT).

Google utilizza MUM comprendere le ricerche e fornire risultati da più fonti con formati diversi e lingue diverse a prescindere dal tipo di input.

In termini di parametri utilizzati per il deep learning oggi siamo a 540 miliardi con il modello linguistico PaLM (Pathways Language Model) di Google.

Per ora non ci sono tracce di gestione di audio e video.

Gestione di testi più lunghi

GPT-4 riesce a gestire oltre 25.000 parole di testo contro i 3.000 di ChatGPT (ma sarebbe meglio dire GPT-3.5).

Questo consente al motore di creare contenuti più lunghi e mantengono un nesso anche alla fine ma cosa importante riesce a gestire una conversazione più lunga o gestire ed interpretare testi lunghi.

La dimensione delle parole che riesce gestire è come la memoria RAM del nostro computer più ne abbiamo e migliori sono le capacità di elaborazione della macchina (ovviamente a parità di altri fattori).

Miglioramento delle capacità matematiche/logiche

Uno dei limiti di ChatGPT sono i calcoli e l'uso della logica in alcuni contesti.

In questo campo GPT-4 è migliorato molto e per dimostrarlo OpenAI fa l'esempio dell'organizzazione di un meeting che deve incrociare le disponibilità di 3 persone (vedi immagine che segue).

gpt4 e la logica

ChatGPT dava una soluzione errata mentre il nuovo modello riesce a trovare lo slot corretto.

E' più creativo

Riesce a generare meglio le attività di scrittura creativa, ha migliorato la tecnica di scrittura e può apprendere lo stile dell'utente.

Come poter usare GPT4?

Oggi GPT-4 è disponibile per gli abbonati a ChatGPT Plus (come modello da scegliere in luogo di GPT-3.5 e con una serie di limiti).

Le API non sono ancora disponibili ed occorre registrarsi alla waiting list.

Ma c'è un modo per avere GPT-4 gratis utilizzabile da tutti (non solo i programmatori) grazie a Microsfot e Bing (nel video che segue vi spiego come attivarlo).

Inoltre usando la chat di Bing (come si vede nel video) possiamo sfruttare una serie di potenzialità non presenti su ChatGPT Plus.

Come usare ChatGPT e le principali applicazioni

Una volta che abbiamo creato l'account su OpenAI il modo migliore per imparare ad usare ChatGPT è utilizzandolo, ponendo delle domande e chiedendo di fare delle attività per noi.

Nel tempo giocando con lo strumento mi sono reso conto che ci sono delle cose che fa molto bene mentre in altre attività si vedono i limiti dell'intelligenza artificiale generativa.

In generale possiamo dividere l'attività tra quella di generazione di testi e quella di assistenza in generale su diversi ambiti.

Attenzione: Chat GPT è bloccato in Italia ma tutti i casi d'uso che seguono possono essere eseguiti con la chat di Bing (aperto con il browser Edge).

Creazione di post per i social

Nell'esempio che segue ho chiesto a ChatGPT di scrivere un contenuto simpatico per Linkedin che parla di creatività umana versus intelligenza artificiale.

crea posto con ChatGPT

Analizzando l'output esso ha senso e tra l'altro è proprio il tipo di risposta che mi sento di dare anche io.

Personalmente non ho mai usato ChatGPT per scrivere un post in quanto comunque mi piace il gusto di generare da zero un contenuto e poi si riconoscono molto facilmente quelli generati dal motore.

Scrivere copy per il marketing, annunci pubblicitari ed ecommerce

Per esempio se vogliamo scrivere la descrizione di un prodotto o servizio, oppure vogliamo creare una direct email ai nostri clienti oppure avere delle idee per un messaggio pubblicitario.

crea descrizione commerciale con ChatGPT

Ma possiamo anche farci aiutare per le campagne online.

Per esempio ho chiesto: "dimmi come fare un annuncio a pagamento su Facebook e cosa scrivere per vendere una cyclette di ultima generazione dotata di schermo, programmi di allenamento e corsi virtuali con cui allenarsi insieme ad altri".

L'output è stato questo:

Per creare un annuncio a pagamento su Facebook per vendere una cyclette di ultima generazione dotata di schermo, programmi di allenamento e corsi virtuali con cui allenarsi insieme ad altri, segui questi passaggi:

  • Accedi al tuo account pubblicitario su Facebook e seleziona "Crea" per iniziare a creare il tuo annuncio.
  • Scegli l'obiettivo del tuo annuncio. In questo caso, seleziona "Conversioni" se desideri che le persone acquistino la tua cyclette.
  • Definisci il tuo pubblico target. Seleziona le persone che possono essere interessate alla tua cyclette, come ad esempio coloro che amano fare sport o che cercano di tenersi in forma a casa.
  • Imposta il budget e la durata del tuo annuncio.
  • Crea il tuo annuncio includendo immagini della tua cyclette, descrizioni accattivanti e i vantaggi unici della tua cyclette, come i programmi di allenamento personalizzati e i corsi virtuali.
  • Ecco un esempio di cosa potresti scrivere:

    "Siete alla ricerca della migliore cyclette di ultima generazione per il vostro allenamento indoor?

    La nostra cyclette dotata di schermo ad alta definizione, programmi di allenamento personalizzati e corsi virtuali con cui allenarsi insieme ad altri è l'ideale per voi!

    Grazie alla tecnologia avanzata, potete raggiungere i vostri obiettivi di fitness in modo divertente e efficace, senza mai uscire di casa.

    Non perdete l'occasione di acquistare la migliore cyclette sul mercato e iniziare a raggiungere i vostri obiettivi di fitness oggi stesso! Cliccate sul nostro annuncio per maggiori informazioni e per acquistare la vostra cyclette di ultima generazione."

L'output di come fare la campagna è corretto ed anche l'esempio di annuncio non è malaccio, certo non brilla per originalità ma può fare il suo sporco lavoro.

Pensiamo alla creazione di descrizioni di un ecommerce con tantissime referenze, l'uso di un tool di questo tipo ti può liberare da molto lavoro.

Ancora più utile è la possibilità di generare delle FAQ, delle risposte alle domande frequenti. Diamo in pasto le tematiche principali ed il motore ci produce domande e risposte coerenti che indirizzano i bisogni dei nostri potenziali clienti.

Nell'esempio che segue ho chiesto di creare le Frequently Asked Questions del prodotto Fastweb mobile.

creare FAQ con ChatGPT

Il risultato è molto buono, probabilmente grazie alla grande quantità di dati disponibili per fare il training del modello.

Chiaramente l'attività umana si sposta sul controllo e sulla modifica puntuale dei contenuti scritti non perfettamente o non in linea con l'obiettivo.

Aiuto nell'uso di excel e nella creazione di formule e in generale nell'uso di strumenti digitali

L'ambito della produttività è forse l'area più interessante di ChatGPT (in particolare con la versione GPT-4).

Mi posso far aiutare nell'uso di excel ed in particolare nella costruzione delle formule.

Per esempio ho chiesto "scrivimi la formula per calcolare i giorni lavorativi partendo dalla data attuale".

Il risultato è perfetto. Non solo mi indic come scrivere la formula, ma me la spiega e fa degli esempi.

aiuto nella creazione formule ChatGPT

Simulare delle conversazioni per imparare l'inglese

Un uso intelligente di una chat di AI è quello di usarla come interlocutore in una lingua che vogliamo imparare con l'assistenza in caso di errori.

Nell'esempio che segue ho chiesto di fare una conversazione su un determinato argomento specificando di correggermi in caso di errore.

impara inglese con ChatGPT

Simulare un colloquio o aiutare un intervistatore in fase di selezione

L'uso della simulazione può essere molto utile per un candidato che si voglia preparare ad uno specifico colloquio.

Basta dare il contesto inteso come mercato dell'azienda e posizione lavorativa per cui vengo intervistato e Chat GPT ci farà le domande che potrebbe farci l'intervistatore. Per esempio

Devo fare un colloquio come esperto di Digital Marketing per un'azienda che lavora nel mondo dello sport, fai finta di essere la persona che mi fa il colloquio e fammi domande sia sulle hard skill che soft skill. Una domanda alla volta e dammi un feedback sulla risposta.

colloquio con ChatGPT

Analogamente possiamo farci aiutare dall'AI per avere delle idee su domande da fare al candidato.

Generazione di titoli per articoli, film, libri, ecc...

Per esempio chiediamo: "Scrivimi delle idee di titoli per un film che parla di un uomo che fa il giro del mondo in Kayak".

crea titolo film con ChatGPT

Il risultato è un buon punto di partenza su cui ragionare.

Tra l'altro nel prompt ho dato l'obiettivo e poca contestualizzazione, se fornisco altre info potremmo avere un risultato più specifico: "Scrivimi delle idee di titoli per un film che parla di un uomo che fa il giro del mondo in Kayak per fuggire dalla routine della vita quotidiana ed assaporare il valore della libertà".

Tra i nuovi risultati c'è per esempio il titolo: Kayak: La via della libertà - La storia di un uomo che ha circumnavigato il mondo in kayak per vivere la sua vita al massimo

Sentiment Analysis per i social

La sentiment analysis è un processo per analizzare e classificare le opinioni e commenti (sentiment) espressi con del testo sulle varie piattaforme e nei messaggi diretti (tweet, commenti su facebook, tiktok, instagram, youtube, linkedin, email, chat, forum, ecc..).

Per l'analisi massiva di tali contenuti occorrono software specifici che usano tecniche di elaborazione del linguaggio umano (NLP: natural language processing) per comprendere la natura del commento e la sua posizione verso un argomento o un'azienda.

Il risultato dell'analisi è l'individuazione delle opinioni: negative, neutre e positive.

In pratica se nel commento viene criticato il nostro prodotto il sistema lo classificherà come contenuto negativo al contrario se ci ringraziano per la sua qualità sarà considerato positivo.

Su grandi quantità di commenti ed opinioni riusciamo con questi dati a capire cosa pensano le persone su un argomento o prodotto/servizio.

Attenzione però in queste analisi al bias della negatività e all'effetto asimmetria positivo/negativo.

tool-export-commenti.jpg Yotubue contenuto-da-trascrizione.jpg

Altri articoli correlati:

Cos'è l'intelligenza artificiale generale (AGI) e quali rischi ed opportunità presenta

Come funziona OpenAI e perchè è importante conoscere cosa accade al suo interno

Cos'è il Geocaching e come può servire per il marketing turistico

L'Executive Communications ed il Personal Brand dei CEO

Come funziona e come sfruttare Chat GPT e GPT-4 con esempi di applicazione

Come essere unici nella creazione di contenuti e differenziarci dai sistemi di AI

Come cambia il SEO con Chat GPT

Cosa sono i modelli di attribuzione e perchè sono importanti nel digital marketing

Il piano di Elon Musk per rilanciare Twitter

Come funziona il metaverso, quali sono le principali piattaforme con limiti e potenzialità

Perchè adoro Elon Musk e quali sono i suoi punti di forza

Cos'è il bounce rate e l'engagement rate, come si calcola e perchè è importante

Qual è il nobel per l'informatica?

Come usare Youtube analytics per scoprire i temi più cercati dal nostro pubblico ed analizzare il gap di contenuti

Come la tecnologia migliorerà la nostra salute

Cosa sono i dark patterns nella UX? Come riconoscerli e come evitarli per vivere e creare la migliore esperienza online

Come funziona l'algoritmo di Facebook e quali sono i post che spinge maggiormente

Quanti sono gli italiani che usano Internet? Quanti accedono da mobile e quanti da PC?

Qual è la psicologia degli haters e come gestirli?

Come creare un sistema di Digital Analytics in un mondo digitale

Guida al digital marketing, canali owned, earned, rented e paid

Cos'è la valutazione euristica e come farla per migliorare la UX

Guida completa al Display advertising: i formati, i canali, le modalità d'acquisto, le evoluzioni e le avvertenze

Come utilizzare il video nella strategia di marketing

Il modello strategico della Value Network (rete del valore) vs il modello della Value Chain (catena del valore)

Il modello delle competenze verticali e trasversali per avere successo nel mondo digitale

La strategia pull vs push: sei contadino o cacciatore?

Cos'è il Digital Marketing? Come funziona ed i principali strumenti

Come fare le analisi di marketing e content marketing utilizzando Google Trends

Come analizzare le menzioni ed il sentiment in rete con Google Alerts

Come non perdere nemmeno un'idea con gli appunti di Google Keep

Cos'è e come massimizzare la User Experience dei clienti

L'ecommerce del cibo: il ristorante online, il cloud kitchen ed i prodotti di largo consumo

Come fare un test di usabilità per migliorare le nostre proprietà digitali

Lo strumento fondamentale per la marketing intelligence ed il content marketing

Gli strumenti per analizzare le keyword di Google