dimensione dell'argomento kafka

1. Qual è la dimensione dell'argomento in Kafka?
2. Come si determina la dimensione di un argomento Kafka?
3. Come posso aumentare la dimensione dell'argomento Kafka?
4. Quanti argomenti Kafka sono troppi?
5. Perché viene utilizzato Kafka?
6. Quali sono gli argomenti di Kafka?
7. Come ottengo un elenco di argomenti Kafka?
8. Quanto durano i messaggi Kafka?
9. Come si visualizzano i messaggi di Kafka?
10. Kafka è lento?
11. Quante partizioni Kafka dovrei avere?
12. Come faccio a sapere se Kafka è in esecuzione?

Qual è la dimensione dell'argomento in Kafka?

Restituisce la dimensione (in byte) del test dell'argomento comprese le sue repliche. Nel caso in cui tu abbia un fattore di replica maggiore di 1 e desideri la dimensione del messaggio dell'argomento univoco, dividi il valore che ottieni con il fattore di replica.

Come si determina la dimensione di un argomento Kafka?

5 risposte. Come ha detto molto utilmente Martbob, puoi farlo usando kafka-log-dirs. Questo produce un output JSON (su una delle righe). Quindi posso usare l'utilissimo strumento jq per estrarre i campi 'size' (alcuni sono nulli), selezionare solo quelli che sono numeri, raggrupparli in un array e quindi sommarli insieme.

Come si aumentano le dimensioni dell'argomento Kafka?

Come aumentare la dimensione del record nell'argomento del cluster Kafka

1. Sono server.proprietà e consumatore.proprietà nella stessa cartella? - berrytchaks 12 maggio 17 alle 13:07.
2. Sì, server.proprietà e consumatore.le proprietà sono nella stessa cartella. - ...
3. Metti entrambi i file in cartelle diverse e prova. - ...
4. Con la stessa cartella per le proprietà del server e del consumatore che funziona per me ora.

Quanti argomenti Kafka sono troppi?

La regola pratica è che il numero di argomenti di Kafka può essere di migliaia. Jun Rao (committer di Kafka; ora in Confluent ma in precedenza nel team Kafka di LinkedIn) ha scritto: Su LinkedIn, il nostro cluster più grande ha più di 2K argomenti. Gli argomenti 5K dovrebbero andare bene.

Perché viene utilizzato Kafka?

Messaggistica. Kafka funziona bene come sostituto di un broker di messaggi più tradizionale. I broker di messaggi vengono utilizzati per una serie di motivi (per separare l'elaborazione dai produttori di dati, per memorizzare nel buffer i messaggi non elaborati, ecc.).

Quali sono gli argomenti di Kafka?

Kafka organizza i feed dei messaggi in categorie chiamate argomenti. Ogni argomento ha un nome univoco in tutto il cluster Kafka. I messaggi vengono inviati e letti da argomenti specifici. In altre parole, i produttori scrivono i dati sugli argomenti ei consumatori leggono i dati dagli argomenti. Gli argomenti di Kafka sono multi-sottoscrittore.

Come ottengo un elenco di argomenti Kafka?

1. Per avviare kafka: $ nohup ~ / kafka / bin / kafka-server-start.sh ~ / kafka / config / server.proprietà > ~ / kafka / kafka.registro 2>&1 &
2. Per elencare tutti gli argomenti su Kafka; $ bin / kafka-topics.sh --list --zookeeper localhost: 2181.
3. Controllare i dati sta atterrando sull'argomento kafka e stamparli;

Quanto durano i messaggi Kafka?

Il cluster Kafka conserva tutti i messaggi pubblicati, che siano stati consumati o meno, per un periodo di tempo configurabile. Ad esempio se la conservazione del registro è impostata su due giorni, allora per i due giorni successivi alla pubblicazione di un messaggio è disponibile per il consumo, dopodiché verrà scartato per liberare spazio.

Come si visualizzano i messaggi di Kafka?

Puoi utilizzare Kafka-console-consumer per visualizzare i tuoi messaggi.
...
Procedura

1. Accedi alla console IBM Event Streams.
2. Seleziona Argomento > ibm-bai-ingress > Messaggi.
3. Seleziona una data.
4. I messaggi vengono elencati in base ai timestamp.

Kafka è lento?

Kafka si affida al filesystem per l'archiviazione e la memorizzazione nella cache. Il problema è che i dischi sono più lenti della RAM. Questo perché il tempo di ricerca attraverso un disco è grande rispetto al tempo necessario per la lettura effettiva dei dati.

Quante partizioni Kafka dovrei avere?

Per la maggior parte delle implementazioni si desidera seguire la regola pratica di 10 partizioni per argomento e 10.000 partizioni per cluster Kafka. Andare oltre tale importo può richiedere un monitoraggio e un'ottimizzazione aggiuntivi.

Come faccio a sapere se Kafka è in esecuzione?

Direi che un'altra semplice opzione per verificare se un server Kafka è in esecuzione è creare un semplice KafkaConsumer che punta al cluste e provare un'azione, ad esempio listTopics (). Se il server kafka non è in esecuzione, riceverai un'eccezione TimeoutException e quindi potrai utilizzare una frase try-catch.