今天给大家介绍一个强大的开源流处理平台——Kafka--Kafka是什么？ApacheKafka是一个分布式发布-订阅(Pub-Sub)消息系统和一个强大的队列，可以处理大量的数据，能够将消息从一个端点传递到另一个端点。它的消息保留在磁盘上，并会在群集内复制以防止数据丢失。此外，Kafka需要构建...(more)

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka...(more)

一、券商实施个性化推荐项目的必要性1.1个性化推荐技术发展背景目前，随着用户接收到的信息量爆炸般增长，传统的推荐以及服务方式的边际收益正在不断减少，用户个性化的需求变得越来越多。大数据实时个性化服务，主要基于大数据用户画像、产品画像建设成果，结合实时流计算框架，以...(more)

本文要给大家分享的是我们如何去构建一个日志系统、用到了那些技术、为什么用这些技术，同时会讲述这个过程中遇到的问题及优化方法，希望能给你在实践中能够提供一些参考。前言最近在维护一个有关于日志的项目，这个项目是负责收集、处理、存储、查询京东卖家相关操作的日志，我...(more)

作者｜HaohuiMai,BillLiu,NaveenCherukuri译者｜核子可乐Uber公司通过传播各类实时来源数据以实现更加无缝化且令人愉悦的用户体验。具体而言，Uber需要交付UberEATS订单的预估交付时间（简称ETD）、结合即时交通条件得出的指导配送路线以及其间各项重要影响指标。来自Uber的几位优...(more)

Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成。1概述Kafka与传统消息系统相比，有以下不同：它被设...(more)

我们把这个系统叫做发布管道（PublishingPipeline）。这篇文章主要关注后端的系统，我们会介绍如何使用Kafka保存纽约时报的文章，以及如何使用Kafka和SteamsAPI将发布的内容实时推送给各种应用。下面是总体的架构图，具体细节稍后详述。微信图片_20170927093957.jpg基于API解决方...(more)