sys64 最近的时间轴更新
sys64

sys64

V2EX 第 200786 号会员,加入于 2016-11-11 00:03:39 +08:00
今日活跃度排名 5549
有没有想领养猫的,捡到一只小幼猫,坐标上海
  •  2   
    宠物  •  sys64  •  2017-05-12 16:29:58 PM  •  最后回复来自 Lihz
    8
    为什么 cloudxns 不支持通用的 OTP 两步验证
    程序员  •  sys64  •  2016-11-25 21:45:48 PM  •  最后回复来自 ye10010
    2
    怎么设计一个网站的永久链接
    Python  •  sys64  •  2016-12-01 09:37:38 AM  •  最后回复来自 anyforever
    25
    sys64 最近回复了
    23 小时 26 分钟前
    回复了 fisoonsite123 创建的主题 问与答 SSL 证书到期监控
    https://imgur.com/rfc1bYb
    https://imgur.com/KvidiEX

    哈哈,那个网站证书过期了
    求个码,感谢大佬, 邮箱: Y2hlbmxvbmd3ZW5AZ21haWwuY29tCg==
    7 天前
    回复了 Livid 创建的主题 以太坊 这个 UI 实在是太酷了
    这种界面就像是之前我们物流用的那种扫描入库设备上的, 设备基本上都是 windows ce 系统的。
    11 天前
    回复了 ashin 创建的主题 分享发现 发布了人生第一个真人出镜的抖音视频
    打开抖音相机那一刻,我都惊呆了,原来我这么帅。抖音相机自带美颜啊。
    小米充电宝不错,我的一个用了大概 5 年了,终于鼓包了。
    https://imgur.com/elORiBL
    在使用 [Vector]( https://vector.dev/)( vrl 语言)时,消费 Kafka 数据需要遵循几个步骤。假设你已经通过 Vector 连接 Kafka ,并将 Kafka 数据流转换为 Vector 能处理的日志结构。接下来,你可以使用 VRL (Vector Remap Language) 来处理像 `[{ "a": 1 }, { "b": 2 }, { "c": 12 }, { "z": 83 }]` 这样的 JSON 数据。

    以下是消费 Kafka 数据的流程:

    ### 1. Vector 配置 Kafka Source
    首先,确保你的 `vector.toml` 文件中已经配置好了 Kafka Source 。简单示例如下:

    ```toml
    [sources.kafka]
    type = "kafka"
    bootstrap_servers = "localhost:9092"
    group_id = "consumer-group-id"
    topics = ["my-topic"]
    key_field = "key" # 如果 Kafka 数据有 key
    value_field = "message" # 消息数据字段
    encoding.codec = "json" # 假设 Kafka 数据是 JSON 格式
    ```

    ### 2. 使用 VRL 处理 Kafka 消息
    假设 Kafka 消息的 `message` 字段包含了你的数据,例如 `[{ "a": 1 }, { "b": 2 }, { "c": 12 }, { "z": 83 }]`,你可以使用 VRL 脚本来提取和处理这些字段。

    #### VRL 脚本示例:
    ```toml
    [transforms.kafka_parser]
    type = "remap"
    inputs = ["kafka"]
    source = '''
    # 假设 message 字段包含 JSON 数据数组
    .data = parse_json!(.message)
    '''
    ```

    ### 3. 消费数据
    当 `message` 是 `[{ "a": 1 }, { "b": 2 }, { "c": 12 }, { "z": 83 }]` 这样的数组时,VRL 处理步骤可以提取每个字段。

    你可以直接在 `source` 部分进行各种操作,比如遍历 JSON 数组或处理特定的值:

    ```toml
    source = '''
    .data = parse_json!(.message)

    # 遍历数组,提取每个元素
    .fields = []
    for item in .data do
    .fields = .fields + [get(item, "a", "undefined")]
    end
    '''
    ```

    ### 4. 输出处理后的数据
    处理完 Kafka 数据后,你可以将结果传递给某个 Sink ,例如 Console 、Elasticsearch 等。

    ```toml
    [sinks.console]
    type = "console"
    inputs = ["kafka_parser"]
    encoding.codec = "json"
    ```

    ### 示例流程总结
    1. Kafka source 接收 `[{ "a": 1 }, { "b": 2 }, { "c": 12 }, { "z": 83 }]`。
    2. 使用 VRL 的 `parse_json!` 函数解析 JSON 数据。
    3. 遍历数组、提取每个 JSON 对象中的值。
    4. 输出处理后的数据到 sink ,例如 Console 。

    你可以根据业务需求修改 VRL 逻辑,处理和过滤特定字段、对值进行转换等。
    我有次吃饭迟到一半发现有根头发,然后看了下长度,短发,好像是自己的。最后想了想就是自己的头发。
    白色的牙膏也好使。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3387 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 10:28 · PVG 18:28 · LAX 03:28 · JFK 06:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.