大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有 self-attention 的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。 当前 LLM 模型推理的主要瓶颈是 GPU 显存资源不足。因此，各类加速框架主要集中于降低 GPU 显存峰值和提高 GPU 使用率两大目标。 TensorRT-LLM[1]是 NVIDIA 推出的大语言模型（LLM）推理优化框架。它提供了一组 Python API 用于定义 LLMs，并且使用最新的优化技术将 LLM 模型转换为 TensorRT Engines，推理时直接使用优化后的 TensorRT Engines。 TensorRT-LLM 主要利用以下四项优化技术提升 LLM 模型推理效率。

41 技术 lddgo 分享于 2024-01-29

本文是一篇DDD的最佳实践文章，读者也可以认为本文类似在介绍一种多字段单据的设计模式，整个文章会以一个简单版的电商购物背景作为一个领域上下文，过程中注重介绍领域组件的形成过程，同时会重点突出DDD的核心点。

35 技术 lddgo 分享于 2024-01-26

本文深入探讨了基于参考物体的人工智能图像生成（AIGC）技术的最新进展。首先概述了该类技术如何发展至今，然后着重分析了两篇重要的相关学术论文。随后，文章针对家居导购领域的特殊应用场景，讨论了运用此项技术时遭遇的挑战和取得的最新效果。

36 技术 lddgo 分享于 2024-01-26

本文主要系统性地整理了排查思路，为大家遇到问题时提供全面的排查流程，不至于漏掉某些可能性误入歧途浪费时间。

49 技术 lddgo 分享于 2024-01-25

本篇文章，主要介绍应用如何正确使用日志系统，帮助用户从依赖、输出、清理、问题排查、报警等各方面全面掌握。

54 技术 lddgo 分享于 2024-01-24

软件系统有三个追求：高性能、高并发、高可用，俗称三高。本篇讨论高并发，从高并发是什么到高并发应对的策略、缓存、限流、降级等。

49 技术 lddgo 分享于 2024-01-24

阿里小蜜家族（阿里小蜜、店小蜜、万象），从2015年发展至今，已经成为了覆盖淘天P-C（平台-消费者）、B-C（商家-消费者）、P-B（平台-商家）全咨询体系的智能对话机器人，日均接待量级在百万（阿里小蜜）到千万（店小蜜）范围。

39 技术 lddgo 分享于 2024-01-23

本文写给已决定报考高级软件架构设计师的同学，从软考报名到正式考试，有40天时间，本文纯应试备考经验，一个月速成，仅供参考。

43 技术 lddgo 分享于 2024-01-23

本文是技术人面试系列多线程篇，面试中关于多线程都需要了解哪些基础？一文带你详细了解，欢迎收藏！

51 技术 lddgo 分享于 2024-01-22

推荐系统是一种信息过滤系统，用于预测用户偏好，从大量的信息中筛选出用户可能感兴趣的内容进行个性化推荐。一个完整的推荐系统流程主要包括了 多路召回 -> 素材补全 -> 精排过滤 -> 混排 ->适配输出 等处理节点。混排作为结果输出前的最后一层处理，主要作用是将不同来源的推荐结果进行归一化的组合排序，一方面是为了获取对于用户推荐效果最优的排序序列，另一方面也能提高推荐的多样性、个性化以及覆盖范围。

45 技术 lddgo 分享于 2024-01-22