我应该如何序列化域模型快照以进行事件源 - java

我们正在使用LMAX Disruptor构建应用程序。使用Event Sourcing时,您通常希望保留域模型的定期快照(有些人将其称为Memory Image模式)。

我需要一个比快照时用于序列化域模型的更好的解决方案。我希望能够以可读格式“快照”此快照以进行调试,并且希望简化快照架构的迁移。

当前,我们正在使用Googles' Protocol Buffers将域模型序列化为文件。我们之所以选择这种解决方案,是因为协议缓冲区比XML / JSON更紧凑,并且使用紧凑的二进制格式对大型Java域模型进行序列化似乎是一个好主意。

问题是,协议缓冲区是为相对较小的消息而设计的,而我们的域模型却很大。因此,域模型不适合一条大型的分层protobuf消息,并且最终将各种protobuf消息序列化为一个文件,如下所示:

for each account {
    write simple account fields (id, name, description) as one protobuf message
    write number of user groups
    for each user group {
        convert user group to protobuf message, and serialize it
    }
    for each user {
        convert user to protobuf message, and serialize it
    }
    for each sensor {
        convert sensor to protobuf message, and serialize it
    }
    ...
}

这很烦人,因为处理异构的protobuf消息流很复杂。如果我们有一条包含所有域模型的大型protobuf消息,则会容易得多,如下所示:

public class AggregateRoot {
    List<Account> accounts;
}

--> convert to big hierarchical protobuf message using some mapping code:

message AggregateRootMessage {
    repeated AccountMessage accounts = 1;
}

--> persist this big message to a file

如果执行此操作,则很容易打印快照:只需读取protobuf的大消息,然后使用protobuf的TextFormat对其进行漂亮打印。使用我们目前的方法,我们需要一个个地读取各种protobuf消息,并对其进行漂亮的打印,这比较困难,因为流中的protobuf消息的顺序取决于当前的快照架构,因此我们的漂亮打印工具需要意识到这一点。

当我们的域模型发展时,我还需要一个工具将快照迁移到新的快照架构。我仍在使用此工具,但是很难,因为我必须处理各种protobuf消息流,而不是仅处理一条大消息。如果这只是一个重要信息,我可以:
-拍摄快照文件
-使用.proto模式将文件解析为大的Java protobuf消息,以用于先前的快照版本
-使用推土机和一些映射代码将这个大的protobuf消息转换为新版本的一个大protobuf消息
-使用新版本的.proto模式,将此新的protobuf消息写入新文件中

但是,由于我正在处理各种类型的protobuf消息流,因此我的工具需要以正确的顺序处理该流。

所以,是的...我想我的问题是:

  • 您是否知道任何可以在没有protobuf限制的情况下将大域模型序列化为文件的序列化工具,可能使用流传输来避免OutOfMemorryErrors?
  • 如果您使用事件源或内存图像,则如何使用序列化域模型? JSON? XML?原虫?还有吗
  • 我们做错了吗?你有什么建议吗?
  • 参考方案

    我定义问题解决方案的方法是将“规范”与“传输语法”分开。现在,我们已经定义了消息规范,我们需要进行有线表示,以支持机器效率和人工可读性之间的不同需求。

  • 二进制模式-最少详细但不是人类可读的
  • 字符-表示命令和参数更易读,还提供了可靠的存储
  • 明文-出于调试目的而说
  • 该解决方案必须提供可切换的行为。尽管Java可以使用丰富的生态系统(Bouncycastle等人),但我们的解决方案可以基于ASN.1和与语言和平台无关的相关工具集。我们已经将它与网络上的相当大的消息blob一起使用,没有已知问题:)

    希望它能提供一些指示。

    Java:线程池如何将线程映射到可运行对象 - java

    试图绕过Java并发问题,并且很难理解线程池,线程以及它们正在执行的可运行“任务”之间的关系。如果我创建一个有10个线程的线程池,那么我是否必须将相同的任务传递给池中的每个线程,或者池化的线程实际上只是与任务无关的“工人无人机”可用于执行任何任务?无论哪种方式,Executor / ExecutorService如何将正确的任务分配给正确的线程? 参考方案 …

    JAVA:字节码和二进制有什么区别? - java

    java字节代码(已编译的语言,也称为目标代码)与机器代码(当前计算机的本机代码)之间有什么区别?我读过一些书,他们将字节码称为二进制指令,但我不知道为什么。 参考方案 字节码是独立于平台的,在Windows中运行的编译器编译的字节码仍将在linux / unix / mac中运行。机器代码是特定于平台的,如果在Windows x86中编译,则它将仅在Win…

    java:继承 - java

    有哪些替代继承的方法? java大神给出的解决方案 有效的Java:偏重于继承而不是继承。 (这实际上也来自“四人帮”)。他提出的理由是,如果扩展类未明确设计为继承,则继承会引起很多不正常的副作用。例如,对super.someMethod()的任何调用都可以引导您通过未知代码的意外路径。取而代之的是,持有对本来应该扩展的类的引用,然后委托给它。这是与Eric…

    Java:BigInteger,如何通过OutputStream编写它 - java

    我想将BigInteger写入文件。做这个的最好方式是什么。当然,我想从输入流中读取(使用程序,而不是人工)。我必须使用ObjectOutputStream还是有更好的方法?目的是使用尽可能少的字节。谢谢马丁 参考方案 Java序列化(ObjectOutputStream / ObjectInputStream)是将对象序列化为八位字节序列的一种通用方法。但…

    Java DefaultSslContextFactory密钥库动态更新 - java

    我有一个使用org.restlet.engine.ssl.DefaultSslContextFactory的现有应用程序和一个在服务器启动时加载的密钥库文件。我有另一个应用程序,该应用程序创建必须添加的证书服务器运行时动态地更新到密钥库文件。为此,我在代码中创建了证书和私钥,然后将其写入到目录。该目录由bash脚本监视,该脚本检查是否有新文件,如果出现,它将…