关于 java:String 到 List<String> 的内存高效映射

Memory Efficient Mapping of String to List<String>

我使用 hashmap 结构来存储父文档(键)和与该父文档关联的所有子文档(值)的列表之间的映射。这需要稍后迭代以处理映射。 List 中的键和每个值通常是 75-100 个字符长的文件名。这很好用,但有 50000 个父文档,每个文档都有 50-100 个子文档与之关联。所以这会在内存中产生巨大的对象负载。有没有更好的方法以内存有效的方式存储此映射?

1
Map<String, List<String>> docmap=new HashMap<String,List<String>>();


你的结构不是低效的,寻找更好的东西是没有意义的。

我计算出仅您的字符串使用的空间可能在 650MB 左右,忽略哈希图和列表的开销。

我不知道 ArrayListHashMap 的开销,但与子列表的大小相比,它不会那么多。甚至每个列表和哈希条目都花费您 20 个字节,这将只有 2MB – 沧海一粟。

所以你的问题不是哈希映射或列表——而是你的原始数据。

如果 650MB 太大而无法存储在内存中(现在已经不多了),那么您唯一的选择是将其存储在数据库中。


这应该更节省内存,因为它不会浪费内存用于存储桶管理:

1
2
        String [][] array = new String [50000][]; // parents
        array[1] = new String[100]; // children for parent 1

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/267484.html

(0)
上一篇 2022年6月18日
下一篇 2022年6月18日

相关推荐

发表回复

登录后才能评论