c#使用Linq的Distinct()方法去重

在C#中，数据去重是一个常见的需求，尤其是在处理大量数据时。LINQ（Language Integrated Query）提供了一种简洁而强大的方式来处理数据集合，其中Distinct()方法是一个常用的去重工具。本文将详细介绍Distinct()方法的工作原理、使用场景以及相关的性能考量。

LINQ Distinct()方法的工作原理
Distinct()方法是LINQ中的一个扩展方法，它返回序列中不重复的元素。该方法使用IEqualityComparer<T>默认比较器来确定元素是否相等。对于值类型，这通常是基于值的比较；而对于引用类型，则是基于引用的比较。

使用Distinct()方法去重
基本用法
下面是一个使用Distinct()方法去重的基本示例：
using System;
using System.Collections.Generic;
using System.Linq;

class Program
{
static void Main()
{
List<int> numbers = new List<int> { 1, 2, 3, 2, 4, 1, 5 };
IEnumerable<int> uniqueNumbers = numbers.Distinct();

    foreach (var number in uniqueNumbers)
    {
        Console.WriteLine(number);
    }
}

}
在这个示例中，我们首先创建了一个包含重复元素的列表numbers。然后，我们调用了Distinct()方法来获取一个不包含重复元素的序列uniqueNumbers。最后，我们遍历uniqueNumbers并打印出每个元素。

对复杂对象去重
当处理复杂对象时，Distinct()方法默认使用对象的Equals()和GetHashCode()方法来确定对象是否相等。如果需要根据对象的特定属性进行去重，可以自定义比较器。
using System;
using System.Collections.Generic;
using System.Linq;

public class Person
{
public string Name { get; set; }
public int Age { get; set; }

public override bool Equals(object obj)
{
    if (obj is Person person)
    {
        return Name == person.Name && Age == person.Age;
    }
    return false;
}

public override int GetHashCode()
{
    return HashCode.Combine(Name, Age);
}

}

class Program
{
static void Main()
{
List<Person> people = new List<Person>
{
new Person { Name = “Alice”, Age = 25 },
new Person { Name = “Bob”, Age = 30 },
new Person { Name = “Alice”, Age = 25 },
new Person { Name = “Charlie”, Age = 35 }
};

    var uniquePeople = people.Distinct().ToList();

    foreach (var person in uniquePeople)
    {
        Console.WriteLine($"Name: {person.Name}, Age: {person.Age}");
    }
}

}
在这个示例中，我们定义了一个Person类，并重写了Equals()和GetHashCode()方法，以便可以根据Name和Age属性来比较两个Person对象是否相等。然后，我们创建了一个包含重复Person对象的列表people，并使用Distinct()方法去重。

性能考量
虽然Distinct()方法提供了一种简洁的去重方式，但在处理大量数据时，性能也是一个需要考虑的因素。以下是一些性能建议：

避免在大数据集上使用Distinct()：对于大数据集，Distinct()方法可能会因为频繁的比较操作而导致性能下降。在这种情况下，可以考虑使用HashSet<T>或其他更高效的数据结构。
使用自定义比较器：如果默认的比较器不适合你的需求，可以自定义比较器来提高性能。例如，对于大型对象，可以根据对象的特定属性来实现IEqualityComparer<T>接口。
延迟执行：LINQ查询是延迟执行的，这意味着实际的去重操作会在遍历结果序列时才执行。利用这一特性，可以优化查询性能，例如通过限制结果集的大小或使用并行查询。