Data Quality Assessments of the System of National Accounts at the International Level

Abstract

We measure the Data Quality (DQ) of official National Accounts (NA) data that are published at the international level. Measured are availability, timeliness and reliability. We make first time assessments of the “actual” timeliness of data publication at the UN level; of the data availability regarding the 2008 Minimum Requirement Data Set (MRDS); and of the data reliability of 12 OECD and 4 non-OECD countries. The existing UN timeliness assessment does not reflect how many years a country needs to produce the reported data. The UN availability assessment only covers the old MRDS, not the new MRDS (valid as of 2014). The reliability assessments according to the OECD recommended methodology cover major comprehensive revisions and analyze Quarter-on-Quarter (QoQ) growth rates, disregarding that some data are non- seasonally adjusted. We assess timeliness at the first time publication of data at the international level. This indicates the time lag of data production at the country level. Over 90% of the county data indicate either no time lag or at most one year. With our timeliness and availability assessments, we can identify the performances of economic and geographic regions and other country groups. For research our timeliness assessment informs about the time point (in years) when data for a specific reference year becomes available at the UN. Further, IOs can identify country groups that potentially benefit from technical assistance. Our availability study reveals that 55% or the UN Member States fulfill at least all but one of the 1993 MRDS criteria, but only 27% do so regarding the 2008 MRDS criteria. That means the availability of detailed data, precisely the institutional sector accounts until “net lending” of the capital account, is much lower than of basic NA data. Government sector accounts are compiled by nearly 90% of the developed countries, the total economy by more than 80%. However, other institutional sectors (both of the households and non-profit institutions serving households, or the individual non-financial and financial sector accounts) are often missing. Besides the developing regions even developed regions need improvement. More non-G20 advanced economies than G20 countries fulfill the 2008 MRDS. The availability study also covers the fulfillment of milestone levels one and two, indicating the progress of countries’ NA data production. For our reliability study, we use Year-on-Year (YoY) growth rates of quarterly GDP. We eliminate revisions across SNA versions. Our study reveals higher reliability of the data than previously assessed. Our international comparison considers for the first time 34 countries. The study informs decision makers about the reliability of data at the different release time points. The considered revision measures are Mean Absolute Revision (MAR) and Relative Mean Absolute Revision (RMAR). The latter is better suited for cross-country comparisons. For most countries the size of MAR of the first estimated YoY growth rate of GDP to the three years later published value is less than 1 percentage point. For the 30 OECD countries, the RMAR of the first to the three years later vintage is an average 22%. Countries with rather small size of MAR in percentage points may substantially revise the data relative to its size.

Wir untersuchen die Datenqualität (DQ) bezüglich Aktualität, Verfügbarkeit und Zuverlässigkeit von Daten der Volkswirtschaftlichen Gesamtrechnung (VGR) die von Ländern an internationale Organisationen gemeldet und dort veröffentlicht werden. Die existierende DQ Untersuchung der Vereinten Nationen (VN) für Aktualität reflektiert nicht die Zeit (in Jahren) die seitens der Länder benötigt wird um diese Daten zu produzieren. Die Untersuchungen der VN zur Verfügbarkeit legen den alten „Mindestdatensatz“ [„Minimum Requirement Data Sets“ (MRDS)] zu Grunde. Die Untersuchungen zur Zuverlässigkeit gemäß den OECD Empfehlungen beinhalten Revisionen über verschiedene SNA Versionen und untersuchen Wachstumsraten im Vormonatsvergleich (QoQ). Unsere Aktualität bezieht sich auf die Zeitperiode bis zur Erstveröffentlichung auf internationaler Ebene. Dies ergibt den Zeitraum den die Länder zur Datenproduktion benötigen. Unsere Ergebnisse zeigen, dass beinahe 90% aller Länder Daten für das vergangene Kalenderjahr oder für das Vor-vorjahr liefern (d.h. mit maximal einem Jahr Verzögerung). Anhand unserer Untersuchungen zur „Aktualität“ und „Verfügbarkeit“ lassen sich die Kapazitäten verschiedener Regionen und Ländergruppen identifizieren. Internationale Organisationen können feststellen welche Ländergruppen von Hilfe zur Qualitätssteigerung profitieren könnten. Datennutzer können anhand unserer Aktualitätsstudie herausfinden in welchem Publikationsjahr Daten für welche Referenzjahre bei den VN zur Verfügung stehen werden. Unsere Ergebnisse zur Verfügbarkeit zeigen, dass 55% der VN Mitgliedsstaaten alle außer eines der 1993 MRDS Kriterien erfüllen. Im Fall des 2008 MRDS sind es nur 27%. Dies bedeutet, die Verfügbarkeit von einfachen VGR Daten ist höher als die der detaillierten, präzise der Kontentabellen bis zum Indikator „net lending / net borrowing“, d.h. bis zum „Finanzierungssaldo“. Diese Kontentabellen werden für den Staatssektor von 90% der entwickelten Länder erstellt, für die Gesamtwirtschaft von 80%. Andere Wirtschaftssektoren fehlen jedoch häufig. Sogar viele entwickelte Länder müssen die Datenverfügbarkeit noch verbessern. Mehr nicht-G20 Staaten erfüllen die 2008 MRDS Kriterien als Staaten der G20 Gruppe. Die Verfügbarkeitsstudie umfasst auch die Meilenstein Stufen eins und zwei, die die Produktionskapazität unterschiedlicher VGR Konzepte durch die Länder messen. Für unsere Zuverlässigkeitsstudie von BIP Quartalsdaten verwenden wir Wachstumsraten im Vorjahresvergleich (YoY). Wir schließen Revisionen über verschiedene SNA Versionen aus. Unsere Ergebnisse weisen geringeren Revisionsbedarf der einzelnen Länder aus und somit eine höhere Zuverlässigkeit der erstveröffentlichen BIP Daten. Wir analysieren erstmalig 34 Ländern anhand empirischer Revisionsdaten. Wir messen die Zuverlässigkeit der erstveröffentlichten Daten gegenüber verschiedenen Revisionszeitpunkten. Wir berechnen die Mittlere Absolute Revision „Mean Absolute Revision“ (MAR) und die Relative Mittlere Absolute Revision „Relative Mean Absolute Revision“ (RMAR). Letztere ist besser geeignet für den internationalen Vergleich. Die MAR vom erstveröffentlichen zum drei Jahre späteren Wert ist für die meisten Länder kleiner als ein Prozentpunkt. Die RMAR vom erstveröffentlichen zum drei Jahre späteren Wert beträgt für die 30 OECD Länder durchschnittlich 22%. Länder mit kleiner MAR können jedoch eine erhebliche RMAR aufweisen.